ハクソク

世界を動かす技術を、日本語で。

ミストラルAIが「フォージ」をリリース

45日前原文(mistral.ai)

概要

  • Forgeは企業独自の知識を活用した最先端AIモデル構築システム
  • 内部データに基づくトレーニングで業務特化型AIを実現
  • 制御性・戦略的自律性を重視した設計
  • 多様なアーキテクチャと継続的改善をサポート
  • さまざまな業界・用途での導入実績

Forge：企業知識を活かすAIモデル構築基盤

  • Forgeは企業が自社の独自知識を活用してAIモデルを構築できるシステム
  • 既存のAIモデルは公開データ中心だが、Forgeは企業内部の知識資産に特化
  • エンジニアリング標準・コンプライアンス・コードベース・業務プロセスなどを学習対象
  • Mistral AIはASML、DSO National Laboratories Singapore、Ericsson、European Space Agency、HTX Singapore、Replyなどと連携実績

組織知識の学習とモデル内在化

  • Forgeは大量の内部ドキュメント、コードベース、構造化データ、業務記録を学習可能
  • 専門用語・推論パターン・制約条件など組織独自の環境をモデルに内在化
  • Pre-trainingで業界特化モデルを構築、Post-trainingで業務ごとに最適化
  • 強化学習により、内部ポリシーや評価基準、オペレーション目標に沿ったモデル調整
  • これにより、汎用AIから一歩進んだ組織知能を持つAIモデルの実現

制御性と戦略的自律性の確保

  • AI導入時のモデル・データ・知的財産管理の懸念に対応
  • Forgeはプロプライエタリデータによる学習と、内部ポリシー・評価基準に基づく運用が可能
  • 規制環境でも運用可能な高い制御性を提供
  • 自社インフラでの運用により、戦略的自律性を確保

カスタムモデルによるエージェントの信頼性向上

  • エンタープライズエージェントは単なる回答生成を超えた業務遂行能力が求められる
  • カスタムモデルで内部用語・業務手順・システム連携を深く理解
  • ツール選択やマルチステップワークフローの精度向上
  • 内部ポリシーやビジネスロジックに即した意思決定が可能
  • エージェントが実務コンポーネントとして機能し、業務支援の質と速度を向上

多様なモデルアーキテクチャ対応

  • Denseモデルと**Mixture-of-Experts (MoE)**の両方に対応
    • Denseモデル：広範な業務に強い汎用性
    • MoE：大規模モデルを低レイテンシ・低コストで運用可能
  • マルチモーダル入力もサポート（テキスト・画像など）

エージェントファースト設計

  • コードエージェントが開発ツールの主要ユーザーになる時代を見据えた設計
  • Mistral Vibeのような自律エージェントがモデルのファインチューニングやデータ生成を自動化
  • Forgeはインフラ管理・データパイプライン・トレーニング手法を包括
  • 英語記述だけでモデルカスタマイズが可能

継続的改善と評価フレームワーク

  • 組織環境や規制の変化に合わせた継続的なモデル改善
  • 強化学習パイプラインで内部評価・業務フィードバックを活用し、モデルをアップデート
  • 評価フレームワークで内部ベンチマークやコンプライアンスチェックを実施
  • 静的なデプロイではなく継続的な進化を実現

企業向けForge活用例

  • 政府機関：多言語・政策文書・規制テキストに対応したAIエージェント
    • 政策分析・行政手続き・業務計画を支援
  • 金融機関：コンプライアンス・リスク管理・規制文書に特化したモデル
    • 内部ガバナンスポリシーに準拠したアウトプット生成
  • ソフトウェア開発チーム：プロプライエタリコード・開発標準に基づくモデル
    • 実装・デバッグ・レビュー・設計支援などに高い精度
  • 製造業：設計仕様・運用データ・保守記録を学習したモデル
    • 診断・設計解析・運用意思決定をサポート
  • 大企業全般：内部知識体系に基づくエージェント活用
    • 社内ドキュメントや業務記録を活用した情報検索・業務遂行

Forgeによるフロンティアモデル構築のすすめ

  • AIモデルは企業インフラの基盤へと進化
  • Forgeで自社知識に基づくモデルを構築・継続改善
  • 用語・プロセス・制約を反映したAIシステム・エージェントの実現
  • AIモデルを外部ツールではなく戦略資産として運用
  • 興味のある組織はForgeの詳細情報への申し込みを推奨

Hackerたちの意見

Mistral、面白いものをいくつか出してるね。フロンティアモデルにはちょっと遅れをとってるけど、別のアプローチをしてるみたい。仕事で、モデルのトレーニングが小さな会社にはどれだけ大変か話してたんだけど、うちも多分やらないだろうな。でも、こういうツールや新しいunslothリリースがあれば、トレーニングがもっと身近に感じるね。
へぇ、最初はただのファインチューニングのエンドポイントだと思ってたけど、どうやら顧客と一緒にプレトレーニングの方でも提携してるみたい。でも、RLもやるの？マジで、RL環境は正しく作るのがめっちゃ難しいよね。頑張ってほしいな。
Mistralの違ったアプローチを応援してるよ：最大の高度なモデルで競争するんじゃなくて、顧客のためにカスタムエンジニアリングをして、EUの顧客のニーズに応えてる感じがいいね。
└
Go Mistral！
└
彼らのOCRモデルは最高だね。
└
最初は.ai、次は.euになるみたいだけど、ai.euはどうなるんだろうね。
APIのドキュメントによると、ファインチューニングのエンドポイントは廃止されるみたい。これが代わりになるの？ https://docs.mistral.ai/api/endpoint/deprecated/fine-tuning
└
面白いね。彼らがファインチューニングを推進してると思ってたんだけど。
これはAIでお金を稼ぐ賢い方法だね。MongoDBもこの市場に入ってきてるのを見たよ。 https://www.voyageai.com/ でビジネス向けのRAGアプリケーションを狙って、会社特有のモデルのコンサルティングを提供してるみたい。
プレトレーニングについても言及してるのが驚きだね。あれってめっちゃ高いんじゃなかったっけ？小さなモデルには実現可能だけど、小さなモデルって事実情報には信頼性がないと思ってたんだけど？
└
これらのモデルの典型的なトレーニング段階はこんな感じだよ： 基礎： - プリトレーニング - ミッド/ポストトレーニング（SFT） - RLHFまたはアライメントポストトレーニング（RL） そして時々... - いくつかの顧客特有のファインチューニングもある。 プリトレーニング段階の後の監視付きファインチューニングは、データセットを入れ替えて、オプティマイザーの設定をちょっと調整するだけだよね。 彼らが言ってるのは、ポストRLファインチューニングじゃなくて、このプリRLファインチューニングのことだと思う。プリトレーニング段階を完全に入れ替えるわけじゃないはず。
どれくらいの独自のユースケースがプレトレーニングやファインチューニングを本当に必要としてるんだろう？RAGアプローチの方がいい場合もあるし、プレトレーニングやファインチューニングをするのはどのタイミングが理にかなうのか、気になるな。
└
RAGは死んだ
└
ragは基本的にllmに答えを探すためのいろんなドキュメントを与えるんだ。でも、それだけじゃアルゴリズムが良くなるわけじゃない。事前学習とファインチューニングがllmのタスクに対する推論能力を向上させるんだよ。
これってファインチューニングとどう違うの？
AIの未来は専門化だよ。すべてと誰かを犠牲にして、善良な知識をできるだけ早く得ることじゃない。 このアプローチは評価できるし、拍手を送りたい。私も似たような製品を探してるところ。いいね。
> プリトレーニングは、組織が大規模な内部データセットから学ぶことで、ドメインに特化したモデルを構築できるようにします。 > ポストトレーニング手法は、特定のタスクや環境に対してモデルの振る舞いを洗練させることを可能にします。 これってどういう仕組みだと思う？「プリトレーニング」って言ってるけど、適切なデータセット形式でのクリーンなデータがそんなに十分じゃないと思うんだ。「ファウンデーションモデル」を作るには足りないよね。彼らが言ってる「プリトレーニング」は実際にはSFTで、「ポストトレーニング」は...もっとSFTなのかな？「ゼロから始める」って意味じゃないはず。もしかしたら、彼らのSOAモデルを使って会社のデータから大量の合成データを生成するようなことをしてるのかも -- それは基本的に低解像度の蒸留と同じだと思うけど。うーん。
└
いつものように、いくつかの例から始めて、LLMにそれを元にもっと例を合成させて、それを使ってトレーニングするって感じかな。ひどい響きだけど、実際には結構うまくいくんだよね。
└
彼らが言ってるのは「継続的な事前学習」のことだと思う。