Clef: オープンソースの意思決定モデルと新しい強化学習ファインチューニングプラットフォーム

うん、彼らのパレートフロンティアにコストが含まれてないのは変だと思った。

既存のオープンソースモデルを使えば、基本的なものは数分で作れるよ。レイテンシはあまり良くないかもしれないけど、似たように動くと思う。LLMの構造化された出力を指定されたスキーマに強制的に合わせるだけだから。おそらくトレーニングも簡単で、強力なLLMを使って入力/出力データを生成したり、合成データも簡単に作れるからね。新しい技術というよりは、新しいユースケースって感じだね。

うん、基本的なMLの知識があればすごく簡単だよ。

Scratchから始めるライブコーディングJev | Qwenアーキテクチャの理解 https://www.youtube.com/watch?v=AzxoU7kxjig

基本的なことは結構シンプルだよ。具体的なニーズによっては、モデルはすごくシンプルで、速くて超効果的（例えば、モバイルデバイスで動かして、1秒未満で何千ものリクエストを処理できる）になり得る。ここ1年くらいこれで遊んでるんだ。最初は個人用のメール分類器から始めて、いくつかの公開データセットでベンチマークをやって、Doomをプレイできる分類器をいくつか作ったり、今はリクエストプロキシ/ルーターを試して、自動的に分類器を選んで、見たことのないリクエストにはLLMにフォールバックする実験をしてる。Jevは盛り上げるのが上手だったけど、「意思決定エンジン」や「意思決定モデル」の概念を形作るのも上手だった。人々はすでにLLMを使ってこれをやってたけど、それはほとんどのタスクには非効率的で、Jevのチームはそこに市場があると気づいたみたい。彼らは正しかったようで、今はそのスペースに殺到して、盛り上がりの波に乗ってる。

分けて考えるべきことがたくさんあるね。一般的に、汎用分類器のトレーニングは多くの人が長い間取り組んできたことだよ。大きなトランスフォーマーモデル自体はすでに「一般的」だから、構造化生成や制約付きデコーディングを使えば、LLMを汎用分類器として使うことができるようになってる。LLMジャッジや分岐した意思決定ワークフローで作業するための非常に一般的なパターンだよ。分野にあまり詳しくない人たちは、Jevの盛り上がりを見て、これがLLMを使うための根本的に新しいインターフェースだからそんなにワクワクしてるんだろうと勘違いしてたみたい。それがさらにJevへの注目を集めたんだ。でも、根本的にはTypeSafeの発表は、特定のアーキテクチャ/トレーニングパラダイムを見つけて、そのインターフェースに対して素晴らしい精度と超低遅延、そして超低コストで推論を提供できるモデルを作ったってことだと思う。Jevのクローンがたくさん出てきてるのは追ってないけど、人気が出る新しいコンポーネントにはありがちなことだよね。使えるオープンソースの自己回帰型LLMやファインチューニングが異常に多いから。どれが人気になるかは、通常は個々のモデルのパフォーマンスによる。でも、この目的のためにモデルをトレーニングしたり、Jevの論文に書かれている手順を模倣するのは、どのラボでもできることだと思う。全く異質なアーキテクチャやアプローチじゃないし。TypeSafeとしての大きな疑問は、他のチームがパフォーマンスやコストで勝つJevのようなモデルを生産しているかどうかだね。さっきも言ったけど、報告をあまり詳しく追ってないから、それがどうなってるのかはわからない。

うん、簡単だよ。特にAIが「行き止まり」だとか「変革的じゃない」って思ってる人たちが見落としてるのは、ここ数年でこの分野がすごく速く進んでいて、未開拓の道や摘まれていない低いところにぶら下がっている果実がたくさんあるってこと。みんながそれを見過ごして急いで進んでる。私たちはMLがもたらした能力を探り始めたばかりで、パターン、アプリケーション、アーキテクチャがある。今、世界経済のハードウェア供給の限界にぶつかっているから、もっと多くの人が「もっと計算力を投げる/もっと大きなモデルを作る」っていう狂った急ぎの中で置き去りにされたものを再訪すると思う。だから、次の数年でJevのようなケースがもっと出てくるんじゃないかな。

そう、確立された会社にとっては簡単だよ。彼らがやるべきことは、ポストトレーニングのワークフローを調整するだけ。 「意思決定モデル」っていうのは、OpenAIがRL CoTが新しかった頃にやった「LRM」と同じようなマーケティングだよ（盛り上がった群衆に向けて）。結局、これは「意思決定」に使われる分類器で、ゲームやRPは一般的なモデルと制約付き出力を使って、DOOMデモがやってることを何年も前からやってたんだから。

面白いのは、簡単な部分でもあるんだよね。モデルやアーキテクチャは、経験豊富な機械学習エンジニアならそんなに難しくない。難しいのはデータと評価の部分。確かに、良い予測力を持つ速いモデルを作るのはそんなに難しくないけど、速いって何をするための速さなの？ホットドッグがサンドイッチかどうかを分類することなんて、あんまり気にしないよね（これはJevのデモ）。