RLトレーニング、つまりLLMトレーニングの第二段階は「Xをやったけど、それは良かったのか悪かったのか？」っていう1ビットの情報がトレーニングデータになるんだ。だから、ユーザーに提案を出して、ユーザーが受け入れたら→良い。提案を出して、ユーザーが拒否して別のことを入力したら→悪い（さらに監視トレーニングデータも加わる）。LLMのパフォーマンスを向上させるためには、高品質なトレーニングデータが必要なんだ。だから、まずはどんな追加のトレーニングデータでも役立つ。次に、これは彼らの製品に直接関連するトレーニングデータだから、他の多くのソースよりも質が高い。どんなモデル提供者も、これだけじゃなくて、得られるすべての顧客インタラクションを徹底的に活用してると思うよ。

提案を見ることで、決定に影響が出るんだよね。

ユーザーの実際の回答と、提案された回答を見た後のユーザーの実際の回答は、異なるデータポイントになる。

スレッドにはユーザーが受け入れそうな合理的なフォローアップがたくさんあるから、ユーザーのメッセージと違うフォローアップを予測したことでモデルを罰するのは間違ってるんだ。その予測は、もし提案されていればユーザーに受け入れられたかもしれないからね。

Tab+Enterを押せば受け入れられるよ。

同意だね、もうHFはあるし、デルタとモデル予測はいつでも計算できるから。むしろ、提案を見せることで余計なバイアスが生まれる気がする。

LLMはシミュレートしている人格だけじゃなくて、ツールコールの出力やメッセージの使用、プログラムの出力、APIコールのレスポンスなども予測しているんだ。次のトークンを予測するってことは、あらゆるところからのすべての可能な次のトークンのかなりしっかりしたモデルを持っている必要がある。

タイトルケースになることもあるけど、ほんとイライラするよね。小文字だけのメッセージはあんまり好きじゃないから。

わかる。使うとなんか失礼な感じがするし、そんな風に打つことはないからね。Claude自体は完璧な大文字と句読点を使ってるのに、なんでこんな決定をしたのか全然わからない。もしかしたら、チャット履歴でどの返信が提案だったかがわかりやすくなるためかな？