この文脈では、スキャフォールドは実際のモデルを囲むハーネスのことだと思います。例えば、ツールやタスクの配置方法、自動批評のメソッドなどです。スキャフォールドによってモデルのパフォーマンスにかなりのばらつきがあると思うので、比較はいつも少し曖昧ですね。

ポール・エルデシュについて読んでみて。数学はリーマン予想だけじゃないし、いろんなことをつなげる地道な作業もあるんだよね。

数学者がその問題に詳しくて積極的に取り組んでいる数は、現代数学の研究がすごく専門的だから、誰が似たような問題に取り組んでいるのか把握しやすいよ。お互いの論文を読んだり、同じ会議に行ったりするしね。「専門家が問題を解くのにどれくらいかかるか」という質問については、本当にオープンな問題に関しては、解決されるまで自信を持って答えるのは難しいと思う。でも、一度解決されれば、経験のある人はどれくらい時間がかかったかをよく分かっているよ（ただ、多くの人は必要な時間を過小評価しがちだけど、予期しない課題に直面することが多いからね）。

確かに、あなたが見ている問題にどれだけの人が取り組んでいるのか、そしてそれを解くのにどれくらいの時間がかかるのかを知ることは、研究者として働く上で重要なスキルだよね。どんな答えを求めてるの？定量化するのは難しいよ。ほとんどの人は、博士課程の学生の時にこの評価が苦手で、時間が経つにつれて上達していくんだ。

冗談かもしれませんが、現実からそんなに遠くないと思います。もっと多くの人がAIが数学の問題を「解決」するというこのナンセンスに疑問を持つべきだと思います。人間の関与に関する詳細はいつも曖昧で、問題の重要性はほとんどの人には不透明です。私たちは、ここで何か奇跡的なことをしているというセンセーショナルで強く暗示された考えからは、かなり遠いです。

明日もう一度リファクタリングを試してみて。もしかしたら、簡単になってるかもしれないし、逆に難しくなってるかもしれないよ。

だから、コンテキスト管理がすごく重要なんだよね。トークンを無駄に使うと、AIが高くなるだけじゃなくて、パフォーマンスも悪くなるかもしれない。コンテキストサイズが大きくなっても、これは関係してくると思う。特に、AIプロバイダーがいつでもトークンの価格を引き上げる可能性があるからね。

冗談でしょ？でも、もしかしたら本当かも？数学の多くの分野は、まず第一に、信じられないほど難解でアクセスしづらいんだよね（他の数学者にとっても）。この件について、著者は解こうとした人が5～10人くらいしかいないかもしれないって言ってた。さらに、著者は、資格があってちょっと頑張れば解ける問題だと信じているみたい。ソフトウェアエンジニアリングでは、もし世界中で特定のプログラムのアイデアに触れたのが5～10人だけなら、その実装が存在しないのも驚くことじゃないよね、複雑さに関係なく。やりたいと思っても、他のことに気を取られて完成できなかったソフトウェアがたくさんあるし。もちろん、こうやってコードを書いたり数学を解いたりできるシステムがあるのは奇跡的なことだけどね。

ジェミニを使って整数因数分解の多項式時間アルゴリズムを見つけたんだけど、謎にGoogleアカウントからロックアウトされちゃった。少なくともトークンは返金してほしいな。

問題を解くというより、全ての解法を試してみる感じだね。徹底的な探索ってやつ。僕の経験からすると、AIが難しい問題を解くのはほぼこういう感じだよ。

AIはリミキサーみたいなもので、既存のアイデアを組み合わせるだけなんだ。新しいアイデアは出てこないけど、LLMは文脈に基づいて最も可能性の高い次のトークンを予測するだけなんだよね。それって、出力される文字の組み合わせが過去にかなり一般的だったことを意味してる。自分が見たことのない新しい文字の組み合わせを勝手に加えることはないんだ。

数学やコーディングのコンペ問題は、厳密なルールと安価な検証のおかげでトレーニングしやすいんだ。でも、コードの品質みたいな、もっと定義が曖昧なことに進むと、人間でも具体的な公理を定めるのが難しいから、AIは幻覚を見始めて、あんまり役に立たなくなるんだよね。AlphaGoが人間の動きでトレーニングされた中級プレイヤーから超人に進化したのは、自己対戦による価値関数のおかげなんだけど、今は無監督学習しか進展がないし、強化学習も制約があるから、これが良くなるとは思えないな。

問題なのは、AI業界が自分たちの成果について嘘をついて、テストで不正をしているのがあまりにも多いから、彼らが結果を達成したと言っても本当に信じられないってこと。彼らはハイプを追求する中で、すべての信頼性を失ってしまったんだ。

生まれ変わったAI信者、ため息

100% 世界を良くするためには使われないし、最初に人を殺すために武器化されるってみんな知ってるよね。

AIに懐疑的な人と信じている人、これだけ？

なんで人間が特別だっていう前提がずっと続いてるのか、未だに驚いてる。うーん、今までずっとそうだったからじゃない？

数百万冊の本やインターネット上の全てのテキストを吸収せずに学習して推論できる能力は、確かに私たちを特別にしてるよね。そして、たった20ワットで！

Re: 「なぜ人間が特別だという前提がずっと続いているのか、未だにショックを受けるのか分からない。」この前提がなぜ今でも成り立っているのか、これを見れば少しは理解できるかもよ：https://en.wikipedia.org/wiki/Orchestrated_objective_reducti...

この成果が意味を持つのは、人間が問題を考え、AIと協力して結果を確認したからこそなんだよね。AIが「自分の仕事をチェックする」って言っても、車を洗うために洗車場に車が必要かどうかで行ったり来たりしてるのを見ると、ほとんど関係ないように思える。間違った結果や理解できない結果をAIに渡している人たちが何ヶ月も何年もいるけど、どちらにしても人間の確認が必要なんだ。AIは、他の場所で説明されている社会問題以外の新しい問題を提示していないし、自分の目標を追求することもないから、「実際に達成されたかどうか」も分からない。これがこの小さくて素晴らしい進展のコストについて何も言っていないことは言うまでもない。数兆ドルのトレーニングと推論があって、今のところはちょっとした数学の解決策がいくつかあるだけ。もし誰かが1年分の博士課程の資金を出してくれたら、AIなしでも解決できたと思うよ。

なぜ人間が特別だという前提がずっと続いているのか分からない。経験的に見ても、私たちには明らかに多くのユニークで差別化可能な特性があるからだよね。これを理解するのにはたくさんの時間がかかるし、神経科学や認知科学の若いけど厳密な分野がある。もし「根本的にユニーク」って意味なら、例えば「人間がすることは何もできない」ってことになるのかな。> 「ただいろんなことを試して、うまくいくまでやってるだけだ」ってコメントをよく見るけど、それが人間にも当てはまるかどうか考えることすらしないみたいだね。正直、どちらのシステムにも当てはまるとは思えない。私は機能主義者だから、人間の脳がすることはすべて物理的で、必要な機能を示す他の材料で再現できると信じているけど、それが知性の外見が常に知性であるべきだとか、LLM/エージェントが人間がすることをしているとは限らないって意味ではないんだ。

これがゴールポストの移動じゃないことを願ってるけど、言語モデルが何らかのオープンな数学問題を解決するのは、完全にSFだよ。