アーカイブ/ペイウォール: https://archive.is/rHPk3

ありがとう！

平行宇宙では、政府がコンピュータやデータセンター（インフラってことね）に投資して、モデルメーカーが同じ条件で競争できるようにしてるんだ。

なんでそんなことすると思う？政府はすでに間接的に、いくつかの企業に株式を持ってるからね。

もしそうなったら、政府はそのリソースをどう配布するの？OpenAIが1ヶ月で100万GPUを要求して、Anthropicが200万、政府のデータセンターには50万しかないし、新しいスタートアップも75万欲しいって。説得力のある提案をしたところに渡すの？できれば、キャンペーンの最大の寄付者には渡さないでほしいな。今や一番成功しているAIラボは、政府に追加リソースを求めるのが上手いところになっちゃう。アップデート: この質問の答えは下のコメントを見てね: https://news.ycombinator.com/item?id=46438390#46439067

この平行宇宙からは遠く離れていたいな。なんで私のお金を、私に利益がないデータセンターの建設に使わせるの？私は月に一度LLMを使うかどうかだし、多くの人は全く使わないよ。使う人がその分払えばいいじゃん。

完全に別の次元では、AIに投資される資本の4分の1が、みんなが質の高い食べ物と水を確保できるように使われてる。

このアイデア好き？

それ、悪夢みたいだね。

安定した要件と成熟した技術がある一定の状態では理にかなうかもしれないけど（私は賛成しないけど、そういう意見もあるのはわかる）。政府がハイプサイクルに飛び込んで、投機的なスタートアップが興味を持っているインフラを作り始める理由が見当たらない。なぜ彼らがプライベート投資家と比べてそのリスクを取るのか、そしてなぜ巨大なクローンインフラや他のスタートアップがやっていることよりもそれを支援することを決めるのか。

より良い平行宇宙では、私たちは brute-force 計算を使わずに、信頼性が低く非効率的に物事を計算するシステムを訓練するための別の革新を見つけて、私たちが何を作っているのか理解できる状態を保っている。

データセンターは自然独占じゃないから、常にもっと建設できるよ。公共セクターが自分たちの利用のために必要とする以上に、政府がそれに投資する理由はあまりないと思うよ。

>政府がコンピュータやデータセンター（インフラ）に投資して、モデルメーカーが同じ競技場で競争できるようにする。うーん、メンバー所有の協同組合はどう？株式市場みたいな感じで。

実際のところ、OpenAIのキャッシュバーンがどれくらいか誰も分からないんだよね。彼らがどれだけ資金を調達しているかを測るのは、適切な指標じゃない。もしかしたら、AIの冬を乗り切るために資本を蓄えているかもしれないし。あと、OpenAIはgpt4o以降、新しいモデルを訓練してないってことも注目すべきだね（その後のモデルは4を基にしたルーティングシステムやプロンプトチェーンだから）。だから、OpenAIが無限に訓練費用をかけ続けているっていうのは現実じゃないよ。

エンジニアに百万ドルの給料を払って、データセンターを建設してるんだから、彼らの支出がどこにあるかは大体分かるよね。

彼らはSoraや他のモデルを作って、AIビデオアプリでめちゃくちゃお金を使ったんじゃなかった？それをソーシャルメディアにしたかったけど、結局何が起こったかというと、数十億ドルを燃やしちゃったんだよね。

なんで4o以降、新しいモデルを訓練してないと思う？GPT-5のリリースは、単に異なるサイズの4oモデルにルーティングしてるだけだと思う？

じゃあ、どうやってデータを更新してるの？カットオフ日がどんどん今日から遠ざかっていくんじゃない？

彼らは4o以降、新しいモデルを成功裏に訓練できていない。それが、彼らが新しいモデルを訓練しようとしていないというわけではない。サマが新しいモデルを訓練しようとしていないと言ってるけど、彼は嘘つきとして知られてるし、システム的な失敗をうまくごまかそうとするだろう。

> 実際のところ、誰もOpenAIのキャッシュバーンがどれくらいか分からない。彼らの投資家は確かに知ってるだろう（ひどい詐欺がない限り）。 > 我々が知る限り、彼らはAIの冬を乗り切るために資本を蓄えているかもしれない。もしそうなら、彼らの投資家はパニックになってるはずだし（またはその結果の詐欺に加担してるか）。これはありそうにない。実際のところ、彼らは余剰資金で商品市場の隅を占めるようなゲームをしているように見える[1]。これは、彼らが有用なものに使うものがなくても、どう使うかを知っていることを強く示唆している。[1] 再度、詐欺を参照。

GPT-5シリーズは、o1/o3シリーズに基づく新しいモデルなんだ。4oの上に構築されたルーティングシステムやプロンプトチェーンだと言うのはかなり不正確だよ。4oは推論モデルじゃなかったし、推論プロンプトは実際のRLVRトレーニングに比べてかなり弱い。ベースモデルが変わったかどうかは誰にもわからないけど、4oはベースモデルじゃなかったし、5.xもそうじゃない。ベースモデルが変わってないとはちょっと驚くけど、彼らの合成データ生成パイプラインはかなり進化してるからね（gpt-oss-120bのリリースで明らかになったけど、これは彼らの合成データパイプラインから完全に生成されたらしい）。実際にお金を稼いでいるモデルの事前トレーニングや中間トレーニングにそれを使ってないなら、ちょっとおかしいよね。でも、どちらにせよ、5.xは単なるプロンプトチェーンや4oの上にあるルーティングだけじゃないよ。

ここで混乱してると思うし、君のコメントはセミアナリシスの記事に基づいてるんじゃないかな。[1] この記事ではこう言ってるよ：OpenAIの主要研究者たちは、2024年5月のGPT-4o以来、新しいフロンティアモデルのために広く展開された成功したフルスケールの事前トレーニングランを完了していないと。これは、GoogleのTPUフリートが克服した重要な技術的ハードルを強調している。ただし、事前トレーニングランはベースモデルの初期のゼロからのトレーニングだよ。君は彼らがルーティングとプロンプトだけを追加したと言ってるけど、元の記事はそうは言ってない。おそらく、彼らはまだ多くのファインチューニング、RLHF、アラインメント、ツールコールの改善を行っているはずだよ。これらもトレーニングの一部だからね。それは全然問題ないよ。Codex-highで得られた素晴らしい結果を見ればわかるでしょ。もし君が言ったことを他のソースから得たなら、リンクを教えてほしいな。読みたいから。もしただ混乱してるだけなら、それも全然問題ないよ。[1] https://newsletter.semianalysis.com/p/tpuv7-google-takes-a-s...

>OpenAIはgpt4o以降、新しいモデルを訓練していないことも注目に値する（その後のモデルは4の上に構築されたルーティングシステムやプロンプトチェーン）。少なくとも彼らはGPT 4.5を作ったけど、これは明らかにゼロから訓練されたものだった。おそらく彼らがGPT-5にしたかったものだったけど、スケーリングの予測を間違えたんだ。人々はその金額を払う準備ができていなかったからね。

>「OpenAIはgpt4o以降、新しいモデルを訓練していないことも注目に値する（その後のモデルはすべて4の上に構築されたルーティングシステムとプロンプトチェーンだ）。」これはあまり正確じゃない。まず、GPT4.5は新しい訓練だったし、他にどれだけの失敗した訓練があったかは不明だ。次に、「その後のモデルはすべて4の上に構築されたルーティングシステムとプロンプトチェーンだ」というのは完全に間違い。gpt4o以降のモデルは、強化学習を使って異なる方法で後処理されてる。それにはかなりの費用がかかる。最後に、GPT5.2は新しい訓練のようだし、少なくとも訓練のカットオフ日が違うみたい。フルの訓練をしていなくても、かなり大規模な訓練だったはずだよ。

この文章は、既に知っていることに何も新しいことを加えてないね。今年、ラボがどうなるかはまだ分からないけど、個人的にはAnthropicがコーディングに注力しているのが、サブスクリプションベースの成功への最も明確な道だと思う（典型的なSaaS）。一方でOpenAIは広告に明確なチャンスがあるよね。この二つの道はどちらもかなり儲かる可能性があると思う。そういえば、Googleは人々が実際に使いたいと思う製品を作るのに苦労し続けるだろうね、モデルの質に関係なく。

Googleが人々が使いたくない製品を作るのに苦労しているのはどこだろう？個人的な意見？

どのGoogleのAI製品が人々に使われたくないの？ジェミニはMAUの観点からチャットGPTに追いついてきてるし、検索のAIオーバービューはすごく人気で、他のAIベースの製品よりも圧倒的に使われてる。Google AIモードもまあまあ使われてるし、Google Lensは意外と高い使用率だよ。これらの製品を合わせると、他のどの製品よりも10倍くらいは圧倒してる。

私はそう思わない。Googleには少なくともいくつかの利点がある：1. Googleブックス、彼らは合法的にスキャンした。疑わしいトレーニングセットはない。彼らは定期的にインターネット全体をスクレイピングしてるし、YouTubeも持ってる。最高のトレーニングデータに簡単にアクセスできる、すべて合法的に。2. 最大の検索インデックスへの直接アクセス。ChatGPTに何かを検索させると、基本的に私たちがやってることを少し早くやってるだけ。Googleはもっと賢くできるし、直接アクセスがあるから速さも違う。検索はこれらのサービスの大きな利用ケースだよ。3. Android、Gmail、Googleマップ、フォト、アシスタント/Homeなど、AIに統合できる既存のサービスがある。モデルの能力の違いはせいぜい微々たるもので、Googleに有利な場合もあるみたい。OpenAIには「Googleじゃない」という強みがあって、AIのブランド認知度もある（みんなChatGPTを知ってる）。正直、これだけでは足りないと思う。

「私たち」がすでに知っていることは、毎日数十本のAIに関する記事が出るフォーラムでは、なかなか追加しづらいよね。 >「OpenAIには広告で明確なチャンスがある。」個人的には、「広告で明確なチャンスがある」っていうのは、世界の難しい問題を解決すると約束した会社にとって、最後の手段みたいに感じる。

多分、GoogleのAIを使ってる人が一番多いんじゃないかな。検索結果の一番上には、LLMが生成した要約が載ってるし。

OpenAIがAIの普及が短期的に収益につながると賭けているのは間違いなくリスクが大きいよね。個人的にはそれが本当に起こる可能性もあると思う（確率は低いけど、VCにとってはリスクを取る価値がある？多分ね）。

どうやら私たちはみんなOpenAIにお金を入れるだけの余裕があるみたいだね。Googleのようなプレイヤーはプレイしなきゃいけないし、アメリカ対中国のようにプレイしたいプレイヤーもいる。あと、LLMとチャットするのはすごく説得力があるよ。普通の非技術的な人たちでも「このもの」がすでに何ができるかを見ているし、進歩が今のペースで続いている限り、売りやすい未来だよね。

OpenAIが約束していることは数学的に不可能だよ。彼らもそれを分かってる。目標は「大きすぎて潰せない」状態になって、アメリカの納税者に助けてもらうことなんだ。今のアメリカはAIを冷戦時代の軍拡競争みたいに捉えるように仕向けられてるからね。

修正: OpenAIの投資家はそのリスクを取ってるよ。一部の投資家（例えばMicrosoftやNvidia）は、自分たちの収益を増やす条件で投資をして、そのリスクを軽減してるんだ。

なんであんなに動画や画像に投資してるのかよくわからない。アンソロピックの方が少なくとももっと集中してるみたいだし。

彼らの主な用途は広告やプロパガンダだから、AIがなくてもほとんどが動画や画像なんだよね。

インターネットと同じで、99%の利用は教育や仕事、自己成長なんかじゃないよ。結局、クソみたいな子猫の動画やミームのためだよね。

でも、彼らはどれだけもっと利益を上げてるの？収益は見えるけど、利益や支出は見えないよね。AnthropicはOpenAIよりも早く成長しているようだけど、それはGPT後のハイプの恩恵かもしれない。

OpenAIはAIのリーダーを意味するからね。もしGeminiが画像を作成したり編集したりできるなら、ChatGPTもそれができる必要があるよ。誰がAIエージェント間でプロンプトをコピー＆ペーストしたいと思う？それに、もっと意味を持たせたいなら、モデルに画像、動画、音声を追加するべきだよ。そうすることで、より賢くなるからね。OpenAIはAnthropicよりも重要で、一般的な「ヘルパー」として知られている。Anthropicは開発者にもっと焦点を当てることで、持っているお金の量で長く成功することができる利点を見たんじゃないかな。

「スロップ」についての愚痴が絶えないけど、マルチモーダルAIの入出力は本当に便利なんだよね。家の修理の問題を写真に撮って診断してもらい、どうすればいいかの図を返してもらえるのは素晴らしいし、それを支えているアルゴリズムはスロップと同じなんだ。「ごめん、その使い方はジェミニに行ってね、インターネットのミームでみんな怒ったから」ってのは、彼らが大衆消費者企業になるための良い方法じゃないよ。

AIレースに関わっているほとんどの人が「勝者総取り」の環境で育ったから、彼らはそれを現実にしようと必死なんだ。つまり、モデルは市場シェアの90%を取るために全力を尽くさなきゃいけないし、少なくとも特定のニッチで90%を取らなきゃいけない。問題は、彼らがいくら頑張っても「堀」を見つけられないことなんだ。AIに何を組み込んでも、競合他社は数ヶ月でそれを再現できるからね。だからOpenAIはディズニーと契約を結んでいるんだ。著作権がその堀を提供してくれるから。

彼らがこれをやっていることは、AGIを達成するためにはあまり楽観的じゃないよね。

だって、そっちと世界モデルが最終目的だから、テキストよりもずっと重要なんだよね。

OpenAIは（だった？）バイラルなものを作るのがすごく得意だったよ。成功したものは確実にサブスクライバー数を大きく増やすし、スタジオジブリやSoraアプリなんかもそうだね。バイラルになって数字を増やしてから、著作権のある素材の調整をする感じ。Atlasは、彼らが期待していたほど成功しなかったと思う。Googleのローンチに対する答えとして、意味のある改善ではなく、頻繁にバージョンアップをしているから、バイラルになるのが難しくなっているとも思う。全体的に、OpenAIは壁に何かを投げて、何がくっつくかを見ている感じ。ほとんどはくっつかず（半分）放置されるけど、中にはうまくいくものもあって、それがGeminiよりも良い消費者製品になる。今のところはうまくいっているようだけど、長続きするかはちょっと疑問だね。

だって、これらはほとんど2010年代の同じプレイヤーだから。投資家のお金が得られなくなって、難しい問題がまだ解決されていないとき、最も簡単な後退策は、10〜15年前に成功した同じソーシャルメディアのスラップに戻ることなんだ。エンゲージメントを最大化して、（最終的に）広告収入を得るために古い方法に戻るってわけ。

OpenAIは世界で#5のトラフィックレベルを誇ってる。彼らのプロダクトと市場のフィット感は明らかだよね。問題は収益化なんだ。リクエスト一件あたりのコストは、従来のウェブサイトよりも約3桁高いんだ。人々がその製品に価値を見出しているのは明らかだけど、今の補助金付きの価格でしかその価値を見ていないことが分かってる。推論価格が急激に下がり続ける可能性もあるし、OAIが価格を上げる必要があって、消費者がその価値に対してもっとお金を払う準備ができている可能性もある。

ペニーの値段でドルを配ってたら、プロダクトと市場のフィット感を得るのは簡単だよね。

従来のサイトがAIを各リクエストに組み込まざるを得なくなった場合、複数のサービスコストは変わらないのかな？例えば、新しいGoogle検索とか。

実はシンプルな問題なんだ。実際に希少なものは何か？iOSのホーム画面のスポット？うん、それは希少だね。LLMリクエストを処理するためのインフラ？いや、そんなことはない。良いLLMの回答？それもない。経済学者は希少性と本当の希少性の違いがわからないんだ。iOSのホーム画面のスポットを買うのは非常に稀で、その価格は上がる一方だよ。TikTokやWhatsApp、Instagramの価値のトレンドを考えてみて。それが本当に希少なものだ。OpenAIが「所有」しているものだよ。君の言う通り、#5アプリ。誰かのホーム画面を見ると、そこにあるものは8社が所有していて、そのうちの7社は世界の7大公開企業、8社目がOpenAIなんだ。一方で、インフラは実際には安くなっていくし、エネルギーもそう。彼らは多くの間違いを犯してる。AzureがOpenAIに推論のために「請求している」小売価格を予測することはできない。でも、NVIDIAはカルテルに参加しているし、GPUは実際には希少じゃない。TSMCの最高プロセスノードが必要なわけじゃないし。法律でカルテルを解体できるし、人々は半導体プロセスの知識を盗むこともできる。でも、iOSのホーム画面のスポットを「作り出す」ことは誰にもできないんだ。わかる？

AIは、非常に競争が激しく、資本集約的な商品市場になると思う。結局、コストや効率で競い合う「レース・トゥ・ザ・ボトム」に陥るだろうね。みんな同じような知性や推論のパフォーマンスに達してるから。これを証明する簡単な証拠は、AIに同じリソースを投資した人たちが、だいたい同じ結果を出していること。OpenAI、Anthropic、Google、Meta、Deepseekなど、どの会社にも技術的な優位性や競争力のある利点は見当たらない。結論として、AIは鉄道のように世界を変える技術だし、すぐに巨大なバブルが起こると思う。鉄道もまだあるし、世界を変えたのは確かだけど、ベンチャー投資の観点からは、大きな下落に備えた方がいいよ。

Googleにはかなり大きな優位性があるよ。既存のサービスに膨大な動画データがあって、Nvidiaの90%のマージンにも全く依存していないからね。

> AIは非常に競争が激しく、資本集約的な商品市場になる。 すでになってるよ。競争の観点から言うと、2024年末から2025年初頭にかけての推論時間の計算（「思考」）の導入以来、画期的な新しい研究やアーキテクチャは見てないと思う。今のコストや革新の大部分は、この1〜2年の技術をますます多くのコンテンツでトレーニングすることと、これらの大きなモデルをより大規模に動かすためのハードウェアを開発することに使われている。今や資本の大部分はハードウェアに投入されていると言ってもいいと思う。HBMやそれに関連する研究、あるいはますます強力なGPUやTPUにね。でも、これらの部品はAI以外の多くの場所でも使えるし、他の産業に良い影響を与える製造技術や物理の発見に出くわすかもしれない。 > コストや効率で競い合う「レース・トゥ・ザ・ボトム」に陥る。 パーソナルコンピュータの導入が「レース・トゥ・ザ・ボトム」になったと言えるかもね。でも、それはドットコムバブル時代の始まりに過ぎなかった。そのバブルは多くの有益な市場拡大をもたらしたんだ。 > 知性や推論の観点で同じ漸近的パフォーマンスに達したモデル。 漸近的パフォーマンスには完全に同意するよ。でも、もっとワクワクするのは、今のハードウェア投資が実を結び始めるにつれて、LLMが今後数年でかなり安くなることが期待できるってことだと思う。そして、5〜10年後には、ほとんどのエントリーレベルのノートパソコンがローカルで30Bサイズのモデルを扱えるようになり、マルチタスクもできるようになるだろうね。安くなるにつれて、より多くのアプリケーションが実用的になる。--- OpenAIについてだけど、彼らは確かに少し危うい立場にあると思う。基本的に、彼らの評価の大部分は将来の利益の期待によって正当化されているから。GoogleはGeminiの導入前に利益を上げていたけど、AIスタートアップはまだ利益を確立する必要がある。最初の期待はこれらのAI企業のB2Cモデルだったけど、生き残るもののほとんどはB2B構造にシフトすると思う。ほとんどのビジネスは個人よりもAIにお金を使う傾向が強いから、それがAIコンサルティング系の企業の増加につながるだろうね。

最近、個人的にはGoogleよりもchatGPTを検索に使うことが多いんだよね。自分が探しているものに対して、もっと正確な結果を出してくれることが多いし、さらに詳しい情報を得るためのリンクも提供してくれる。これが彼らの競争優位性のポイントだと思う。もしそれをマネタイズする方法を見つけられればね。

「AIは非常に競争が激しくなる」って、どういう意味？鉄道じゃないし、鉄道はバブルで爆発しなかったよ（初期のエンジンが爆発したことはあったけど、それはエンジニアリングの問題）。LLMに基づく大規模データセンターへの投資は、あまり賢い選択じゃないと思う。

ML技術でまたトランスフォーマーレベルの飛躍があるまでは、これが続くと思う。そんな進展が見つかったとしても、オープンにはされないだろうね。

君の前提はすごく重要な点で間違ってるよ。参入コストは異常に高い。誰でも入れるみたいに言ってるけど、実際は真逆だから。今、ドアは閉まりつつあるんだ。OpenAIと競争してみて、どれだけのコストがかかるか計算してみてよ。300、500、800百万ユーザー規模にスケールさせてみて。なぜAnthropicがもっとないのか、評価額（と潜在的なIPO）を考えればわかるでしょ？追いつこうとするだけで数百億ドルかかるんだ。誰もそのお金をくれないよ。GPUもエンジニアもお金もデータセンターも手に入らない。最近はRAMすら手に入らないし、買う余裕もない。Googleや他の企業が市場を押さえて、広告でマネタイズしてる。これから10〜15年で兆ドルの収益を生み出すだろうね。参入障壁は検索と同じで、2026-2027年頃のGeminiのレベルでゲームに参加しようと思ったら、1000億ドル以上かかるよ。競争を維持するためにその1000億ドルをどこから持ってくるつもりなのか教えてよ。Anthropicですら、資金バブルが終わったら競争に残るのが大変になるだろうね。GeminiやGPTにリアルに競争できる企業は、せいぜい十数社だよ。

>「それはAIが消えるわけじゃないし、世界を変えないわけでもない - 鉄道は今でも存在していて、確かに世界を変えた - でもベンチャー投資の観点から見ると、大きな下落に備えなきゃいけない。」なんでみんな「バブルが弾ける」って言うと、「すべてのAIが消えて、役に立つものが何も残らない」って意味になるのか理解できない。ドットコムバブルはインターネットを殺さなかった。でも、それはバブルで、結局弾けたし、影響は数十年にわたった。バブルが弾けるって信じるとき、実際に意味するのは「この資産は過大評価されていて、すぐに持続可能な価値に急速に減少する」ってことなんだ。それは長期的には良いことだけど、そんなクラッシュが次の数年で引き起こす破壊はひどいものになるだろうね。

もしパフォーマンスが確かに漸近するなら、シリコンのスケーリングの終わりや計算コストの低下がない限り、最終的には手頃な価格のハードウェアで最高のモデルを家庭で動かすことができるようになるだろうね。最終的には曲線が交差する。例えば2000ドルで手に入るコンピュータが、最高のモデルを動かせるようになるんだ。これが起こらない唯一の方法は、モデルが漸近しないか、コンピュータの単位計算やストレージのコストが安くならなくなることだよ。これが起こったからといって、みんなが実際にそれをやるわけじゃない。洗練された人やプライバシーを気にする人だけがやるだろうけど。それが意味するのは、AIが安くて商品化されていて、モデルを作ったり動かしたりすることや、最高のインフラを持つことに特別な優位性がないってことだよ。

オープンソースのモデルは、ほんの数ヶ月遅れてるってこともあるね。

人々は、OpenAIやAnthropicが死ぬことがAIの終わりと同義だと思ってるみたいだけど、そんなことはないよ。OpenAIとAnthropicは重要な研究に多くの資本を投じてるし、もし株主や株式市場がそれを評価して尊重できず、これらの会社を潰すことにしたら、新しい会社が同じ技術で、同じような人たちによって作られて、繁栄することになるだろうね。そして、株主は置いてけぼりになる。Googleは、昔の検索エンジンの巨人たちが開発した多くのインフラ技術の上に成り立ってる。残念ながら、株式市場はその巨人たちの貢献を称賛するのではなく、評価を下げることを選んだんだ。

一番いいシナリオは、ショッピングを統合して、Gから高意欲な商業クエリを奪うことだと思う。AIの話じゃなくて、次の通行料を取る道になるのは誰かってことだよ。

AIは、AIスタートアップにとって最悪のビジネス環境になりつつあるね。巨大な資本投資と継続的な革新が必要な商品。小さくても利益を上げる金鉱を運営する余地はない。生き残る唯一の道は、 relevancyを保つために狂ったような金額を投資することだけ。しかも、顧客はほとんどブランドロイヤリティがないから、少しでも遅れを取ると、みんなAPIエンドポイントを変えて、あっという間に置いていかれる。ビジネス的には最悪な環境だよ。主要なモデルがほぼすべてのユースケースに対して「十分良い」方向に収束してるから、本当の防御策もない。典型的な底辺競争を超えてるね。Googleのように他の製品を持ってるところはAI機能を追加するだけだし、AIを製品にしようとしてる他の会社は、財政的に完全に潰されるだろうね。