記事が26日前に発表されたGoogleのTurboQuantについて全く触れてないのがちょっと驚きだな。TurboQuantはKVキャッシュのメモリ使用量を6倍削減し、速度も最大8倍向上させるから、これがllama.cppにすでに反映されてて、もっと大きなコンテキストを使えるようになってるんだよね。小さいモデルを使わなくてもメモリに収められるってわけ。中にはRAMの状況がかなり改善されると思ってる人もいるけど、俺はちょっと懐疑的かな。需要は多分、TurboQuantの効果を上回ってると思う。

メモリはまだたくさん使えるけど、もっと色々詰め込めるって感じだから、今の市場の大物たちは簡単には手放さないと思うよ。

モデルをメモリに保持する必要があるからね。例えば16GBのRAMがあっても、そんなに大きなメリットはないよ。

結局、同じことを達成するためにメモリ使用量が減るわけじゃないよ。今のメモリ量でより多くのことをするって感じ。企業は提供するサービスのコンテキストウィンドウを広げて、それを使う人も増える。これがメモリの未来の悲しい現実だね。

ところで、いくつか訂正があるよ。TurboQuantの論文は2025年4月にArxivに提出されたんだ: https://arxiv.org/abs/2504.19874 現在の「TurboQuant」実装は圧縮率が約3.8倍から4.9倍で（高い方はGSM8Kのパフォーマンスにかなりの影響が出る）、ベースラインの速度は約80-100%（改善なし、逆行）だよ: https://github.com/vllm-project/vllm/pull/38479 注意してない人には、これとvLLMの進行中の議論を送る価値があるかもね: https://github.com/vllm-project/vllm/issues/38171 それとllama.cppも。TurboQuantは悪くないけど、魔法の弾丸ではないよ。個人的にはDMSを試していて、こっちの方がもっと可能性があると思ってるし、いろんな量子化スキームと組み合わせられると思う。kvcacheの最大の節約は、改善されたモデルアーキテクチャにあるね。Gemma 4のSWA/globalハイブリッドは最大10倍のkvcacheを節約できるし、MLA/DSA（後者はグローバルアテンションの計算を助ける）も同様だし、線形やSSMレイヤーを使うとさらに節約できる。ただ、これらはメモリの需要を減らすわけではない（ジェボンズの逆説など）。今のところ、私のコーディングツールでは、月に約10-15Bのキャッシュトークンを使ってる（数ヶ月前は5-8Bだった）。多分、私は平均より上だと思うけど、特に変なことをしているとは思ってないし、今年はメインストリームの開発者やエージェントが増えているから、消費したいトークンの数に本当に限界はないと思う。

ローカルモデルにかけられている作業は、確実に助けになる低RAM/VRAMをターゲットにしているみたいだね。例えば、Gemma 4の32Bは、オフ-the-shelfのノートパソコンで動かせるけど、2年前のSOTAモデル（例えばgpt-4o）と同じかそれ以上の知能レベルだよ。メモリ価格が下がる頃には、ローカルで動かせるOpus 4.7のような賢いものが出てくるかもしれないね。もちろん、大きなモデルはもっと多くの埋め込まれた知識を持っているけど、ウェブ検索をするためにツールコールをするべきだと知っているだけで、かなりの部分をバイパスできるんだ。

それは、モデルが以前は実現できなかったシナリオで使えるようになるので、RAMの需要をさらに増加させるだけだよ。そして、モデルとコンテキストサイズの上限は今のところ見えないね。ジェボンズの逆説を持ち出すのは嫌だけど、今やそれはクリシェになっているから、まさに教科書のようなシナリオだよ。

TurboQuantは業界全体で最先端ではないことが知られているよ。すべてのビットレートでKV量子化のための優れたスキームがあるからね。例えば、SpectralQuant: https://github.com/Dynamis-Labs/spectralquant など、たくさんの論文があるよ。> 「TurboQuantはKVキャッシュのメモリ使用量を6倍削減する」って言われてるけど、すべてはベースライン次第だよ。「6倍」はBF16 KVキャッシュと比較したスタイル的なもので、最先端の8ビットや4ビットのKVキャッシュスキームではないからね。

最適化の時代がついに来たね。ワクワクする！

中国が台湾に侵攻するまで待ってみて…（まあ、そんなに可能性は高くないけど、もしそうなったら？）

OS開発者はもっと最適化に力を入れるべきだって、何年も言ってきた。もしチップ不足がなければ、チップのスケーリングの進展が遅いのが問題だっただろう。でもソフトウェアの最適化はすべてのハードウェアに役立つし、それが売上を伸ばすわけじゃない。Linuxはその点、心配しなくていいけどね。もしかしたら、Haiku OSの時代が来るのかも。BeOSの霊が蘇るかも！

疑問に思ってるんだけど、俺が使ってるアプリは、a) 最適化する意欲がないくらいロックインされてるか、b) 最適化するためのリソースが足りないかのどっちかなんだよね。要するに、できる最適化ってのは、重いツールを捨てて軽いのに切り替えることくらいで、他の人も同じことをしてくれれば、軽いツールの資金や開発リソースが助けられるかなって思ってる。

そうそう、Samsung、SK Hynix、Micronは需要に応えられるキャパがないんだよね。少しあるキャパもDRAMよりHBMに振り分けてるし。俺の限られた知識では、HBMは消費者向け電子機器に簡単に転用できない。つまり、一般市場は今後3〜4年は厳しいってこと。これだけじゃないけどね。OpenAIは今、資金繰りに苦しんでる。最近のラウンドでプライベート市場からほぼ全ての資金を吸い取られちゃった。みんな、彼らのバーンレートや収益について難しい質問をし始めてる。どうやら、RAMのパニックを引き起こした購入注文を実行しないかもしれないって雰囲気になってきてる。だから…メモリメーカー自身が損をすることにならないか、どれだけ確信が持てる？

地元の障害も加えると、オランダの電力網はすでに限界に達していて、管理会社がデータセンターを建設しようとしている企業に対して、2030年まで電力網に接続できないと言っているんだ。これらの企業はすでに接続のための料金を支払って、保証も受けているのにね。つまり、データセンターのためにメモリ容量が予約されているけど、その建設が延期されたりキャンセルされたりすると、変なことが起こるかもしれない。

でも、まずはHBMの価格が下がってほしくない？ メモリメーカーは大丈夫だよ。需要はほぼ無限だから。世界中で中国みたいに計算リソースを人ごとに配分するようなことがない限りね。本当の問題は、みんなが同時にHBM、DDR5、NVMe5にアップグレードしたいってこと。

Radeon VIIは2019年に$700のコンシューマーGPUとして登場し、1TB/sのHBM2メモリサブシステムを持っている。これは、今手に入るどのコンシューマーGPUよりも多いと思うよ、ハイエンドのものを含めてね。あの時点では、HBMを搭載したAMDのGPUがミドルレンジまでラインナップされていたんだ。10年前に普通の人にとって手頃な価格でこれを作って売ることができたのに、どうして今は神の技術みたいなアイデアが出てくるんだろう、普通の人には手が届かないって？

アルトマンの建設計画が崩れ去るにつれて、金融業者がインフラをそんなに早く作れないし、そのインフラから利益を上げられないことに気づくと、ペンデュラムは逆側に早く振れると思ってる。

メモリメーカーっていつも最後に損をする役回りになっちゃうよね。これ、少なくとも3回は見た気がする。

HBMを使ってどんな消費者向け電子機器が作れるの？それが君が立ち上げるべきスタートアップだよ。

実際、AIデータセンターでもLPDDRの需要は結構あるんだよ。HBMは特定のメモリ容量に対して面積を無駄に使っちゃうからね。

なんか見落としてる気がする。経済的に、メモリメーカーがここで何を損するの？この取引がどう構成されているのか、あんまり詳しくないんだ。

>「うーん…メモリメーカー自身が袋を持つことになる可能性はどれくらい確実なのかな？メモリメーカーは、袋を持たないように容量を増やさなかったんだ。」

>「みんな、今は自分たちのバーンレートや収益について難しい質問をし始めている。この見解は、クラウドコードやコーデックスの後に正しく更新されていない。明らかに需要は十分にあるだろう。」

記事が中国の新しいメモリ企業について全く触れてないのがちょっと驚きだな。

記事によると、 >「CXMTは、先進的なDRAMノード開発において、Samsung、SK Hynix、Micronに約3年遅れをとっている。新しい生産ラインの歩留まり率が、容量目標が信頼できる供給に変わるかどうかを決定する変数となっている。」 リウ氏は、2026年後半に立ち上げられるラインが2027年までグローバルな供給と需要のバランスを変えることはないだろうと指摘している。The Vergeの記事では、2028年には需要が供給を上回ると話している。あなたの記事では、中国の生産が現在の技術に追いつくのは2029年までかかると示唆している。これが5年後に価格を下げる助けになるだろうが、中国のメモリ生産は不足を解消するほどの準備が整っておらず、効率も足りないだろう。

俺はちょっと楽観的なんだ。これがRAMをうまく管理できない開発者たちに警告を与えて、今後のアプリは必然的にもっとメモリ効率が良くなると思う。

RAMをかなり少なく使うってことは、逆にCPUを多く使うことが多いから、膨れ上がったRAMの価格を考えると、あんまり良いトレードオフじゃないよね（少なくとも一般的には）。

> RAMをうまく管理できない開発者たちに警告を与えると思う そして、Electronを潰してくれればいいな。300MB以上のアプリを立ち上げて、500KBで済むはずのものを表示する意味が全くわからないんだよね。

ああ、それは夢だね。

でも、需要は推論によって駆動されているんだよね。あまり動機があるとは思えないな。

1973年のオイルショックみたいなもん？ V8エンジンの終焉（言葉遊びだけど）

これがメモリ効率の良いソフトウェアを書く動機になるかもしれないな。だって、メモリはたくさんあるのに、ちょっとしたプログラムでも数百メガバイトのRAMを食っちゃうから。

確かに、メモリ使用量を減らすために意図的にバイブコーディングをしたことはあるよ。

もちろん、AI企業が利益を見つける前に倒産する可能性もある。その場合、供給がたくさん出てきて、価格が暴落し、現在のメモリ供給者の一つか二つが倒産することになるかもしれない。その後、新しい中国のメモリ企業が大量生産を始め、ルネサスも稼働しているかもしれない。今のところ、何も確実ではない。これが続く可能性はある？もちろん。続かない可能性も？うん。

チップメーカーがAIモデルのパッケージストレージ用に高帯域幅のフラッシュを検討してるって読んだことある。それがコスト問題の一部を解決するだろうし、フラッシュはDRAMよりかなり安いからね。

余談だけど、最近ゲーミングPCをリフレッシュしたいと思ったんだけど、パーツを個別に買うのが高すぎて、全然手に入らないから、プロジェクトを先延ばしにしてたんだ。そしたら、たまたま地元のマイクロセンターでいくつかのプリビルドが売ってるのを見つけて、5,000ドル未満で「ベストインスロット」のパーツが揃ったやつをゲットしたんだ。5090や高級電源ユニットも入っててね。最後にゲーミングPCを自作したのは10年以上前で、その時はプリビルドは絶対に買わない方がいいっていうのが常識だったんだ。余裕のあるお金がない限り、趣味のプロジェクトに週末を一つも割けない人向けって感じだったから。今は、全く迷う必要がなかったよ。

新しい会社がRAMを作るインセンティブがあるって感じだね。