本文へ
ハクソク

世界を動かす技術を、日本語で。

メーターで測れないほど安いトークン

元記事: 原文(jyn.dev)

概要

  • AI利用コスト は年々劇的に低下中
  • LLMのインフラ化 が1~2年内に進行予測
  • ローカル実行 が3~6年で一般化見込み
  • 品質・アクセス性 が今後の制約要因
  • 技術進歩の 証拠と要因 を多角的に解説

AI利用コストの劇的低下と今後の展望

  • AI(特にLLM)の利用コスト は毎年数桁単位で低下傾向
  • GPT-6 Astra などのプロプライエタリモデルと、 GLM-5.3-flash などのオープンウェイトモデルの両方が存在
    • オープンウェイトは Z.ai のようなホスティング型と、 Muse Glimmer や Qwen3 Coder のようなローカル型に分類
  • ローカル実行向けモデル は小型化が進み、一般的なハードウェアでも高品質LLMの実行が数年以内に可能と予測
  • これにより、 AI利用の制約 はトークン数よりも「品質」や「アクセス性」に移行

ハードウェアの進化とコスト削減

  • AI向けGPU は世代ごとに指数関数的な効率向上
    • グラフ では効率が2年ごとに倍増
    • 1960年代の ムーアの法則 以来の進化速度
  • モデルのタスク完了コスト も急減少
    • トークン単価は最先端モデルでは一定だが、タスク単位のコストは低下
    • 小型モデルはトークン単価が安くても、必要トークン数が多くなりがち

モデルの性能・コスト比較

  • パレートフロンティア による現状分析
    • Y軸:モデルの「品質」 X軸:ベンチマーク達成コスト(対数スケール)
    • 2025年~2026年で コストが2桁低下、品質は維持
    • 高品質・低コストモデルの増加傾向

推論エンジンの進化

  • 推論エンジン はGPU上でモデルを実行するソフトウェア
    • vLLM はオープンソースで、15ヶ月で40%効率向上
    • NVIDIA や Intel もMLPerfスタックやソフトウェア最適化で50%超の効率改善
  • サービング用途 での効率向上が顕著

ホステッドAI向けのアーキテクチャ進化

  • Mixture-of-Experts(MoE) で効率大幅向上
    • 専門家層を必要時のみ活性化し、計算量削減
    • 同等品質でモデルサイズが7分の1 に
    • 省メモリ・低コスト化が進行

ローカルAI向けの技術革新

  • Mambaアーキテクチャ で必要RAMを5分の1以下に削減
    • 伝統的なトランスフォーマーは全入力を記憶
    • Mambaは要約的な記憶 で高効率
    • 例: Nemotron-H-47B は32GB VRAMで100万トークン保持、同品質のLlama-3.1 60Bは120GB必要

特化型AIによるコスト革命

  • Jev(TypeSafe AI) はYes/No判定専用でコストを2桁削減
    • 入力トークン:$0.042/MTok、出力は無料
    • 5冊分の本を読むのに3セント、全書籍の1/10000を$42で処理可能
    • jgrep などの開発ツールに組み込まれ実用化
  • Laya はオープンウェイトでローカル実行可能
    • 微調整が必要だが、Jevより高速・高精度
    • 最大512バイトの入力制限あり

総合的な進化と今後

  • 過去1年でトークンコストが2.5桁減少
  • モデルは100倍コスト効率化
  • ハードウェアは1.3倍、エンジンは1.4倍エネルギー効率向上
  • 新アーキテクチャで5倍以上のトークンを同容量RAMで処理可能
  • 特化型モデルでさらに1~2桁コスト削減
  • 成熟度はまだ低く、今後も改善が続く見込み
  • AI利用コストがツールコールよりも安価になる未来

今後のAI普及と社会的影響

  • コスト低下と効率化 により、AIはあらゆるITインフラへ統合が進行
  • ローカル実行の一般化 で個人や中小企業でも最先端AIの活用が容易
  • 品質・アクセス性 の向上が今後の競争軸
  • AI技術の民主化 による新たな産業・サービス創出
  • AI利用コストの低下 が社会全体の生産性向上へ寄与

提供: ハクソク · 要約更新:

AIによる日本語要約です。内容は原文とあわせてご確認ください。

Hacker Newsの議論を読む

Hackerたちの意見

NVIDIAはまだまだ成長すると思う。NvidiaはAnthropicやOpenAIと同じようなプレッシャーを受けてるね。Nvidiaは研究で圧倒的な存在感を持つし、トレーニングでも引き続き強いだろうけど、実際のボリュームは推論にあるんだよね。推論に関しては、Nvidiaのリードは数ヶ月程度で、オープンソースに対するフロンティアラボのリードと似たような感じ。NvidiaはRubin CPXをたくさん売るだろうけど、その利益率はB200よりもずっと低くなると思う。なぜなら、その分野には競争がめちゃくちゃ多いから。

└

NvidiaはたくさんのRubin CPXを売るだろうけど、そのマージンはB200よりもずっと小さくなるだろうね。競争が激しいから。マージンが縮小している中で、Nvidiaがその価格性能の隅っこで競争する価値があると思うかどうか、ちょっと気になるな。

OPの意見は鋭くて読む価値があると思った。HNでシェアしてくれてありがとう。ただ、OPがあまり分析してないのはビジネスモデルの実現可能性かな。全てのプレイヤーがインフラにものすごい額のお金を投資していて、将来の利益がその投資を正当化することを期待してるんだ。AGIレースの勝者は、いわゆる「虹の端にある金の山」を見つけると信じているみたい。OPはビジネスモデルの実現可能性について、簡単な定性的な議論で済ませていて、具体的なデータがほとんどないんだよね。例えば、インフラに投入した毎兆ドルの資本に対して年利10%以上を得るためには、そのインフラのオーナーは毎年1000億ドル以上のフリーキャッシュフロー(営業利益から投資を引いたもの)を得る必要がある。これは実現可能なのか?なぜ?どうやって?OPはこういった質問をあまり考慮してないよ。

└

その通り。「コスト・トゥ・ディスティル」は重要なパラメータだよね。今、フロンティアモデルの使用は補助金が出ていて、補助金価格でも非合理的に人気がある。Deepseekはほとんどのタスクをもっと早く、10倍安く解決できると思う。著者の言う通り、Deloitteが存在するように、フロンティアラボも存在するだろうけど、それは彼らの製品が独自の技術的な驚異だからじゃなくて、ブランドの力だと思う。

└

彼らはすでに利益を上げていて、推論はキャッシュカウになってることが分かってる。しかも、次の数年間のコンピュートも確保してるみたいだね。

└

記事の分析は、基本的には正しいと思う。つまり、推論がビジネスモデルとして成立するのは明らかだと思う。でも、どの会社にとってそれがどれだけ利益を生むビジネスモデルになるのかは不明で、その投資を正当化するのかどうかは分からない。俺は、勝者はこのコモディティ推論ビジネスモデルに焦点を当てる次世代の会社になるんじゃないかと思ってる。機械神を最初に発明する「ビジネスモデル」ではなくて、投資や資本コストについて賢い判断をする会社が勝つんじゃないかな。

└

問題の根源は、「トークンのコスト」が記録的な速さで赤字を出しているビジネスからそのまま受け取られていることだね。例えば、https://artificialanalysis.aiは「タスクAを実行するのにOpenAIを使ったら10ドルかかった」と言っていて、これがOPが「トークンは安い」と言う根拠にしているコストなんだ。一方でOpenAIは1ドルの収益に対して19ドルの損失を出してるから…今のところ、OpenAIはタスクAを実行するのに約200ドルを請求しないと損益分岐点に達しないはずだけど、そうなるとユーザーが減っちゃうよね。

└

1兆ドルを使って次のGoogleになるって考えてみて。ハードウェア自体は利益を生まないかもしれないけど、10年後に「メーターで測れないほど安いトークン」のエコシステムを持つソフトウェアプロバイダーになってたら、まさにお金を生む機械だよ。

トークンがツールコールより安くなる 著者は、GPT-5.6 Lunaのコールがgrepよりも4-5桁高いだけだと指摘していて、現在の進展速度ではLLMを呼び出すのがすぐにgrepより安くなると予測している。ここでスタインの法則を引き合いに出すのがいいタイミングだと思う。「何かが永遠に続けられないなら、それは止まる。」この効率改善が永遠に続くわけじゃない。高品質のコンパイルされたソフトウェア、例えばgrepのコストが下限になって、LLMがそれに近づく可能性が高いと思う。永遠に指数的に進歩するわけじゃないからね。(量子コンピュータや常温超伝導体のような真のブレークスルーがない限り。)

└

そうだね。ハードウェアの改善がgrepとLunaの両方を速くするけど、それでギャップが埋まるわけじゃない。

└

grepに勝つことはないかもしれないけど、もう少し高価なツールには勝てるかもね。ヒューリスティックが正確な答えよりも早いことが多いのと似た感じ。Rust Analyzerは時々遅くなることがあるから、AIツールがその一部の仕事を引き継ぐ可能性はあると思う。

└

LLMはスパイシーなメモ化だから、ツール呼び出しよりも速くなる可能性があるんだよね。でも、みんなは必要な決定論のレベルを確保するために、1ヶ月もかけて調整やテストをするから、結局は高くつくし、最初から実際のメモ化を使っておけばよかったってことになるよ。

Hacker Newsで議論の続きを見る

同じ出典の記事