ハクソク

世界を動かす技術を、日本語で。

OpenTPU – AIによって開発されたオープンソースのAIアクセラレーター

2026年10月7日原文(github.com)

概要

openTPU はAIによる設計のオープンソースAIアクセラレータ。 auto-arch-tournament の知見を活かし、AI自身が動作するハードウェアの設計可能性を追求。 FPGAカード上で主要モデルの推論を実現 し、シミュレータとビット単位で一致。 単一のモノレポ でハード・ソフト全体を学習・体験可能。 貢献・拡張も容易 で、PythonとVerilator主体で開発参加可能。

openTPU: AI設計によるオープンソースAIアクセラレータ

  • openTPU はAI自身がハードウェア設計にどこまで関与できるかを探究するプロジェクト
  • auto-arch-tournament の成果をAIアクセラレータ設計に応用
  • AIエージェント自身が推論を実行するチップを構築できるか を問いかけ
  • otpu-chat がLFM2.5-230MモデルをFPGAカード上で動作
  • otpu-smi でカードの利用率やDRAM帯域幅を可視化

学習プロジェクトとしてのopenTPU

  • 全設計が小さなモノレポに集約 され、ハードウェアからソフトウェアまで一貫して学習可能
    • SystemVerilogによるハード設計
    • 命令セット（ISA）とビット正確なシミュレータ
    • カーネル言語とそのコンパイラ
    • PCIeカードを駆動するホストソフトウェア
  • PythonからワイヤレベルまでAIアクセラレータの構造を理解 できる教材として最適

性能・実績

  • Inspur YPCB-00338カード（Xilinx Kintex-7 xc7k480t, DDR3 x2）上で10種以上の最新モデルを実行
    • シミュレータとカードで出力トークンがビット単位で一致
  • 代表モデルの性能例
    • LFM2.5-230M int8: 59.0 tok/s（デバイス）、14.5 GB/s（DRAM、ピークの85%）
    • Qwen3-0.6B int8: 21.6 tok/s（デバイス）、14.4 GB/s（84%）
    • Gemma 4 E2B 4-bit: 12.14 tok/s（デバイス）、15.5 GB/s（91%）
  • 4-bit量子化でデコード速度が40～45%向上、トークンあたりのバイト数も約1/3削減
  • Mixture-of-Expertsモデル も4GiB超の場合はホストから専門家パラメータをストリーミング
  • 全構成でシミュレータとビット単位一致

ハードウェア・ソフトウェア構成

  • シンプルな設計思想
    • シーケンサが1サイクル1命令発行
    • DMAでデータ移動、行列ユニットでint8重みの積和
    • ベクトルユニットでfp32演算、量子化ユニットでint8へ変換
    • キャッシュや隠れたスケジューリングなし、全て命令で制御
  • カーネル言語（@ol.jit）でモデル演算を記述
  • Lensプロファイラ でRTL・シミュレータ・カードの動作を可視化

開発・利用方法

  • ノートPC上でもシミュレータ等を動作可能
    • pip install -e .
    • pip install pytest torch transformers
    • python3 -m pytest -qでテスト
    • モデルダウンロード後、otpu-chat --model lfm2 --backend isaでシミュレータ上でチャット
  • FPGAカード利用時はビットストリーム作成・JTAG経由で書き込み、otpu-setup実行
  • 主なコマンド
    • otpu-chat: 各種モデルでチャット
    • otpu-smi: 温度・電力・DRAM帯域等を監視
    • otpu-lens: プロファイラで動作解析
    • otpu-selftest, otpu-diag: カードの動作確認

ドキュメント・学習ガイド

  • docs/isa.md: 命令セットの全容
  • opentpu/kernels, docs/compiler.md: カーネルから命令変換の仕組み
  • opentpu/isasim.py: シミュレータ本体
  • rtl/: ハードウェア設計（SystemVerilog）
  • docs/lfm2.md, docs/qwen35.md, docs/llama.md, docs/benchmarks.md: 各モデルやベンチマーク詳細
  • docs/board.md: カードの物理構成やクロック等

今後の課題・展望

  • DRAM効率の最適化 （現状DDR3-1066ピークの82～85%）
  • タイミングマージン・面積改善 （133.33MHzクロックの安定化）
  • 高速なプレフィル処理 （行列ユニットの乗算速度向上）
  • コミュニティ貢献歓迎 （Python・Verilator主体、FPGA不要な作業多数）

ライセンス

  • Apache License 2.0 を採用
  • 貢献・プルリクエスト随時受付

openTPU は、AI自身によるハード設計・推論実行の可能性を体験・学習できる、実用的かつ拡張性の高いオープンソースAIアクセラレータプロジェクト。

Hackerたちの意見

AIを使ってRISC-V CPUコアを開発した後、同じ手法でopenTPUが作られたんだ。これはオープンソースのAI推論エンジンで、Qwen 3.5やGemma 4など、現代のほとんどのモデルを動かせるよ。最初は1秒間に数トークンしか生成できなかったTPUが、自己改善ループを通じて小さいモデルでは80トークン以上に達したんだ。

経験豊富なユーザーがLLMをうまく活用する方向に導くことで、得られるものが多い気がする。

└

バイブの鑑賞

これ、約300ドルのFPGAボードで動いてるみたい？ハードウェアについて詳しい人いる？

└

これは廃止されたデータセンターのボードで、ホビイストの間でめっちゃ人気なんだ。推論に特化したTPUでは、メモリ帯域幅が勝負。どれだけの帯域幅を、できるだけ少ないロジックや面積、電力で引き出せるかがポイントだね。

ソフトウェア屋からの本当にバカな質問なんだけど、なんでラボはフロンティアモデルをチップに焼き込んでないの？パフォーマンス向上やリクエストあたりのコストを考えると、やる価値がありそうなのに。とはいえ、経済面や物理的な課題については全然理解してないけど。

└

リードタイムが長すぎて、チップが出る頃にはすでに陳腐化してるリスクが大きいんだ。それに、どんなプロジェクトでもファブのキャパを確保するのが難しいし、特に実験的なものとなると尚更だね。

└

Etchedっていうスタートアップが、まさにそれをやってるよ。https://www.etched.com/progress/frontier-inference-clusters

└

彼らは[1]だよ。[1] https://taalas.com/ [2] https://chatjimmy.ai/

└

読んだ限りでは、いくつかの研究所が実際にやってるみたいだね（他のコメントでも言われてるし）。でも、他にも複雑な理由があって、フロンティアモデルのパラメータ数がめちゃくちゃ多いし（特にMoEモデル）、それが必ずしも活用されているわけじゃないから、ギガチップを作るのは実際にはすごくコストがかかるし、ほぼ不可能だと思う。時間が経つにつれて、もっと専門的なチップが増えていくとは思うけど、モデル全体をチップに乗せるのはまだまだ先だね。Taalasは8億パラメータのモデルを持ってるみたいだけど、それでも動かすのに200W以上かかるんだ。AnthropicやOpenAIがマルチ兆パラメータモデルをチップで動かすのは想像できないな、まだそこまで行ってないよ。

└

モデルのSOTAは、チップが設計されたり生産されたりするよりも早く進化してるよね。特定のモデルに数年コミットしないとリターンが得られないし、その間に新しいSOTAモデルを作るのにお金がかかりすぎるから、みんなGPUでこれを動かしてるんだよ。新しいモデルが前のモデルを超えたら、メモリがあればチップは古くならないしね。誰かが「十分良い」とされるモデル（例えば、qwen 4.0とか）を選んで、周辺機器として売り出すのが楽しみだな。

└

推論のボトルネックは、少なくともメモリ帯域幅だね。それをモデルに特化させても速くはならないから、企業はできるだけメモリ帯域幅を最大化しようとしてる。パワー、面積、プログラム可能性のトレードオフをバランスさせながらね。今のところ、パワーと面積の経済性は、プログラム可能性や柔軟性の低下に見合わないと感じてるみたい。

Hacker Newsで議論の続きを見る