ハクソク

世界を動かす技術を、日本語で。

ラズベリーパイの新しいAI HATがローカルLLM用に8GBのRAMを追加

96日前原文(www.jeffgeerling.com)

概要

Raspberry Piが新しいAI HAT+ 2を発表。
Hailo 10H搭載で、8GBのLPDDR4X RAMを内蔵。
LLM推論やビジョン処理が可能だが、用途は限定的。
Pi本体のRAM増設不可の課題は未解決。
開発用や省電力用途に適するが、一般用途では割高感。

Raspberry Pi AI HAT+ 2の概要

  • Raspberry Pi向け新製品「AI HAT+ 2」発表
    ・価格：$130
    ・Hailo 10H搭載
    ・8GB LPDDR4X RAM内蔵

  • Hailo 10Hの性能
    ・最大3W動作
    ・INT8 NPU 40 TOPSの推論性能
    ・従来のAI HAT（Hailo 8搭載）と比較し、INT4 26 TOPSの機械視覚性能

  • 主な特徴
    ・LLM（大規模言語モデル）を完全に独立動作で実行可能
    ・Pi本体のCPUやRAMを占有しない設計
    ・eGPUよりも安価かつコンパクト

  • 制約事項
    ・Pi本体のRAMは増設不可
    ・AI HAT+ 2利用でも用途は限定的
    ・Microsoftの「AI PC」用NPUよりは実用的

実際の使い勝手と用途の考察

  • 用途の限定性
    ・AIコプロセッサーとしてはニッチな需要向け
    ・開発者や組込機器向けの開発ボードとしての側面

  • マーケティングの曖昧さ
    ・Hailo 10Hのデモ例：Fujitsuのセルフレジ縮小検知
    ・一般ユーザーには必要性が薄い
    ・主に他デバイスへの組込開発用を想定

LLM推論性能の検証

  • テスト環境
    ・Raspberry Pi 5（8GBモデル）で比較
    ・同じ    8GB LPDDR4X RAM    構成

  • パフォーマンス比較
    ・Pi 5のCPUがHailo 10Hを上回る結果
    ・Qwen2.5 Coder 1.5BのみHailoが接近
    ・消費電力：Pi 5 SoCは10W、Hailo 10Hは3W

  • RAM容量の制約
    ・Pi 5は16GBモデルまで選択可能
    ・多くの量子化モデルは10-12GB RAMを必要とする
    ・圧縮モデルを使えば30Bクラスも動作可能

  • 実用例
    ・llama.cpp導入で圧縮Qwen3 30Bモデルを動作
    ・TODOリストアプリ生成など小規模NLPタスクが可能

ビジョン処理性能の検証

  • カメラモジュールとの連携
    ・Camera Module 3で物体認識テスト
    ・キーボード、モニター、スマホ、マウス等を高速認識
    ・CPU単独より10倍高速
    ・従来の**AI HAT（$110）やAI Camera（$70）**でも同等処理が可能

  • 混合モードの課題
    ・ビジョン処理と推論の同時実行は未成熟
    ・同時実行時にセグメンテーションフォルトやエラー発生
    ・Hailoの動作例不足で実用は今後の課題

結論と推奨用途

  • 8GB RAMの限界
    ・より大きなモデルや汎用性を求めるなら16GB Pi 5推奨
    ・AI HAT+ 2は省電力かつ同時処理が必要な用途向け

  • 価格と用途のバランス
    ・AI Cameraや初代AI HATのほうがコスパ良好な場合が多い
    ・AI HAT+ 2は開発キットや組込デバイス設計向け

  • ソフトウェア面
    ・「AI」ハードウェアはハード先行・ソフト後追いが多い
    ・Raspberry Piはソフト対応実績ありだが、用途はニッチ

  • 総評
    ・超省電力・組込開発・複合AI処理に特化
    ・一般ユーザーには割高・用途限定
    ・GPUのVRAMとPiのLPDDR4 RAMの速度差にも注意

参考情報

  • 本記事の内容を動画でも公開中
    ・テキスト派向けに本記事を用意

Hackerたちの意見

> 実際には、思ってるほどすごくないよね。PiでAIに8GB RAMって、見出しからすると期待外れだわ。
「LLMを動かせる」ってのは、「LLMを動かす意味がある」ってことじゃないっていう良い例だね。スペックの数字が実際のユーザー体験に繋がらない典型的なケース。
ラズベリーパイは昔の魅力を失った気がする。目的意識がなくなったというか。最初のPiでニッチを作ったのに、今は他の人が作ったセグメントに飛び込んで、もっと優れた競争相手で溢れてる。ローカルLLMをそこそこの性能で動かしたいけど、フルGPIOが必要な小型パッケージを求めるハッカー（またはビジネス？）にとって、価値のあるニッチを見つけてるのかな？多分そうかも。でも、これはただラズベリーパイが流行に乗っかってるだけかもね。新しいセグメントに拡大しようとするのは責めないけど、なんか目的がないように見える。もう一度「ラズベリーパイの瞬間」を作れなかったのは「責める」よ。P.S. Frigateや似たようなソリューションがこれを普及させるかもね、Coral TPUの販売を後押ししたみたいに。でも、それが成功するための十分な推進力かはわからないな。ハットにはラズベリーブームを引き起こした独自の価値提案が全然ないし。
└
うん、RPi財団はずっと前に道を見失ったね。オリジナルのRPiは、発売当初は他に類を見ない存在で、安かったから特別だった。でも今、最新のRPi 5の価格で、低消費電力のLinux PCの代わりを探すなら、2018年頃のノートパソコンを中古市場で買えるよ。15WのクアッドコアCPU、8GB RAM、256GB NVME、1080p IPSディスプレイがついてて、性能は桁違いだし。GPIOをWIFI経由で使うバッテリー駆動の埋め込みARMデバイスが欲しいなら、ESP32クローンが桁違いに安い。今のRPiは、商業ユーザー向けにしか価値がないよ。専用の産業用埋め込みボードよりも安いから、RPi会社が新しい市場にターゲットを絞ってると思う。出荷する製品にRPiを使ってない埋め込み製品会社なんて見たことないし、少なくともラボや開発、テスト段階では使ってるから、工業ユーザーに高値で全ての在庫を売れるなら、消費者に安く売る必要なんてないよね。ありがとう、さようならって感じ。ジェンセン・ファンも賛成するだろうね。
└
ラズベリーパイは、実際に強力なファームウェア/ソフトウェアエコシステムがあるっていう利点がまだあるかもね？SBCの問題は、常にソフトウェアの状況がひどいことだった。これがラズベリーパイの本当の革新だったんだ：Raspbianとオープン性へのコミットメント。
└
いや、彼らは人々がすでに使っているPisにもっと適した製品を出したんだ。Picosは小さいものには最高だし、新しいPisは大きいものにぴったり。古いPisやZerosもまだ手に入るし、彼らは自分たちのセグメントで革新を続けてる。AI関連はその表れに過ぎない。人々はPi5でAIをやっていて、これはそれをより良くする方法に過ぎない。
└
他に以下の条件を満たすARMデバイスは知らないな：- カスタムU-Bootの実装を学ばなくてもブートできる - 消費者や小規模ビジネスとして購入できる - 今日購入できるだけでなく、2年後もまだ買える - 小さな fortune を必要としない - テレビや他の小さなニッチの後ろに隠せる
└
> ラズベリーは古いPisの魔法を失ったと思う。目的意識を失ったんだ。最初のPisでニッチを作ったけど、今は他の人が作ったセグメントに飛び込んで、すでに競争が激しいところに入ってきてる。オーディオファイル品質のAMP、DAC、またはAMP+DACをかなり魅力的な価格で自分で作れるものは市場にはないと思うよ。Pi 3/4/5にHifiBerry（https://www.hifiberry.com/）HATを付ける以外はね。
└
これはPiの本質を見失ってると思う：実験なんだよ。もちろん、以前のSFFボードの上に立っていたけど、メーカーやビルダーをターゲットにして一般的なコンピューティングの世界に飛び込んだんだ。AIハットがうまくいかなくても、それはそれでいい。こういうハットのユースケースはまだ見えてないかもしれない。一方で、明確なユースケースなしにハードウェアを市場に出すのは短絡的に感じるかもしれないけど、それがPiブランドの一部なんだ。他の誰かも言ってたけど、もしこのハットがFrigateのYOLOモデルと効率的に活用できるなら、低ボリュームのカメラセットアップにとってはいいニッチユースケースになるかも。どちらにせよ、RPi組織がこういうものをどんどん出して、ユーザーが自分の財布でユースケースを見つけられるようにしてくれることを願ってるよ。
└
一番の問題は、良いケースが全然ないことだな。高級な周辺機器はたくさんあるけど、オーバーヒートせずに四方からケーブルが出てないシンプルなケースを見つけるのが本当に難しい。
└
だからこそ、3B+やZero 2 Wを買い続けてるんだよね。新しいバージョンには手を出さない。GPIOがあって、計算能力もそこそこな低コストボードに合ってるから。ラズパイに期待してたことを、リーズナブルな価格で実現してくれた最後のモデルって感じ。もっと計算能力が必要なら、ARMの悲劇はスルーしてx86システムを買ってたと思う。
└
RPIが教育にもっと力を入れてたら、もっと良い状況になってたと思う。長期的には価格では勝てないからね。でも、K-12や大学の予算が毎年RPIに流れて、特に「子供にプログラミングを教える」時代には、もっと健全なビジネスになってたんじゃないかな。ChromebookはRPIがやるべきことをやったよね。
└
256MbのModel Bを注文したときに、RAMをアップグレードするっていうメールをもらったのを今でも覚えてる。512Mbの新しいモデルが追加料金なしで届くって。もう14年前のことだなんて信じられないよ。Linuxを学ぶのにすごく役立った。あの時の唯一の代替は古いPentium 4のマシン数台で、すごくうるさくて、親は長時間つけっぱなしにするのを嫌がってたんだよね。
小さな大規模言語モデルって、埋め込みや学習以外に役立つことあるのかな？Piでのユースケースが思いつかない。学習なら、もっと良いハードウェアが安く手に入るし。遅くて高価な埋め込みマシンとして使うことはできるかもしれないけど、なんでそんなことするの？
└
自然言語ベースのスマートホームインターフェースとか？小さなLLMは一般的な作業馬としてはほとんど役に立たないけど、特定のアプリケーションにファインチューニングするときに輝くんだよね。（一般的に、特定のユースケースがあって適切なトレーニングデータを用意できれば、小さなモデルをファインチューニングして、10倍のサイズの汎用モデルと同じ性能を出せることが多い。）
8GB？これって、アリ用のLLMかよ？
└
GPT-4レベルのパフォーマンスを期待するんじゃなくて、Piで何ができるかを示すことが重要なんだ。これは、非常に特定のタスクに特化したLLM向けに設計されてる。例えば、「俺のアリの巣の天気は？」とかね ;) ビジョン処理の向上は注目に値するけど、既存のHATに対して価格を正当化するほどではない。信頼性のある混合モード機能の欠如やソフトウェアサポートの薄さは大きな懸念材料だ。（この返信は、8GB未満のLLMによって、記事とコメントを文脈にして生成されたものだよ。）
└
CPU推論だけで結構いいモデルが動かせるよ。Gemma 3みたいにその用途に特化したやつとか、llama.cppを使った小さめの音声認識モデルも試してみたけど、あんまり良くなかったな。重い作業には向いてないけど、そこそこまともなテキスト生成ができるなら、十分使えるよ。
エッジコンピューティング好きとしては、ラズベリーパイエコシステムにとって意味のある飛躍だと感じる。プラットフォームに低消費電力の推論アクセラレーターが組み込まれることで、クラウドを使わずに実用的なローカルAIユースケースがたくさん開ける。まだ早いけど、これは本当のエッジワークロードに向けた正しい方向だね。
└
どれ？
イギリスでは、ハイロハット（ちなみに結構古いもの）をLLM向けに宣伝しているのを見たことがないな。提示されたユースケースは、リアルタイムでたくさんのカメラからの物体検出だった。すごく速そうだし、家や庭で使いたいな。例えば、キツネや猫が来てコンポストピットを掘り返すのを見つけたり、留守の時に誰かが植物に水をやりに来るのを確認したりとか。 [編集: Pimonoriで更新版を見たけど、LLMだけじゃなくVLMにも役立つって言ってた。これが一番の使い方かもしれないね。]
面白いアイデアだね。Jetson Orin Nanoの方がこの用途には向いてると思う。主な欠点はRAMが共有だから、OSのオーバーヘッドで約1G失うことかな。
数年前ならこの製品は単にMLアクセラレーターって呼ばれて、画像の物体検出みたいなMLワークロードを加速するためのものとして売られてたよ。AIトレインに乗っかるのは期待が変わるから、こういう混合のレビューが出てくるんだよね。
これ、マーケティングのギミックっぽいね。売上にはつながってないんじゃないかな。「他に何ができるの？」って感じ。