消費者向けハードウェア（RTX 4090）で「Qwen 3.8 Flash Next」（125B）を100T/sで実行する

概要

• Strata は、1250億パラメータの大規模AIモデルを 個人のゲーミングPC で動作可能にする無料オープンソースツール
• NVIDIA/AMDグラフィックスカード （12GB以上VRAM）、 WindowsまたはLinux 対応
• チャット、コード生成、画像認識 など多様なAI作業に対応
• ローカル動作 でデータが外部に出ない高いプライバシー性
• インストール・設定方法 や 推奨ハードウェア も詳細に解説

Strata：個人PCで大規模AIモデルを動かす方法

• Strata は、Qwen3.8-Flash-Nextなどの大規模AIモデルを 自宅PC で実行するためのオープンソースソフトウェア
• 通常はサーバーが必要 なAIを、 12GB以上のVRAM を持つNVIDIA/AMD製グラフィックスカードと 32GB以上のRAM があれば自宅で利用可能
• チャット、コード生成、画像認識、アプリ連携 など多様な用途に対応
• 全てローカル処理 で、データはPC外に出ないため セキュリティ・プライバシー面も安心
• Windows 10/11またはLinux、 最新ドライバ が必要

推奨ハードウェア

• グラフィックスカード
  • NVIDIA GeForce RTX 20/30/40/50シリーズ
  • AMD Radeon RX 7900 XT/XTX、RX 7800 XT/7700 XT、RX 9060 XT、RX 9070/9070 XT、Radeon AI PRO R9700、RX 6800/6900シリーズ
  • VRAM 12GB以上必須
• RAM
  • 32GB以上 （モデルによっては64GB以上推奨）
• ストレージ
  • 空き容量約80GB （SSD推奨、初回起動が高速化）
• OS
  • Windows 10/11 または Linux（最新グラフィックスドライバ必須）

ベンチマーク例

• RTX 5070（12GB）/ Ryzen 5 7600 / 64GB RAM
  • Q2_0モデル： 94トークン/秒
  • IQ3_Sモデル： 53トークン/秒
• RX 9070 XT（16GB）/ Ryzen 9 3900X / 47GB RAM
  • Q2_0モデル： 60トークン/秒
  • Coderモデル： 44トークン/秒
• VRAMが多いほど高速 （例：RTX 3090なら100-140トークン/秒）

インストール手順

• AIアシスタントを使う場合
  • Claude Code、Cursor、Codex、GitHub Copilot等に

    Set up Strata on this PC for me: https://github.com/Niko1221/Strata
    

    を貼り付け、docs/AI_SETUP.mdに従う
• 手動インストール
  • Strataをダウンロード・解凍（またはgit clone）
  • Windows： START-HERE.bat をダブルクリック
  • Linux： ./setup.sh を実行
  • グラフィックスカード検出・最適なエンジン自動設定
  • モデル・サイズ・コンテキスト長・画像対応などの質問に回答（Enterで推奨値選択可）
  • 約70GBのモデルダウンロード後、自動起動
  • 初回起動時は1-3分PCが重くなるのが正常動作

モデル選択のポイント

• RAM 32GB ：Coder（コード生成特化、一般用途はQ2_0やIQ2_XSも可）
• RAM 48GB ：IQ2_XSまたはQ2_0（より大きなモデルは不可）
• RAM 64GB ：IQ2_XS推奨、IQ3_XXS/IQ3_Sも選択可（IQ3_Sは最も高性能だがやや遅い）
• RAM 96GB以上 ：IQ3_SまたはUnslothのUD-IQ4_XS等も利用可能

利用方法

• Strataアプリ
  • ブラウザで http://127.0.0.1:8080 にアクセス
  • チャット、モニター（GPU/CPU/RAM状況表示）、設定画面を利用可能
• API連携
  • OpenAI互換API： http://127.0.0.1:8080/v1
  • Anthropic API対応アプリ： http://127.0.0.1:8080/v1/messages
  • 複数リクエスト同時処理（parallel設定）も可能
• 画像認識
  • セットアップ時「Images?」に「yes」と回答
  • チャットで画像添付やPictureボタン利用可
  • AMDカードはLinuxのみ画像認識対応

トラブルシューティング

• 初回起動でPCがフリーズ ：モデルロード中は正常、10分以上応答なしなら再起動・サイズ縮小推奨
• ダウンロード/インストール途中で停止 ：再度START-HERE.bat（または./setup.sh）を実行
• 非常に遅い・ディスクアクセスが多い ：RAM不足、他アプリ終了または小型モデル推奨
• ポート8080が使用中 ：Strataが既に起動中、ウィンドウを確認
• 詳細な問題解決 ：docs/TROUBLESHOOTING.md参照、logファイル添付でIssue報告推奨

仕組みの解説

• 通常サーバー級のAIモデル を、 VRAM/RAM/SSD を組み合わせて分散処理
• モデルは24,576の「専門家」 で構成、1単語ごとに10人のみ利用
• 頻繁に使う専門家はVRAM、 全体はRAM、 補助情報はSSD に保存
• 推論高速化 ：サブモデルが次の単語を予測し、本体が一括検証
• 長文も高速処理 （最大8,192トークン/回、1,000トークン/秒以上）

ライセンス・サポート

• モデル： Qwen3.8-Flash-Next （Qwenチーム）、圧縮処理はISTA-DASLab/UkisAI/Unsloth
• Strata本体は MITライセンス、一部部品やモデルは別ライセンス
• 無料・オープンソース、開発支援はコーヒーの差し入れ歓迎

まとめ

• Strata は 大規模AIモデルを個人PCで安全・高速に動かせる画期的なソリューション
• 高度なAI活用 を自宅や個人事業で実現したい方に最適
• 導入・運用も簡単 で、トラブル時のサポート情報も充実