Show HN: 48GBのMacで104GBのQwen3.8-Flash-Nextを約12トークン/秒で実行

概要

• Qwen3.8-Flash-Next を 低メモリのMac で動作可能にするslotstreamの仕組み
• Apple Silicon 搭載、 macOS 14+、 110GB以上の空きディスク が必要
• SSDストリーミング と エキスパートオフロード による省メモリ動作
• Ollama/OpenAI API互換、インストールやアップデートも簡単
• 自動メモリ最適化 や 推測デコード による速度向上

Qwen3.8-Flash-NextをMacで動かす方法

• Qwen3.8-Flash-Next は 1250億パラメータ のMixture-of-Expertsモデル、4bit圧縮で 104GB の重みファイル
• 通常のMacではメモリ不足だが、 slotstream により SSDからストリーミング実行 が可能
• Swift製バイナリ のみで動作、 Python不要
• Ollama/OpenAI APIと互換、既存のツールがそのまま利用可能
• Apple Silicon必須、 macOS 14以降、 110GB以上の空きディスク が必要
• 512GB以上のSSD搭載Mac 推奨、実質的な最低ライン

メモリ・速度の目安（slotstream doctorによるシミュレーション）

• 8GBメモリ ：8.1GB使用、約3トークン/秒、スワップ多発

• 16GBメモリ ：10GB使用、約4トークン/秒

• 24GBメモリ ：16GB使用、約8トークン/秒

• 32GBメモリ ：22GB使用、約9トークン/秒

• 48GB以上 ：33GB使用、約12トークン/秒（実測値）

  • 他アプリ使用中は自動でメモリ使用量を調整
  • ブラウザ等が起動しているとさらに減少

インストール・アンインストール手順

• インストール
  • curl -fsSL https://raw.githubusercontent.com/carloslfu/slotstream/main/install.sh | sh
  • ~/.slotstream/binに配置、PATHに追加
• アップグレード
  • 同じコマンドを再実行
• アンインストール
  • rm -rf ~/.slotstreamと、/usr/local/bin/slotstreamやPATHの削除

バイナリと重みファイルの取得

• slotstream pull で 103.8GB/24ファイル をダウンロード
• ダウンロード前に 必要容量・保存先・空き容量 を表示、容量不足なら拒否
• 8接続同時ダウンロード で高速化（例：1Gbps回線で16分、100Mbpsで2時間20分）
• 途中停止・再開可能、 sha256ハッシュ検証 で破損防止
• pull --verify で既存ファイルの検証も可能

実行方法

• 対話実行（サーバ不要）
  • slotstream run --prompt "why is the sky blue?"
• APIサーバ起動
  • slotstream serve
  • curlやOpen WebUI、OpenAI SDKから利用可能
• Ollama CLIは現行リリースでは未対応 （次回リリースで対応予定）

スピード・メモリ・仕様詳細

デコード速度

• 48GB Mac ：ウォーム状態で 約12トークン/秒
• プロンプト処理 は初回のみ遅い（例：8000トークンで1分超）
• 長い会話も2回目以降は高速化 （差分のみ再計算）

推測デコード（Speculative Decode）

• MTPモジュール による 次トークン予測 で速度向上
• 1トークン推測 がデフォルト（86%の確率で正解）
• 33GB超のメモリ時のみ自動有効化
• 最大約1.4倍高速化 が理論上の上限

メモリ自動最適化

• slotstream は起動時にメモリプランを自動決定
  • 例：48GB Macでは33GB使用が最適点
• --memory-gb で手動指定も可能（8.1GB以上）
• --max-ram-percent で割合指定も可能
• キャッシュサイズ の増減は出力（生成結果）に影響しない
• キャッシュは15秒ごとに再調整、他アプリの負荷に応じて自動縮小・拡大

技術的背景

• 重みの大部分（68GB）はエキスパート（512個/layer）とn-gramテーブル（32GB）
• 3.8GBのトランク部分のみ常駐
• MLXの仕様上、mmap不可 （全エキスパートを一度にロードしてしまうため）
• slotstreamはpreadで必要分だけキャッシュに読み込み

動作状況・制限・ドキュメント

• 48GB M5 Proで実測済み、小容量Macは推定値（SSDも遅くなる点に注意）
• 1モデル・1プロセスのみ同時実行可
• API仕様やエラーコードを詳細に記載したドキュメント （docs/API.md等）
• インストールや動作検証用スクリプト、テストバッテリー完備
• MITライセンス、重みはQwenコミュニティライセンス

まとめ：どんなMacで動くか？

• Apple Silicon（M1/M2/M3等）搭載
• macOS 14以降
• 110GB以上の空きディスク
• 実用的には512GB以上のSSD、16GB以上のメモリ推奨
• 8GB/16GB機でも動作は可能だが速度・安定性は低下
• slotstream doctor で事前に動作プランと容量チェックを推奨

slotstreamの特徴

• MLX+SwiftによるMacネイティブ実装
• 低メモリ環境でも巨大モデルをSSDストリーミングで実行
• API互換で既存ツールがそのまま利用可能
• 自動メモリ最適化と推測デコードによる高速化
• インストール・アップデートが容易

---

今後の展望

• MTPモジュールの実装・移植 によるさらなる推測デコード高速化予定
• Ollama CLI完全対応 も次回リリースで実現予定