本文へ
ハクソク

世界を動かす技術を、日本語で。

Redisの創作者から; ds4を使ってLLMをローカルで実行する

元記事: 原文(dwarfstar.sh)

概要

  • DS4 は高メモリMac、CUDA、ROCm対応のローカル推論エンジン
  • DeepSeek V4/V4.1 Flash、GLM 5.x、Qwen3.8 Flash Next をサポート
  • テキスト・ビジョンモデル、CLI、ローカルAPI、ネイティブエージェントを一体化
  • 2ビット非対称量子化 で巨大モデルを圧縮し、ローカル実行を実現
  • SSDキャッシュや複数インターフェースで高速・柔軟な運用が可能

DS4 ローカルフロンティア推論エンジン概要

  • DS4 (DwarfStar 4) は高メモリ搭載のMac、CUDA、ROCmマシン向けC言語製推論エンジン
  • DeepSeek V4/V4.1 Flash、GLM 5.x、Qwen3.8 Flash Next などの先端モデルに対応
  • テキスト・ビジョン両対応、CLI・HTTP API・ネイティブエージェントを一体化したスタック
  • MITライセンス、C/Metal/CUDA/ROCm対応
  • GGUF形式のみサポート、非対称2ビット量子化＋imatrixロード対応

モデルスタックの3フェーズ

  • フェーズ1：THE GIANT

    • 2840億パラメータのDeepSeek V4 Flashなど巨大MoEモデル
    • 一般的にはリモート推論だが、DS4はローカル実行を目指す設計

  • フェーズ2：THE COLLAPSE

    • 非対称量子化 で重要経路は高精度維持しつつ専門家部分を圧縮
    • 高メモリマシンで実用的なサイズに縮小

  • フェーズ3：THE DWARF STAR

    • 圧縮モデルを常駐させ、CLI・API・エージェントで即応
    • モデル状態・キャッシュを共通利用し高速化

コア技術

  • CORE 01：非対称2ビット量子化

    • ルーティングされたMoE専門家部分を圧縮、共有経路は高精度維持

  • CORE 02：KVキャッシュのSSD保存

    • 長いプロンプトの先頭部分をSSDに保存、再起動後もプロンプトハッシュで復元

  • CORE 03：一つのエンジンで三つのインターフェース

    • ./ds4：対話型CLI
    • ./ds4-server：OpenAI/Anthropic互換のローカルAPI
    • ./ds4-agent：コーディング向けネイティブエージェント

実行・ビルド手順

  • STEP 1：モデルウェイト取得

    • git clone https://github.com/antirez/ds4
    • cd ds4 && ./download_model.sh ds4f-q2

  • STEP 2：バックエンド向けビルド

    • make
    • make cuda-spark（CUDA用）

  • STEP 3：起動・利用

    • ./ds4（対話CLI）
    • ./ds4-server --ctx 100000（APIサーバー、最大コンテキスト長指定）

プラットフォーム・メモリ要件

  • V4 Flash Q2 はベースライン、128GBでGLM 5.3 Q2/Qwen Q4も動作
  • V4.1 Q2はSSDストリーミングで対応
  • 推奨構成例
    • M5 Max 128GB：32Kコンテキストで34.4トークン/秒生成、557トークン/秒プリフィル
    • DGX Spark 128GB：65,536トークンで13.8トークン/秒生成

その他の特徴

  • SSDストリーミング、テンソル並列、セッションバッチ対応
  • DSPARK + MTP によるビジョン入力対応
  • RAM⇄SSD間のKVキャッシュ移動・再起動耐性
  • 自身のローカルAI推論環境構築が可能 ：エディタ、エージェント、APIクライアントと連携可能

参考情報・ガイド

  • クイックスタート、ハードウェアマトリクス、インストールガイド を公式リポジトリで参照
  • 詳細なベンチマークやアーキテクチャ図 も公開
  • 全てMITライセンスで自由に利用可能

提供: ハクソク · 要約更新:

AIによる日本語要約です。内容は原文とあわせてご確認ください。

Hacker Newsの議論を読む

Hackerたちの意見

DwarfStarからインスパイアを受けて、Intel Xe-LP（XMXなし）32GBのノートパソコン用にちょっとした推論エンジンを書いたよ。今のところサポートしているモデルは量子化されたGemma-4だけだけど、将来的には同じサイズの他のMoEもサポートするつもり。Qwen 3.8 35B-A3Bがまだないのは残念だね。プロトコルやエンジンを拡張して、いろんなステアリング技術をサポートすることも考えてる。

└

誰かがds4にIntelサポートを追加してくれたらいいのに。それにAMDサポートも改善してほしい。IntelとAMDが手伝ってあげるべきかもね。

└

Intel Ultra 7 255Hでこれを試してみたけど、iGPUしかないんだ。これで約22tps出る！最高だね。Intel Xe-LPよりちょっと新しいiGPUデバイスをサポートするために少しパッチを当てたけど、もしかしたらPRも出すかも。ちなみに、先日Sonnet 5.5を使って実験してみたんだ。llama cppリポジトリを渡して、単一モデル＋バックエンド（qwen3.5 4b mtp + sycl）用の単一ファイル推論を抽出するように指示したら、（長い時間がかかったけど）実際に動いた！依存関係なしで約1400行のファイルができたよ。推論の質はまだ確認してないけど、これは素晴らしい成果だと思う。2027年はローカルモデルと推論にとって非常に面白い年になると確信してる。

かなり便利だよ。先週末に、Qwen 3.8 flash nextを使って128GBのMacBook M5 Maxで1mのコンテキスト長を実現するために、fused TQを実装するのに少し時間を使ったんだ。興味があれば、ここにリンクがあるよ：https://github.com/antirez/ds4/pull/1115。もし退屈になったら、oMLXからMetalカーネルを移植するかも。v0.7.0リリースの速度向上はすごいからね。

└

同じマシンと同じモデルで1Mのコンテキストウィンドウを使えるようになったよ。変だね。

https://github.com/antirez/ds4 プロジェクトのGitHubページは、hnの人たちにとってはもっと良い紹介になるよ。

ds4のフォークを維持していて、共有ライブラリとして他の言語でもFFIを通じて使えるようにしてるんだ。公開ビルドやバイナリもあるよ。ds4に対してyzmaからインスパイアを受けた技術を使ってds4goを作ったんだ。ライブラリバインディングに加えて、ツールの小さなライブラリ（表示/編集用のワークスペース、永続性のためのスクラッチパッド）もあって、自分で作るのはGo関数を登録するだけ。最近、ds4が追加したVisionとQwenのサポートも加えたよ。Goライブラリを使わなくても、ds4goのバイナリを使えばHuggingFaceからライブラリを簡単にダウンロードできるし、Homebrew経由でTUIも使えるよ。TUIのスクリーンショットもあるけど、まだそのコードはリリースしてないんだ。クオリティが他とは違うからね。

└

ここにコメントしておくと、今週後で戻ってこれるから助かる！シェアしてくれてありがとう。

小さなネイティブ推論エンジンで、最初はDeepSeek V4 Flash（実験的なビジョンモデルを含む）、DeepSeek V4.1 Flash（Metal、CUDAでのテキスト推論）向けに最適化されてる。それにGLM 5.2と5.3、GLM 5.3 Flash、DeepSeek V4 PRO、Qwen3.8 Flash Next（MetalとCUDA）もサポートしてる。これはDGX SparkやAMD Ryzen AI Haloのような高性能消費者ハードウェアをターゲットにしてるんだ。最近子供だった私たちには信じられないけど、Qwen3.8 27bをターゲットにしたx090シリーズを手に入れたんだ。https://github.com/noonghunna/club-3090がその道だよ。これのためにウェブフロントエンドを維持しようとしてるんだ。ここでフォローできるよ：https://github.com/gchamon/club-3090-server

└

まず、x090シリーズのカードは今や「ハイエンドハードウェア」と言えるよね。次に、CPU-MoEモードでMoEモデルを動かすと、もっと面白い結果が得られると思う。つまり、共有パラメータがGPUにあって、スパースエキスパートがCPUとSSDオフロードにある感じ。確かに遅くなるけど、小さくて密なモデルは行き詰まりで、あんまり面白くないからね。（この設定でもprefillは速くなることに注意。llama.cppなどのCPU/GPUレイヤー分割はデコードに適用されるけど、「0グラフィックレイヤー」の設定でもprefillは加速されるよ。）

DeepSeek V4 Flashが最初にリリースされたときから使ってて、M5 Max 128GBでは最高のランチャーだよ。今はQwen 3.8 Flash Nextを1週間以上使ってるけど、すごく快適で、超長いコンテキストウィンドウがある。時々モデルが前に言ったことを覚えてないことがあるけど、それはエージェントAIハーネスの問題かもしれない。oh my piを使ってるけど、みんなはds4をどんな風に使ってるのかな？

ハイエンドのApple Siliconを搭載した高級モデルに興味があるなら、Local Codeも試してみて！現在TestFlight中で、来週にはオープンソースになる予定だよ。DeepSeek 4.1 Flash、Qwen 3.8 27B、DeepSeek 4 Flash 0731をサポートしていて、64GiB以上のデバイスで動かせるようにカスタムクワントやSSDストリーミングも対応してる。もちろん、Qwenは16GiB以上のデバイスでも動くよ。

Hacker Newsで議論の続きを見る