概要

• Janas-LLM は、一般的なノートPC上で大規模言語モデルを高速動作させるツール群
• llama.cpp と比較して、ほぼ全てのモデルで 読み込み・書き込み速度が高速
• GPU対応、NVMe SSDからのストリーミング、メモリキャッシュ活用
• Linux/Windows両対応、Hugging Faceモデル変換済みで即利用可能
• 開発段階の実験的ツール、安定性・互換性は未検証

Janas-LLMとllama.cppの速度比較

• Qwen3-Next-80B （48GBモデル、メモリ超過）：Janas-LLM 62 tok/s（読込）、24 tok/s（書込）／llama.cpp 16 tok/s（読込）、2.8 tok/s（書込）
• Qwen3-Coder-Next ：Janas-LLM 66 tok/s（読込）、22 tok/s（書込）／llama.cpp 14 tok/s（読込）、2.2 tok/s（書込）
• Qwen3.6-35B-A3B ：Janas-LLM 104 tok/s（読込）、19 tok/s（書込）／llama.cpp 79 tok/s（読込）、12 tok/s（書込）
• Gemma-4-26B-A4B-it ：Janas-LLM 84 tok/s（読込）、18 tok/s（書込）／llama.cpp 76 tok/s（読込）、12 tok/s（書込）
• 小型モデル ほど差は大きく、Janas-LLMの圧倒的な速度優位
  • 例：Qwen3.5-0.8B：Janas-LLM 799 tok/s（読込）、109 tok/s（書込）／llama.cpp 519 tok/s（読込）、32 tok/s（書込）

ベンチマーク環境

• ハードウェア ：Intel Core Ultra 9 185H（Arc内蔵GPU）、32GB RAM、NVMe SSD（5.7GB/s）
• OS ：Debian 13 Linux／Windows 11 両方で検証
• GPUドライバ ：Mesa（Linux）、Intel公式（Windows）
• 実測値 ：janas-bench（Janas-LLM）、llama-bench（llama.cpp）で同日同条件比較
• モデルサイズ が物理メモリを超えても、ストリーミング＆キャッシュで動作
• 他プロセス稼働時 は速度低下するが、クラッシュはしにくい設計

Janas-LLMの特徴

• C言語製、最小依存（C標準ライブラリのみ）
• Mixture-of-Experts（MoE）モデル 対応
  • 必要なエキスパートのみをSSDからストリーミング読込
  • 頻繁利用エキスパートはメモリキャッシュ
• GPU対応 （環境変数JANAS_GPU=0でCPU専用モードも可能）
• API・CLIは頻繁に非互換変更あり（開発初期段階）
• モデルファイル(.jns) はバージョン2以降で将来互換性維持予定
• キャッシュ制御 ：--cache <GiB>でメモリ上限設定可能
• データ保存先 ：~/.cache/janas（設定・キャッシュのみ）、モデルファイルは変更しない
• 動作未検証環境 ：AMD CPU、AVX非対応CPU、外部GPU、遅いSSDやメモリ量変動環境

インストール・利用方法（Linux/Windows）

• Linux（Ubuntu 22.04, Debian 12以降）
  • curl -LO https://github.com/prabanta-dev/janas/releases/latest/download/janas-linux-x86_64.tar.gz
  • tar xf janas-linux-x86_64.tar.gz && cd janas
  • ./janas-chat
  • モデル選択・自動ダウンロード・検証
• Windows 10/11
  • janas-windows-x86_64.zipをダウンロード・展開
  • コマンドプロンプトで janas-chat を実行

ドラフト（下書き）機能について

• ドラフト機能 ：次トークン予測を高速化する仕組み
  • Qwen3.5/Qwen3.6/Qwen3-Next/Gemma4の一部モデルで有効
  • 英文チャット応答で最大89%のドラフト採用率
  • イタリア語などでは効果減少
  • ドラフト未対応モデルもあり
• 実測例（Qwen3.5-2B） ：ドラフト有効時 67 tok/s、無効時 50 tok/s

注意事項・既知の問題

• 開発初期段階 ：API/CLI仕様が頻繁に変更
• 安定性未保証 ：過負荷時にデスクトップがスワップ、GPUドライバがリセットする可能性
• 他環境での動作未検証 ：報告はjanas-benchの出力が最も有用
• 速度測定 ：必ずアイドル状態で実施、他プロセスがあると速度低下・ディスク待ち増加

ドキュメント・情報源

• INSTALL.md ：ビルド手順・モデル準備・初回起動
• ChangeLog.md ：更新履歴
• MODELS.md ：対応モデル詳細
• docs/features.md ：モデル別・機能別の対応状況

まとめ

• Janas-LLM は、限られたメモリ環境でも大規模モデルを高速で動作させる革新的なAIツール
• ストリーミング＆キャッシュ、 GPU活用、 ドラフト機能 などで既存ツールを大きく上回る性能
• 開発初期段階 ゆえ、安定性や互換性に注意しつつ、積極的なフィードバック・検証が推奨