DeepSeekが推論エンジンをオープンソース化しました

概要

DeepInferはDeepSeekの大規模サービスを支える高性能推論フレームワーク オープンソースとして公開され、オフライン推論に最適化 多様な並列化・スケジューリング・出力制約に対応 NVIDIA SM100 GPUとHuawei Ascend 950 NPUをサポート Apache License 2.0で提供

DeepInfer: DeepSeek向け高性能推論フレームワーク

• DeepSeekの大規模プロダクションサービス を支える高性能推論基盤
• オープンソース版は オフライン推論 に必要な主要機能を搭載
• DeepSeek-V4.1-Flash モデルをサポート

主な特徴

• 最適化カーネル群 搭載（FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect, TileLangカスタムカーネル）
• 並列化手法 ：Attention DP / balanced CP、MoE EP + EPLB
• DSparkと信頼度スケジュール検証 による高速デコーディング
  • DEEPINFER_ENABLE_MTP_VARLEN=1 で可変長ドラフト
  • DEEPINFER_USE_NEXTN_DECODE で最大ドラフト長制御（デフォルト5）
• Decoder SWA bounded replay でprefill作業を効率化
  • DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE=compact
  • DEEPINFER_YOCO_PREFILL_KEEP_TOKENS=140 （V4.1デフォルト）
• 非同期スケジューリング によるCPUバッチスケジューリングとデバイス実行の重複処理（デフォルト有効）
• バッチ不変推論 でバッチ構成が異なっても同一結果（NVIDIAのみ、DEEPINFER_BATCH_INVARIANT=1）
• 決定論的サンプリング で同じ入力・パラメータから同じ出力（NVIDIAのみ、DEEPINFER_BATCH_INVARIANT=1、DEEPINFER_ENABLE_MTP_VARLEN=0、SamplingParamsに固定seq_seed）
• 構造化出力 ：正規表現・JSONスキーマ・EBNF文法で出力制約（SamplingParamsのso_argsで指定）

サポートハードウェア

• NVIDIA SM100 GPU
• Huawei Ascend 950 NPU

本リリースに含まれない機能（完全な推論サービスに必要）

• KVキャッシュシステム
• VE/Prefill/Decodeの分離
• Prefill・Decode両方のデータ並列レプリカ間ロードバランス

導入・利用方法

前提条件

• Linux
• GCC 13.0以上
• Python 3.12
• CUDA 13（NVIDIAのみ）
• CANN 9.2（Ascendのみ）

ビルド手順

• 空のPython 3.12環境を作成・有効化
• NVIDIA利用時
  • export DEEPINFER_ACCELERATOR=nvidia
  • ./build.sh でビルド
• Ascend利用時は ascend を指定

オフライン推論実行

• 初回実行時に deepseek-ai/DeepSeek-V4.1-Flash-1017 チェックポイントをHugging Faceキャッシュへ自動ダウンロード
• ローカルコピー使用時は DEEPINFER_HF_MODEL_DIR=/path/to/DeepSeek-V4.1-Flash-1017 を指定
• python examples/offline_inference.py で推論実行
• 詳細はexamplesディレクトリ参照

性能ベンチマーク

• Prefill ：4台のSM100 GPUで計測
• Decode ：64台のSM100 GPUで計測（各々スケールアップドメイン内）
• run_sweep.sh でベンチマーク再現可能

評価ベンチマーク

• eval/README.md 参照

ライセンス・謝辞

• Apache License 2.0 で公開
• vLLM を基盤に、 SGLang や TensorRT-LLM からも着想
• 開発者への謝意

論文引用情報

• @misc{deepinfer2026, title = {DeepInfer: High-performance, large-scale inference framework for DeepSeek models}, author = {DeepSeek-AI}, year = {2026}, publisher = {GitHub}, howpublished = {\url{https://github.com/deepseek-ai/DeepInfer}}, }