概要
- Orthrusは 並列トークン生成 と 損失なしの精度 を両立する新型LLMフレームワーク
- Qwen3バックボーンを採用し、 最大7.8倍の生成高速化 を実現
- 余分なメモリ消費ゼロ で既存モデルと同一の予測分布を保証
- パラメータ効率を維持しつつ 推論速度と精度 を両立
- 既存手法より 高い受理率・高速推論 を実現
Orthrus: メモリ効率型並列トークン生成フレームワーク
- Orthrusは autoregressive LLMの忠実な生成 と diffusionモデルの高速並列生成 を統合したデュアルアーキテクチャ
- Qwen3シリーズ をベースモデルとして利用し、 厳密な損失なし生成 を保証
- サポートモデル例
- Orthrus-Qwen3-1.7B（4.25倍高速化）
- Orthrus-Qwen3-4B（5.20倍高速化）
- Orthrus-Qwen3-8B（5.36倍高速化）
- 公式実装・モデルチェックポイントは HuggingFace で配布
インストール手順
- uv による高速依存解決を推奨
uv pip install -e .uv pip install ninja packaginguv pip install flash-attn --no-build-isolation（もしくはpip install "flash-attn-4[cu13]"）
クイックスタート例
- Pythonでの基本利用例
AutoModelForCausalLMとAutoTokenizerを利用attn_implementation="flash_attention_2"を指定（対応環境ならflash_attention_4も可）use_diffusion_mode=Trueで並列生成を有効化- トークン生成ストリーミングもサポート
Orthrusの主な利点
- 推論高速化 ：従来の逐次デコードのボトルネックを解消し、最大7.8倍の速度向上
- 厳密な損失なし生成 ：モデル内で厳密な合意機構を持ち、ベースモデルと全く同一の分布で出力
- 余分なメモリオーバーヘッドなし ：デュアルビューが同一の高精度KVキャッシュを共有し、O(1)のメモリ増加のみ
- パラメータ効率 ：並列生成能力は全体の16%パラメータ微調整で注入、ベースLLMは完全凍結
- Speculative Decodingとの比較 ：EAGLE-3やDFlashに対して、KVキャッシュ共有により冗長メモリ回避・高受理率・高速推論を実現
SOTA拡散モデルとの比較
- 従来のdiffusion LLM（dLLM）は 並列生成可能 だが、 条件ドリフトや精度劣化 が顕著
- Orthrusは 並列生成と逐次制約を分離 し、 高忠実度・高精度 を両立
- MATH-500ベンチマークで Qwen3-8B比約6倍高速化、Fast-dLLM-v2等の精度劣化なし
今後の展望
- vLLM ・ SGLang とのネイティブ統合を近日公開予定
論文引用情報
Orthrus関連研究を利用する場合は、以下の論文を引用
@misc{vannguyen2026orthrusmemoryefficientparalleltoken, title={Orthrus: Memory-Efficient Parallel Token Generation via Dual-View Diffusion}, author={Chien Van Nguyen and Chaitra Hegde and Van Cuong Pham and Ryan A. Rossi and Franck Dernoncourt and Thien Huu Nguyen}, year={2026}, eprint={2605.12825}, archivePrefix={arXiv}, primaryClass={cs.LG}, url={https://arxiv.org/abs/2605.12825}, }
論文: https://arxiv.org/abs/2605.12825 ; コードとモデル: https://github.com/chiennv2000/orthrus ; 開示: 共著者。アイデア: 固定されたARトランスフォーマーの各層に学習可能な拡散注意モジュールを組み込む。両方のヘッドは1つのKVキャッシュを共有。拡散ヘッドはK=32のトークンを並列で投影する。ARヘッドは2回目のパスで検証し、最も長い一致する接頭辞を受け入れる。出力分布は基本モデルと証明上同一。結果: - MATH-500で最大7.8倍のTPF、約6倍の実行時間。 - パラメータの16%を訓練、トークン数は1B未満、8xH200で24時間。 - 拡散LM（Dream、Fast-dLLM-v2、SDAR、Mercury、Gemini Diffusion）と比較すると、基本の重みを変更して精度を失う（Fast-dLLM-v2: MATH-500で-11ポイント）。Orthrusはバックボーンを固定しており、精度はQwen3-8Bと完全に一致。 - 投機的デコーディング（EAGLE-3、DFlash）と比較すると、外部ドラフターなし、別のキャッシュなし、TTFTペナルティゼロ（初期化/同期するドラフターなし）。KVオーバーヘッドはO(1)（約4.5 MiB）。MATH-500での受け入れ長さ: 11.7対7.9（DFlash）対3.5（EAGLE-3）。 - 単一ステップのデノイジングがマルチステップを上回る（6.35対3.53 TPF）。KL蒸留が受け入れ率でCEを上回る。制限: 固定された基本モデルによって厳密に制約されている（バイアス、幻覚、知識のギャップを引き継ぐ）；Qwen3専用の評価；貪欲法＋拒否サンプリングのみ。