ハイブリッド推論エージェント：潜在空間で思考し、テキストを通じて行動するLLMエージェント

2026年10月19日原文(arxiv.org)

概要

HybridAgent は、人間の言語を超えた思考と、外部環境とのテキストを通じた対話を両立する新しいエージェントアーキテクチャ。 HybridLink により、テキストと潜在推論モード間のシームレスな移行を実現。 HybridSFT と HybridRL のアルゴリズムで推論の安定性と効率を向上。 11分野での評価で、従来手法より 10.4%性能向上 と大幅なトークン・コスト削減を達成。コード・データは GitHub 等で公開。

HybridAgent: 潜在推論とテキスト対話を融合する次世代エージェント

現代のLLMエージェント は、テキストベースで推論・対話を行う設計
潜在推論 は効率的な内部処理を可能にするが、ツールアクセスや推論の透明性に課題
HybridAgent は、潜在推論とテキスト対話を統合したハイブリッド型エージェント
- HybridLink により、テキストと潜在モード間で動的に移行可能
- 連続ワーキングメモリ で、複数ターンにわたるハイブリッド文脈を損失なく保持
ツール統合型エージェント機能 を維持しつつ、潜在思考の直接的な検証も可能

HybridAgentの設計と学習アルゴリズム

HybridLink
- 軽量なアーキテクチャで、テキスト・潜在モード間の遷移を高効率化
HybridSFT (Supervised Fine-Tuning)
- エージェントがHybridLinkと協調しながら生成を安定化させる学習
HybridRL (Reinforcement Learning)
- 潜在空間で思考すべきタイミングと、テキストで行動すべきタイミングを学習
連続ワーキングメモリ
- ハイブリッドな文脈情報を損失なく長期的に保持・活用

性能評価とベンチマーク

3つのモデルスケール で、 数学・科学・医学・検索・エージェント推論 など11分野で評価
最先端LLMエージェント や他のテキスト・潜在手法と比較し、
- 10.4%の性能向上
- 35.5%-54.7%のトークン削減
- 1.8x-2.6xの推論高速化
- 2.7x-3.7xのコスト削減 を実現

ソースコード・データ・関連リンク

GitHub: https://github.com/togethercomputer/HybridAgent
Hugging Face: https://huggingface.co/collections/togethercomputer/hybridag...
論文全文・図表: https://arxiv.org/html/2610.18861v1#S5
著者X: https://x.com/Jiaru_Zou/status/2110400256647340476

まとめ

HybridAgent は、テキストと潜在推論を自在に使い分けることで、 効率性・透明性・ツール統合性 を同時に実現
今後のLLMエージェント設計 における新たなパラダイムを提示

Hackerたちの意見

おお、すごい！最も禁じられた技術だね。

└

もうちょっと詳しく教えてくれる？

これめっちゃクールだね。推論を速くするだけじゃなくて、実際に知能も上がるんだ。潜在的な推論を人間が読めるテキストにどうやって変換するの？

└

現在のLLMと同じやり方だよ、ただの別のデコーダーって感じ。

コードはここにあるよ: https://github.com/togethercomputer/HybridAgent モデルとデータ: https://huggingface.co/collections/togethercomputer/hybridag... 評価はこちら: https://arxiv.org/html/2610.18861v1#S5

└

最初に思い浮かんだ質問は、他の読者も同じように考えていると思うけど、「これは連続的な思考の流れよりも何が改善されているの？」ってこと。論文の中でこの質問に触れようとしている一文を見つけたけど、ただの根拠のない二つの主張に過ぎなくて、どちらも疑わしいんだよね。 decoded textとは違って、連続的な潜在ベクトルは、(i) マルチターンのエージェント的推論におけるツール呼び出しのためのネイティブな経路が欠けている（Chang et al., 2026）、そして (ii) 人間が解釈可能な意味を簡単に示さないため、トレーニング中の監視が難しい（Chen et al., 2026）し、推論時の監査やデバッグも難しい（Korbak et al., 2025）。連続的な思考のモデルにおける潜在空間は、トークンが埋め込まれるのと同じ空間で、普通のトランスフォーマーと同じなんだ。ツール呼び出しは、普通のトランスフォーマーと同じ方法で行われる：思考モードを離れて、チャットトークンを出力する（これは埋め込み関数の確率分布としてサンプリングされる）。違いはすごくシンプルで、チャットトークンは非連続的で、ツール呼び出しトークンはチャットトークンのサブセットなんだ。思考トークンだけが連続的で、ツール呼び出しは、今まで見たどのモデルでも思考モードでは発生しない（もしかしたらそんなモデルがあるかもしれないけど、あったら変で面白いね！）。人間の解釈可能性については、そう、それがトレードオフなんだ。連続的な思考の思考トークンは、ハイブリッド推論エージェントの「潜在モード」と同じように、明らかに解釈可能ではない。ここに勝ち目は見えないな。

これはAstraのループトランスフォーマーとどう違うの？あのアーキテクチャも潜在空間で推論してるよね。

└

オープンウェイトだし、どう動くか説明してる論文もあるし、コードもあるよ。

もし声に出して考えたら、たぶん考え方や内容に影響が出ると思う。静かに考えることで、声に出したら不適切に思えるような色んな考えを持てるし、反応に対処しなくて済むからね。これ、面白い影響がありそうだね。

└

不適切な考えに基づいて行動する人間は、物理的に責任を問われることがある。危険な行動を生み出すエージェントは、「うまくいかなかった軌道」として片付けられちゃうんだ。

└

子供の頃、全知全能の神が私の思考を監視していて、間違った考えを持っているかどうか見ているって言われて、信じてたんだ。それは私の思考プロセスに絶対に影響を与えたけど、ポジティブな方向ではなかったな。結局、その信念は捨てたけど。

これって、オールインするのと比べてどうなんだろう？入力の埋め込みを広げて、出力（“ハイブリッドリンク”後）の潜在ベクトルとトークン埋め込みに合わせて、テキストモードでも両方通すってことかな。結局、テキスト生成中は潜在モードのモデルをフルコストで動かしてるわけだし、同時に潜在的に推論させてもいいんじゃない？（それとも、広いベクトルを使う代わりにベクトルを足し合わせるだけでもいいかも - みんなベクトルを単純に足し合わせることで良い結果を出してるみたいだし。）

Hacker Newsで議論の続きを見る

ハクソク