本文へ
ハクソク

世界を動かす技術を、日本語で。

Kolibriは、Aleph Alphaによるドイツ語と英語向けのオープンウェイトLLMです。

元記事: 原文(tej.as)

概要

  • Kolibri はAleph Alphaが開発した ドイツ語・英語対応 の大規模言語モデル（LLM）
  • 78億パラメータ を持つMixture of Experts構造、1トークンあたり約3.5億のみ使用
  • EU AI Act準拠 を意識し、ドイツ・フィンランドで独自インフラ上で訓練
  • Apache 2.0ライセンス で公開、重みはHugging Faceで入手可能
  • 本記事では Kolibriの仕組み・強み・弱み・運用方法・適切な利用場面 を解説

Kolibriとは何か

  • Aleph Alpha が開発した オープンウェイトLLM
  • Mixture of Experts（MoE）構造 で、78.1億パラメータ中1トークンあたり3.46億のみ稼働
  • 対応言語 ：ドイツ語・英語
  • コンテキスト長 ：ネイティブで262,144トークン、最大1,048,576トークンで検証済み
  • ライセンス ：Apache 2.0（重み・設定ファイルのみ、学習コードは非公開）
  • メモリ要件 ：FP8で約78GB
  • 推論レベル ：none/low/medium/highで切替可能
  • ツール呼び出し対応、 知識カットオフ ：2026年6月18日
  • 訓練データ ：24兆トークン（約2割がドイツ語）、768台のNVIDIA B200 GPU使用

ソブリン（Sovereign）モデルの特徴

  • ドイツ・フィンランドのインフラ 上で、 欧州法準拠 で開発・訓練
  • 顧客は完全な導入自由度と知的財産の安全性 を享受
  • EUのGPAI Code of Practice にも署名
  • 外部モデルの影響 ：英語データはGoogle Gemma 4、ドイツ語はMistral-NeMoでリフレーズ、Qwen3-32Bのラベル付きデータを品質フィルタに利用
  • 政治的バイアス除去 のためのデータフィルタリング

Kolibriの仕組み

  • 6つのコアアイディア で構成、特にドイツ語処理の効率化・長文対応・誠実性を重視

1. 384人のスペシャリスト（Expert）、1トークンあたり6人に割当

  • 各レイヤーに 384エキスパート＋1共通エキスパート を配置
  • 50層構造、ルーターが各トークンに6エキスパートを割当
  • 3.46億パラメータ相当の計算量 で推論、 全エキスパート分のメモリは必要
  • 専門家病院の比喩 ：受付が最適な専門医に振り分け

2. ドイツ語複合語対応のトークナイザー

  • UniBPEアルゴリズム による128,000語彙のトークナイザー
  • ドイツ語複合語 を2トークンで処理可能、他モデルよりトークン数削減
  • 独基本法全文で15%トークン削減 （GPT-5比）、英語は同等

3. スライディングウィンドウアテンション

  • 50層中40層 が直近512トークンのみ参照
  • 5層ごとに全履歴参照、超長文でも計算コスト抑制
  • RULERベンチマーク で長文性能実証

4. ドイツ語で推論

  • 推論過程もドイツ語 で実施、ドイツ語数理問題で高スコア
  • 十分なドイツ語推論データ 投入で性能向上

5. 「わからない」と答える訓練

  • Merlin-Arthurプロトコル でエビデンス不十分時は「不明」と回答
  • Omniscienceテスト で「わからない」と答える率44%（他モデルより高い）

6. 推論の深さを選択可能

  • reasoning_effort パラメータでnone/low/medium/highを選択

Kolibriの強み

  • 英語・ドイツ語ともに同規模MoEモデル中トップスコア
  • 数理能力 ：AIME 2025/2026で他MoEモデルを凌駕
  • 長文対応 ：1Mトークンでも高スコア
  • 未知文書質問対応 ：企業ドキュメントQAで高精度

Kolibriの弱み

  • 暗記型知識は弱め ：クローズドブックテストで最下位
  • マルチターンツール呼び出しが苦手
  • コーディングエージェント性能は平均以下
  • 長文中盤での性能低下 ：RULERベンチマークで一部他モデルに劣後

Kolibriの適切な用途

  • データ主権・プライバシー重視の企業/公共機関
  • ドイツ語・英語の長文処理や数理推論
  • EU法準拠が必須なシナリオ
  • 自社サーバー上での安全な運用

Kolibriの運用方法

  • Hugging Faceで重み入手可能
  • 最低FP8で78GBメモリ必要
  • 推論深度やツール呼び出しはAPIパラメータで制御

まとめ

  • KolibriはEU規制とイノベーションのバランスを追求したLLM
  • ドイツ語・英語の高精度処理とデータ主権を両立
  • 用途に応じて推論深度やセキュリティ要件を柔軟に調整可能
  • 一方で知識ベースの質問や複雑なツール連携・コーディングはやや不得手

提供: ハクソク · 要約更新:

AIによる日本語要約です。内容は原文とあわせてご確認ください。

Hacker Newsの議論を読む

Hackerたちの意見

RTXプロ6000のセットアップでちょっと遊んでみたけど、考えすぎでトークンを使いすぎるね。正しいアプローチを捉えられるのに。逆に、スピードはかなりいい感じで、3Bのアクティブパラメータだけでfp8で170 tkn/sくらい出てるよ。

└

考えすぎでトークンを使いすぎるね。 そうだね。ドイツのモデルだからね。

└

低い推論モードも試してみた？

Aleph Alphaは今や悲しいジョークだよ。才能がもうないし、他のラボに追いつけなかったし、いくつかのプロジェクトも失敗した。今は投資家のための金儲けになっちゃってる。

└

短期的な利益だけを考えるならそうだけど、長期的に見ると、今のモデルがクソでもあんまり関係ないよ。どんなモデルも最終的には時代遅れになるし、技術のあらゆる面で停滞しない限りね。大事なのは、5年、10年、20年後に良い独立したモデルを持つことだよ。

└

才能がなくなったわけじゃないよ。どこでも無能な奴らが舵を取ってるから、才能が逃げ出すチャンスを狙ってるんだ。

  1. それはドイツ語で考えるってこと。 つまり、いつも時間通りだし、すべてに略語を使うし、決定を下すときは委員会を設置するんだ。
└

他の国籍でも同じようなジョークがあるのかな？

└

それはいつも時間通りだってこと。 ドイツ鉄道に言ってやれ。

└

ドイツのモデルとして宣伝するのはいいアプローチだと思う。でも、実際にドイツ人が考えているように考えているのかは疑問だな。多分、他の言語、特に英語や中国語のテキストをドイツ語に翻訳しただけなんじゃないかな。

└

そうなの？埋め込みプロセスでは意味論だけが生き残ると思ってたけど、つまりトークンがベクトルに変換されるってことだよね。

└

彼らの非常に長い言葉が、トークンの使用量に多いのか少ないのか気になるな。

Hacker Newsで議論の続きを見る