本文へ
ハクソク

世界を動かす技術を、日本語で。

Show HN: Mini-AGI – 8GB VRAMで訓練された動的継続学習モデル

元記事: 原文(github.com)

概要

  • mini-AGI は、個人でも訓練可能なAGIモデルを目指すプロジェクト
  • MoE（Mixture of Experts） と バッチ1連続学習 という独自のアプローチを採用
  • ディスク容量依存 で大規模パラメータ管理を実現
  • 小型VRAMでも学習可能 な設計
  • GitHubで サンプル・スケーリンググラフ を公開中

mini-AGI プロジェクト概要

  • mini-AGI は、一般ユーザーが自分の興味や目的に合わせて フルコントロール できるAGIモデル構築を目指したプロジェクト
  • モデルの 学習過程 や データ可視化 が容易、GitHub上で トレーニングサンプル や スケーリング則グラフ を公開
  • 1B+規模 のモデルを消費者向けハードウェアで訓練できない現状への不満が出発点
  • 推論やファインチューニング は可能だが、学習データ全体を自分で管理したいという要望
  • 企業依存からの脱却、自分自身の価値観に沿ったモデル訓練の実現

技術的アプローチ

  • MoE（Mixture of Experts） 方式を採用
    • 多数の エキスパート をモデル内に持ち、訓練中に追加・削除が可能
    • 任意のタイミングで 必要なエキスパートのみロード、パラメータ数は ディスク容量 のみが制約
  • バッチ1連続学習 （Batch 1 Training on Single Stream）
    • 連続したデータストリーム を1件ずつ学習
    • 大容量VRAM不要、バッチや勾配のストレージが不要
    • 小型GPU環境 でも実現可能な設計
  • 32K文字ごとの連続パッセージ を1ストリームとして読み込み学習
    • 人間が本を読むようなイメージでモデルに学習させる設計

開発プロセスとAI活用

  • Claude等の AIツールとブレインストーミング しながら設計
  • AIサポートなしでは実現困難 だったと開発者自身がコメント
  • 7.8B文字のコーパス のうち、まだ最初の学習段階
    • 重み（weights）は未公開、現在も学習中
    • 完成まで 数週間 を予定

利用と体験

  • セットアップは非常にシンプル
    • GitHubから git clone し、すぐに実行・観察が可能
  • 学習状況や挙動を自分で確認 できるオープン性
  • AI時代の個人研究開発 の新しい可能性を示唆

mini-AGIの今後と期待

  • 消費者向けハードウェア での大規模モデル訓練という新しい道
  • AI主導開発 による高速なプロトタイピングと実装
  • 今後の重み公開や学習進捗 への期待

提供: ハクソク · 要約更新:

AIによる日本語要約です。内容は原文とあわせてご確認ください。

Hacker Newsの議論を読む

Hackerたちの意見

誰も石を投げたりしないと思うけど、大半の人は大きなプレイヤーに対して好奇心や疑念を持っていて、コストがすぐに下がるだろうから、もっと実践的なことを求めてるんじゃないかな。

面白そうだね。最近、いろんな継続学習のアプローチを試してるんだけど、壊滅的な忘却を避けるためにゼロから作られたものを見るのはクールだね。クローンする価値は絶対にあるよ。

└

壊滅的な忘却を解決する兆しは全く見えないね。

このアーキテクチャは実際に一般化できるの？それともほとんど記憶に基づいてるだけ？一般化を必要とする基本的なタスクを試したことある？例えば、足し算とか。

└

モデルは小さすぎて、訓練も足りないから、一般化の主張はできないよ。与えたコーパスを全部読み終わるまで待って、簡単な既存のベンチマークでテストしてみたいな。

これが本当にプロトAGIに見えるのは初めてだ。名前にふさわしいね。

彼がリンクしてるトランスクリプトを実際にスクロールしてみると、何かトレーニングっぽいことが起こってるのが見えるけど、一貫した反応は全く出てこないよ。少なくとも、僕がざっと見た限りではね。それが、なぜベンチマークが全くないのかの理由かもしれない。

└

AGIという用語を使っておいて、パフォーマンス分析を含めないのはどういうこと？僕のAIはこれを「大規模なマーケティングの行き過ぎ」と呼んでる。コメントで誰かがこれを「ゴミ」って呼んでたよ。継続学習について発表した教授として、同意する方向に傾いてる[1]。内容が全くない。関連する研究との関係もないし、アルゴリズムの説明もないし、アブレーションスタディもなし。ただデータを与えて「チェスは忘れられない」って手を振ってるだけ。この「継続学習がどう機能するか」っていうマークダウンテキストはアルゴリズムじゃないよ[2]。

面白いね。トークン化を使うことで、モデルが構文レベルじゃなくて意味レベルで動くようになると、どれくらいの効果が得られるんだろう？これは力を倍増させると思うけど、ここではどうなんだろうね。

これ、めっちゃクールだね！シェアしてくれてありがとう。最初に読んだとき、「継続的」って見て、ちょっとだけ自分が考えてたアイデアを実装してるのかと思った。俺は、ずっと考え続けるエージェントが欲しいんだ。思考のループをLLMに入れて、また出す感じ。俺たちみたいに「反芻」するように続けてほしいんだ。それから、コミュニケーションしたいときに「メッセージ」やIRQを追加する感じ。質問したり、色々聞いたりするためにね。この学習に加えて、そういうサイクルが本当のAGIには欠けてると思う。

あのグラフの中の一つのグラフが何を意味してるのか、理解できたらいいんだけど。縦軸や横軸の説明が全然ないね。でも、見た目はいい感じ。

よく見てないけど、これは致命的な忘却を避けるっていう点で過剰に期待してるように見えるね。「幹の学習率」が専門家の学習率の0.1倍に設定されてるから、異なるテーマでの学習が専門家に偏りがちで、幹の部分は比較的安定してるみたい。でも、専門家の数は増えたり減ったりするんだよね。> 「プールは容量が足りないときに増えて、必要とされなくなると減る。」だから、- 幹は結局_やっぱり_致命的な忘却を経験するんじゃない？ただ、もっと時間がかかるだけで。- その前に、専門家のプールが減るときに段階的に致命的な忘却が起こるんじゃない？

Hacker Newsで議論の続きを見る

同じ出典の記事