概要
- vintage language models (ヴィンテージ言語モデル)は、過去のテキストのみで訓練されたAI
- 現代のAIと比較し、 知識の限界や一般化能力 を研究
- talkie-1930-13b は、1930年以前の英語テキストで訓練された13Bパラメータモデル
- データ品質や 時代的リーク など独自の課題に直面
- 今後は 多言語化やモデル拡張 を計画
ヴィンテージ言語モデルとは何か
- vintage language models は、特定の時代以前のテキストのみで訓練されたAIモデル
- タイムマシンのように、過去の人物と対話する体験のシミュレーション
- 現代知識や価値観の影響を排除し、 歴史的視点のAI を実現
- 例: talkie-1930-13b は1930年以前の英語のみで訓練
- 過去の文化や考え方を反映した 独自の会話パートナー としての役割
なぜヴィンテージモデルを研究するのか
- AIの一般化能力 や知識の限界を検証するための実験環境
- 未来予測や、当時発明されていないアイデアの発見能力を評価
- 例: General Relativity の再発見可能性
- モダンモデルとの比較で、 データ多様性や訓練コーパスの影響 を分析
- Web依存の現代AI とは異なる知識体系の構築
未来予測と新規発明能力の評価
- New York Times の「On This Day」データで未来イベントの予測困難度を測定
- 1931年以降の出来事は、モデルにとって「驚き」が大きい傾向
- 特許や科学論文 (例:Turing machine, ヘリコプター特許)を知識カットオフ後に当てられるか検証
- Calcifer Computing の研究を参考に、モデルサイズと予測精度の関係を調査
- HumanEval テストで、現代プログラミング言語(Python)への適応力も測定
プログラミング能力の実験
- pre-1931モデル と現代モデルで同一構造のペアを用意し、Pythonコーディング能力を比較
- ヴィンテージモデルは 単純なタスク (例:加算、簡単な暗号解読)に限定的な成功
- Webデータを訓練に含むモデルには大きく劣るが、 規模拡大で徐々に向上
- 正解プログラムはほぼ 一行・例題の小改変 に留まる
データ収集と品質管理
- Internet Archive や Institutional Data Initiative から1930年以前の膨大な英語データを収集
- 書籍、新聞、雑誌、学術誌、特許、判例法など多様なソース
- 英語中心 だが、今後は多言語化も目指す
- OCR(光学文字認識) によるノイズ混入が課題
- 人手転記の学習効率はOCRの約3倍
- 正規表現によるクリーニングで部分的に改善
時代的リークとその対策
- 知識カットオフ 後の情報混入(リーク)を防ぐため、n-gramベースの検出器を開発
- それでも完全な除去は難しく、一部のモデルは Roosevelt政権やWWII の知識を保持
- 今後は より高度な検出・フィルタリング技術 を導入予定
ポストトレーニングと会話能力
- 既存のチャットデータや指示応答ペアは 時代錯誤的バイアス を含むため未使用
- 代わりに、 歴史的なマニュアルや手紙文例集 など、当時の会話・文体を再現するデータでポストトレーニング
- talkie-1930-13b は、現代的なチャットスタイルではなく、 時代に即した会話 を実現
今後の展望
- GPT-3レベル のヴィンテージモデルの訓練・公開を計画
- コーパス規模の拡大 (1兆トークン超)で更なる性能向上を目指す
- 多言語化・多様な視点の導入 でAI研究の基盤を強化
- ヴィンテージモデルの研究を通じて、 AIの本質的な一般化能力やバイアスの解明 に貢献
これ、すごいね。ollamaで簡単にインストールできるのかな?