概要
- 科学的発見は、真実性だけでなく 研究者の認知的到達範囲 にも制約される。
- 既存のコミュニティが結びつけていない 概念や方法の組み合わせ は、提案されにくい傾向。
- 本研究は、 科学的に妥当だが既存研究者には思いつきにくいアイデア の探索手法を提案。
- 提案手法は、 多様性と質の両立 を実現し、既存LLMベースラインを上回る成果を示す。
- AIによる新規アイデア創出が、人間科学者の限界を補完する可能性を示唆。
科学的発見の認知的バイアスとAIによる補完的アイデア創出
- 科学的発見は、 真実性 だけでなく 研究者の認知的可用性 によっても制約。
- 多くの研究方向は、 既存文献との整合性 はあるが、 関連分野を横断するコミュニティ が存在しないため提案されにくい現状。
- 現代の 大規模言語モデル(LLM) も同様に、文献の高密度領域から新規アイデアを再結合する傾向。
提案手法:アイデアアトムによる新規研究方向の探索
- 論文を 概念単位(アイデアアトム) に分解し、クラスタリングして アイデアの語彙 を構築。
- コヒーレンスモデル でアイデアアトムの組み合わせの科学的妥当性を評価。
- アベイラビリティモデル で既存の著者コミュニティがその組み合わせを提案できるかを評価。
- コヒーレンス最大化・アベイラビリティ最小化 の観点で組み合わせをランキング。
実験と評価
- NeurIPS、ICLR、ICMLなど主要NLP会議の 16,068本のLLM論文 を対象に実験を実施。
- サンプラーは、 既存LLMベースラインよりも多様性に富む研究ポートフォリオ を生成。
- バッチプロンプト型のLLM出力を含む全ベースラインより高い多様性。
- 1アイデアあたりの質も ブラインド評価で同等以上 を達成。
- 時系列検証では、 2025年以前のデータのみ でモデルを構築。
- 候補空間の1%未満を選択するだけで、 2025年の新規組み合わせをランダムの35.9倍 の確率で回収。
- アベイラビリティを重視することで、 完全新規組み合わせの回収率も3.24倍 に向上。
結論と意義
- 科学的妥当性 と コミュニティの可用性 を分離することで、人間科学者が見落としがちな 新規かつ整合的な研究方向 の探索が可能。
- AIによるアイデア創出が、 人間科学の限界を補完 し、未踏領域の探究を促進する枠組みの提案。
共同著者です。私のポスドクからの初めての論文がNeurIPSのメインカンファレンスに受理されました。科学的に意味のある多様なアイデアを機械学習でサンプリングする方法を構築しましたが、既存の研究コミュニティでは提案できないアイデアです。要するに、仕組みはこんな感じです:1. 16,068本のLLM論文(NeurIPS、ICLR、ICML、ACL、EMNLP、2017年から2025年)を273の「アイデア原子」に分解します。各論文と候補となるアイデアは、原子のセットになります。2. コヒーレンスモデルをトレーニングします:42.8Mパラメータのトランスフォーマーを原子のシーケンスとして論文に基づいて訓練します。基本的にはアイデアをトークンとする言語モデルです。3. 認知可能性モデルをトレーニングします:39,791人の研究者の出版履歴に基づいて訓練されたデュアルエンコーダーで、各人が次にどこに行くかを予測します。4. それらのモデルを使って、相互ランク融合を用いてサンプルされたタプルにスコアを付けます(うまく組み合わさるアイデアが欲しいけど、誰にも認知されていないもの)。いろんな方法でテストしましたが、面白いのは2024年末の論文を全部取って、2025年の論文にどの高スコアのタプルが現れたかをチェックしたことです。うまくいきました。例えば、ICLR 2025の口頭発表は、コヒーレンスだけでランク1,489から1.14Mサンプルのトップ25に上がりました。面白いことに、ClaudeにML研究アイデアを考えてもらうと、たいてい解釈可能性に関するものになります。それをA100で自動研究パイプラインにかけると、結果は8回中8回解釈可能性になります。私たちのエイリアンサンプリング法では、Claudeに考えさせても0の解釈可能性アイデアでした。CS/AIの大学院卒の50人に研究報告を評価してもらったところ、Alienの報告が平均的に最高の質のランクを持ち、トップ5の報告のうち3つを生み出しました。ああ、それから、数百万本の論文と1,000万以上の概念要素にスケールアップして、ここで検索できる25,000の新しい研究提案を生成しました:https://lacuna.tiptreesystems.com/explore?view=hypotheses コード(MIT):https://github.com/alejandrohdez00/alien-space-of-science