本文へ
ハクソク

世界を動かす技術を、日本語で。

科学の異星空間:一貫しているが認知的に利用できない方向性

元記事: 原文(arxiv.org)

概要

  • 科学的発見は、真実性だけでなく 研究者の認知的到達範囲 にも制約される。
  • 既存のコミュニティが結びつけていない 概念や方法の組み合わせ は、提案されにくい傾向。
  • 本研究は、 科学的に妥当だが既存研究者には思いつきにくいアイデア の探索手法を提案。
  • 提案手法は、 多様性と質の両立 を実現し、既存LLMベースラインを上回る成果を示す。
  • AIによる新規アイデア創出が、人間科学者の限界を補完する可能性を示唆。

科学的発見の認知的バイアスとAIによる補完的アイデア創出

  • 科学的発見は、 真実性 だけでなく 研究者の認知的可用性 によっても制約。
  • 多くの研究方向は、 既存文献との整合性 はあるが、 関連分野を横断するコミュニティ が存在しないため提案されにくい現状。
  • 現代の 大規模言語モデル(LLM) も同様に、文献の高密度領域から新規アイデアを再結合する傾向。

提案手法:アイデアアトムによる新規研究方向の探索

  • 論文を 概念単位(アイデアアトム) に分解し、クラスタリングして アイデアの語彙 を構築。
  • コヒーレンスモデル でアイデアアトムの組み合わせの科学的妥当性を評価。
  • アベイラビリティモデル で既存の著者コミュニティがその組み合わせを提案できるかを評価。
  • コヒーレンス最大化・アベイラビリティ最小化 の観点で組み合わせをランキング。

実験と評価

  • NeurIPS、ICLR、ICMLなど主要NLP会議の 16,068本のLLM論文 を対象に実験を実施。
  • サンプラーは、 既存LLMベースラインよりも多様性に富む研究ポートフォリオ を生成。
    • バッチプロンプト型のLLM出力を含む全ベースラインより高い多様性。
  • 1アイデアあたりの質も ブラインド評価で同等以上 を達成。
  • 時系列検証では、 2025年以前のデータのみ でモデルを構築。
    • 候補空間の1%未満を選択するだけで、 2025年の新規組み合わせをランダムの35.9倍 の確率で回収。
    • アベイラビリティを重視することで、 完全新規組み合わせの回収率も3.24倍 に向上。

結論と意義

  • 科学的妥当性 と コミュニティの可用性 を分離することで、人間科学者が見落としがちな 新規かつ整合的な研究方向 の探索が可能。
  • AIによるアイデア創出が、 人間科学の限界を補完 し、未踏領域の探究を促進する枠組みの提案。

提供: ハクソク · 要約更新:

AIによる日本語要約です。内容は原文とあわせてご確認ください。

Hacker Newsの議論を読む

Hackerたちの意見

共同著者です。私のポスドクからの初めての論文がNeurIPSのメインカンファレンスに受理されました。科学的に意味のある多様なアイデアを機械学習でサンプリングする方法を構築しましたが、既存の研究コミュニティでは提案できないアイデアです。要するに、仕組みはこんな感じです:1. 16,068本のLLM論文(NeurIPS、ICLR、ICML、ACL、EMNLP、2017年から2025年)を273の「アイデア原子」に分解します。各論文と候補となるアイデアは、原子のセットになります。2. コヒーレンスモデルをトレーニングします:42.8Mパラメータのトランスフォーマーを原子のシーケンスとして論文に基づいて訓練します。基本的にはアイデアをトークンとする言語モデルです。3. 認知可能性モデルをトレーニングします:39,791人の研究者の出版履歴に基づいて訓練されたデュアルエンコーダーで、各人が次にどこに行くかを予測します。4. それらのモデルを使って、相互ランク融合を用いてサンプルされたタプルにスコアを付けます(うまく組み合わさるアイデアが欲しいけど、誰にも認知されていないもの)。いろんな方法でテストしましたが、面白いのは2024年末の論文を全部取って、2025年の論文にどの高スコアのタプルが現れたかをチェックしたことです。うまくいきました。例えば、ICLR 2025の口頭発表は、コヒーレンスだけでランク1,489から1.14Mサンプルのトップ25に上がりました。面白いことに、ClaudeにML研究アイデアを考えてもらうと、たいてい解釈可能性に関するものになります。それをA100で自動研究パイプラインにかけると、結果は8回中8回解釈可能性になります。私たちのエイリアンサンプリング法では、Claudeに考えさせても0の解釈可能性アイデアでした。CS/AIの大学院卒の50人に研究報告を評価してもらったところ、Alienの報告が平均的に最高の質のランクを持ち、トップ5の報告のうち3つを生み出しました。ああ、それから、数百万本の論文と1,000万以上の概念要素にスケールアップして、ここで検索できる25,000の新しい研究提案を生成しました:https://lacuna.tiptreesystems.com/explore?view=hypotheses コード(MIT):https://github.com/alejandrohdez00/alien-space-of-science

└

ありがとう、素晴らしいアイデアで、実行も素晴らしいですね!でも、なぜ「医学」と入力すると提案が6件しか出ないのに、「物理学」と入力すると447件も出るのか気になります。

└

すごいですね。提案を見て回るのが面白いです。論文のタイトルもいいですね。

└

おめでとうございます、これは本当にクールなアプローチと結果ですね。私は研究チームを率いていて、特に人間とエージェント研究者の間の協力を改善するためのツールに非常に興味があります。このアプローチが異なる分野の研究にスケールする証拠はありますか?

└

ヴェルクロはこの典型的な例だと思います。https://blog.karliner.net/posts/chatgpt-and-the-velcro-test/

└

じゃあ、その方法で生まれた面白いアイデアを共有してくれる?

└

あなたが作ったラキュナツールのスケールには本当に感動したけど、私の博士研究の分野であるステガノグラフィーや隠れたコミュニケーションといったニッチなトピックを掘り下げていくうちに、期待が少し和らいだ。研究文献にはノイズが多いんだよね。実際にはあまり貢献しない論文がたくさん発表されていて、でもその存在が「この概念は重要だから研究する必要がある」って信号を送ることが多い。特定のトピックに関する論文がたくさん集まっているけど、どれもあまり進展がない場合、それは新しいアプローチが必要だっていうサインなんだと思う。どんどん小さな改善の論文を書いても、結局はローカルミニマムに深くはまってしまうだけなんだよね。

└

「アイデアアトム」 この用語に眉をひそめる前に、論文の最初の図までたどり着いたよ。それから「Already Clean」を思い出した:https://already-clean.goodfire.com プラトンの形相を考えずにはいられないな。

└

クロードの研究でそれをやったことがある。二十以上のプラットフォームからたくさんの研究を集めて、私の仮説がどこかで既に考慮されているかをクロスチェックしたんだ。そしたら、私の仮説のいろんな部分がどの分野で既に研究されているか、または活発に研究されているかを示す巨大なデータセットができた。理論的に、または実践的にどれだけ証明されているかもわかったんだ。私が作った特定のつながりはユニークで、基礎理論は存在していて、多くはピアレビューされて実用化されていた。いくつかの応用やピアレビュー、数千の研究が挑戦されたかどうかは確認しなかったけど、人々はその科学を応用していて、もっと必要とされているし、様々な分野の専門家が必要なんだ。25,000の新しい研究提案をざっとチェックしたら、確かに私の仮説や基礎理論に触れているものがいくつかあったけど、直接のつながりはなかった。正直、学界に対する批判でよく見られるように、あなたのアプローチはとても技術的で、人々や彼らの生活、相互作用、テクノロジーから「疎外」されているように感じる。だから、あなたの目的は探しているものから「疎外」されているように思える。もしクレードや他のLLMがアイデアや推論の思考の珍しい現れを見つけたときに驚くことが価値があるなら、それはトレーニングセットの人間性や個々の思考が欠けていることへの感謝だと思う。私が決してたどり着けないであろうアイデアの一つは「心理社会的逆パレイドリアの言語的概念化」や「人間が意味のあるつながりを認識しないように教えられた時、理由、方法」だ。ジョナサン・ノーランとリサ・ジョイが作ったテレビ番組『ウェストワールド』の物語にとって非常に重要な「私には何にも見えない」という相当するものだ。科学哲学や個人的な物語、視点こそが科学的な新しさが存在する場所だから、LLMにもっと人々から引き出させるのは、実は悪くないアイデアかもしれないね。

└

いい内容だね。二つ質問があるんだけど: - 語彙の漂流に関する問題はある?2017年のLLM分野はそんなに変わってないと思うけど、2017年の原子の中で2026年にとって無関係なものや、最近の原子と組み合わせるのが不可能なものはないのかな? - このプロジェクトのコストはどんな感じ?(研究の反復を無視して、最終製品に関するコストだけで。)

これ、アボットの短編小説『フラットランド』を思い出します。住人たちは2次元の世界に住んでいて、3次元の環境には気づいていないんですよね。

└

一方で、あるレムの短編小説を思い出すな。『完全な真空』に収められてるやつで、天才たちの発見が主流からあまりにも離れすぎてて、役に立たないし追う価値もないって話。

Hacker Newsで議論の続きを見る

同じ出典の記事