研究のアイデアが新しいかAIに判定させると指示次第で正答率が半減と判明

米アレン人工知能研究所（Ai2）は2026年10月27日、学習して、人間のように文章を理解・生成できるAI。ChatGPTやGeminiの中身。">大規模言語モデルが科学研究アイデアの新規性をどの程度正確に判定できるかを検証した研究「Old Ideas, Novel Problems」を発表し、評価ベンチマークとデータを公開した。AI自身が提案した研究アイデアを別のAIに新規性判定（Novelty judge）させる手法への依存が高まるなか、指示文のわずかな変化で正答率が50パーセントポイント以上変動するなど、判定の信頼性に大きな課題があることが明らかになった。

科学的発見をAIで自動化する取り組みが進むなか、既存研究の焼き直しではない真に新しいアイデアを選び出す能力が不可欠となっている。研究チームは機械学習の国際会議ICLR 2026の査読テキストから独創性に関する記述を抽出し、査読者が新規性を認めた上位10%の採択論文154件と、新規性に懸念が示された下位10%の不採択論文145件を抽出した。さらに、この人間による154件のアイデアに対し、基礎的な生成モデルが作成した154件のアイデアを組み合わせた評価セットも構築した。

「GPT-5.1」「GPT-5.2」「GPT-5.4」および「Claude Sonnet 4.5」「Claude Opus 4.5」「Claude Opus 4.6」の計6モデルで新規性を比較させたところ、指示文（プロンプト）のわずかな違いで判定結果が大きく揺らいだ。たとえばGPT-5.4に人間とAIのアイデアを提示する際、「一方のみが新規である」と前置きして選ばせる指示から単に「どちらが新規か」と尋ねる指示に変更しただけで、正答率は93.5%から偶然率を下回る40.9%へと急落し、半数以上のペアで判定が覆った。人間の論文同士を比較した際にも、Claude Opus 4.6で正答率が21ポイント変動した。

外部文献の検索機能や推論にかける計算量を増やしても、判定精度が向上するとは限らないことも判明した。arXivのリアルタイム検索を備えた高推論の「GPT-5.6 Sol」による判定精度（macro-F1）は0.78にとどまり、判定コストが約10分の1である「Claude Opus 4.6」（同0.89）を下回った。また、文献検索を備えた新規性判定専用システム「Idea Novelty Checker」（スコア0.642、費用30.66ドル）や、Sakana AIの「The AI Scientist」（同0.772、費用82.05ドル）も、3回の多数決を用いた単純なClaude Opus 4.6（同0.854、費用2.59ドル）に比べて精度が低く、費用が高額となった。

研究チームは、人間が執筆した論文では安定して見える判定モデルであっても、AIが生成したアイデアに対しては極めて脆弱に振る舞うと指摘している。AIを活用した科学研究の創出を実用化するには、指示文への敏感さを低減し、文献の参照手法を改良するなど、より堅牢な評価の枠組みを構築する必要があるとしている。