厳密な評価なしに査読の自動化を止めるべき
Stop Automating Peer Review Without Rigorous Evaluation
記事のポイント
📰ニュース
大規模言語モデル（LLM）による査読自動化の危険性を指摘する論文が発表されました。
🔍注目ポイント
AI査読者は「集団思考」による意見の偏りや、論文の書き換えで評価が容易に操作される脆弱性があることを実証しました。
🔮これからどうなる
AIによる査読の導入を検討している学術界や出版社は、その信頼性と公平性について再考を迫られるでしょう。
本論文は、ICLR 2026の査読を人間とAIで比較し、AI査読者が過度な意見の一致を示すこと、またLLMで論文を書き換えるだけでAI査読者のスコアが大幅に向上する「論文ロンダリング」が可能であることを明らかにしました。
これは、科学的成果ではなく文体変更で評価が左右されることを意味します。
査読の危機を解決するには、汎用LLMを安易に導入するのではなく、査読自動化の科学的アプローチが必要だと主張しています。
これは、科学的成果ではなく文体変更で評価が左右されることを意味します。
査読の危機を解決するには、汎用LLMを安易に導入するのではなく、査読自動化の科学的アプローチが必要だと主張しています。
AIによる査読は効率化の魅力がありますが、公平性や信頼性の問題が浮き彫りになりましたね。学術界の未来を左右する重要な指摘だと思います。