人工智能同行评审：GPT-4 在科学反馈方面可与人类专家媲美
2024年9月16日（更新于2024年10月8日）
本文题为"Can Large Language Models Provide Useful Feedback on Research Papers? A Large-Scale Empirical Analysis"（大语言模型能否为研究论文提供有用的反馈？一项大规模实证分析），由来自不同学术背景和机构的研究团队合作完成。该研究于2024年7月17日发表于 *NEJM AI* 第1卷第8期。文章探讨了大语言模型（LLMs）为研究论文提供有用反馈的潜力，并通过大规模实证分析回答这一问题。这项开创性研究考察了大语言模型（特别是 GPT-4）为研究论文提供有用反馈的潜力。研究者利用 GPT-4 开发了一个自动化流程，为科学论文生成结构化反馈，并开展了两项大规模研究以评估其有效性。
主要发现
回顾性分析：
将 GPT-4 的反馈与人类同行评审者对 *Nature* 系列期刊3,096篇论文和 ICLR 会议1,709篇论文的反馈进行比较。
GPT-4 与人类评审者反馈之间的重合度（*Nature* 系列期刊为30.85%，ICLR 为39.23%）与两位人类评审者之间的重合度（*Nature* 系列期刊为28.58%，ICLR 为35.25%）相当。
对于较弱的论文（例如被 ICLR 拒稿的论文），GPT-4 的反馈与人类评审者的重合度更高。
前瞻性用户研究：
调查了来自美国110家机构、从事人工智能和计算生物学研究的308名研究者。
57.4%的用户认为 GPT-4 生成的反馈有帮助或非常有帮助。
82.4%的用户认为其比至少部分人类评审者的反馈更有益。
GPT-4 反馈的特点：
GPT-4 更有可能指出多位人类评审者共同提出的问题。
与人类相比，该模型更倾向于关注反馈的某些方面（例如研究意义）。
GPT-4 生成的是非泛泛而谈、针对具体论文的反馈。
局限性：
GPT-4 有时难以对方法设计提出深入的批评。
该模型更倾向于关注科学反馈的某些方面而忽略其他方面。
启示： 研究表明，虽然人类专家评审仍应是科学过程的基础，但大语言模型生成的反馈可以使研究者受益，尤其是在无法及时获得专家反馈或处于稿件准备早期阶段时。研究结果表明，大语言模型与人类的反馈可以相互补充，有望提升科学评审与反馈的整体质量。
留言