在同行评审中使用大语言模型是否可行？

2024年4月14日（更新于2024年5月8日）

一项针对评审报告的研究发现了数十个形容词，可能表明文本是在聊天机器人的帮助下撰写的。

由斯坦福大学 Weixin Liang 领导的一项研究［预印本，尚未经过同行评审］表明，计算机科学会议高达17%的同行评审报告可能经过 ChatGPT 等人工智能聊天机器人的实质性修改。该研究识别出若干在人工智能撰写的文本中出现频率更高的形容词，例如 "commendable"（值得称赞的）、"innovative"（创新的）和 "meticulous"（细致的）。分析发现，自 ChatGPT 发布以来，这些形容词在同行评审中的使用显著增加。该研究还考察了 *Nature Portfolio* 期刊的同行评审，但未发现这些形容词的使用出现类似激增。作者认为，透明度对于理解人工智能工具在同行评审中的使用方式十分重要。另外，Andrew Gray 的一项独立研究估计，2023年发表的论文中至少有60,000篇可能在一定程度上使用了聊天机器人。然而，由于缺乏透明度，人工智能参与的程度难以确定。