科研中的人工智能：究竟是谁在回答你的问卷？
Image: "Questionnaire 0001" by roger_mommaerts (CC BY-SA 2.0) via Wikimedia Commons, recoloured.
欢迎阅读本周的人工智能重塑科研动态速览，内容精选自 Nature、Science、PNAS 以及顶级商业期刊。
是人还是机器？两项 PNAS 研究检验你的数据
对于所有在线收集数据的研究者而言，这是本周最值得一读的研究。Grace Zhang、Oleg Urminsky、Kianté Fernandez 及其合作者在 PNAS 上报告，他们首先验证了一组人工智能检测测试，能够可靠地将经过核实的人类参与者与经提示的商用人工智能代理及专门构建的代理区分开来。随后，他们在七个在线平台上发放了问卷。未通过人工智能测试的受访者比例因平台而异，介于 6% 至 41% 之间，而线下人类参与者的假阳性率仅为 2.4%。关键在于，他们还表明，未被检测到的人工智能代理可能改变在线问卷的结果。人们担心代理冒充问卷受访者，这种担忧确有依据，但分布并不均衡：作者指出，部分平台目前提供的数据中人工智能代理的比例似乎较低。
问题的另一面同样值得关注：研究者有意使用大语言模型来*模拟*人类。Nicolò Pagan、Petter Törnberg、Christopher Bail 和 Christopher Barrie 同样在 PNAS 上提出了对话式人类真实性测试（Conversational Human Authenticity Test, CHAT），这一验证框架综合了可检测性、语义相似度和可解释的语言特征。他们以来自 X、Bluesky 和 Reddit 的真实帖子为基准，在五种校准策略（包括微调、风格化提示和上下文检索）下对九个开放权重模型进行了评测，发现模型输出即使经过校准，仍可与人类文本明显区分，在情感基调和情绪表达方面尤为突出。经过指令微调的模型总体表现逊于基础模型，更大的模型并未带来明显改善，而且存在一种权衡：让文本*看起来*更像人类所写，往往使其离人类实际表达的内容更远。
为何重要： 这两篇论文共同标志着从担忧走向测量的转变。如果你开展在线问卷调查，平台选择和内置的人工智能检查如今已是研究方法的一部分，值得在论文中报告。如果你将大语言模型用作合成受访者或社会模拟中的代理，“看起来合理”已不再是站得住脚的验证标准；像 CHAT 这样的框架为审稿人和你自己提供了可供检验的具体依据。共同的启示是：人类数据与机器数据之间的界限，如今是每项研究都必须回答的实证问题，而非可以预设的前提。
本周更多内容
近 30% 的美国 STEM 博士论文现已包含人工智能撰写的文本
Nature 报道的一篇 NBER 工作论文（尚未经过同行评审）使用 Pangram 人工智能检测器，分析了 2019 年至 2026 年 5 月间超过 226,000 篇美国 STEM 博士论文的摘要。人工智能生成的文本于 2023 年首次出现，占比 1.7%，2025 年升至 18.8%，2026 年初达到 29.4%，其中数学与计算机科学领域比例最高（36%）。通过将毕业生与其 LinkedIn 档案相关联，作者发现，摘要由人工智能生成的毕业生在学术界就业的可能性低 17%，在业界就业的可能性高 16%。这些数据属于相关性证据，但对博士培养与指导提出了尖锐的问题。
ChatGPT 冲击了 Google 翻译未曾波及的创意工作
Yilmaz、Naumovska 和 Aggarwal 利用一个大型在线劳动力市场中的两个自然实验，比较了 Google 神经机器翻译与 ChatGPT 的影响。Google 的特定任务人工智能减少了对常规翻译的需求，但对“创译”（即富有创意、经过文化适配的工作）没有可检测到的影响。ChatGPT 则在两类任务上都带来了幅度大得多且更为一致的需求下降。对所有研究自动化理论的学者而言，启示在于：在预测型人工智能下哪些人类工作是“安全”的，这一结论并不能直接套用到生成式人工智能上。
生成式人工智能会让所有内容趋同吗？竞争给出了否定答案
实验室和实地证据表明，生成式人工智能会降低人们产出内容的多样性。Manish Raghavan 指出，生产者在争夺客户和注意力，并从形式上证明，竞争会选择多样化的人工智能模型，从而缓解同质化。一个在孤立基准测试中名列前茅的模型，在竞争性市场中可能贡献甚微，这意味着应当依据模型输出分布的广度来评估模型。基于文本和图像模型的实验为这一理论提供了支持。
用 BERT 在海量文本中测量构念的规范方法
Tudoran、Richter、Higuera Reina 和 Verma 为组织研究者提出了一个两阶段框架：先通过质性解读和结构主题模型（Structural Topic Modeling）开发编码方案，再微调 BERT，将这些方案应用于每一份文档。他们阐述了两条路径，即构念引导型和模式发现型，二者最终都得到经过验证、可审计的逐文档测量指标，并以超过 20,000 条员工评论为例说明了这一方法。对于任何希望将大型文本语料转化为可用于理论检验的变量的研究者，这都是一个实用的模板。
本周内容到此结束。欢迎转发给即将启动在线问卷调查的同事，并前往 gaiforresearch.com 探索适用于你自己研究的人工智能工具。
留言