在线调查中的 AI 智能体：你的受访者还是人吗？

AI Agents in Online Surveys

作者：Yuan Ren · 6月7日

在线调查中的 AI 智能体

如果你如今运行在线调查，你的受访者很可能来自某个在线招募平台。这些平台如今支撑着相当大份额的行为研究，塑造着心理学、公共卫生、经济学和政治学的学术工作。它们也支持着产品设计与公共传播中影响重大的商业决策。

但大语言模型（LLM）的兴起，让一个由来已久的担忧变得空前紧迫：回答这些调查的人，真的是他们看起来的那个人吗？研究者现在担心两个相互关联的问题。一个是注意力不集中或不诚实的人使用 LLM 辅助作答（Rilla 等，2025）。另一个是自动化智能体大规模生成合成回答。Westwood（2025）近期的一项研究把第二种可能性推到了聚光灯下：一个由 LLM 驱动的合成受访者可以维持连贯的人设、产出内部一致的反应模式，并躲过大量标准质量控制。这一发现加剧了关于"标准调查质量控制是否仍能可靠地区分人类受访者与高级自动化"的争论（Westwood，2025）。

能力不等于普遍存在

Andrew Gordon 及其同事（2026）把论文的核心区分讲得非常清楚：证明一个 AI 智能体能够完成一次调查，与证明智能体已经在研究者实际使用的样本库生态中规模化运作，是两回事。用他们的术语说，区别在于"简单智能体调查完成"（Simple Agentic Survey Completion）与"嵌入生态的自主智能体调查完成"（Ecosystem-Embedded Autonomous Agentic Survey Completion）。前者指一个智能体能通过一次调查；后者指它能反复访问真实的调查平台、维持连贯的身份，并在基础设施中长期存续。对在线研究而言，真正要紧的是第二种情形，而它也难以证明。这正是该研究聚焦于两个实际问题的原因：AI 智能体在各类在线样本平台上的普遍程度如何？人类数据质量在不同市场板块之间的差异有多大？

要在真实的样本库基础设施中长期存在，一个智能体需要的不只是好的语言输出。它需要能接触到调查、有规模化运作的激励、能协调大量尝试，并能长期维持一个连贯的身份。直接第一方样本库通常通过持续画像、身份验证和纵向行为监测来防御智能体，这让智能体想长期潜伏远难得逞于通过一次调查。市场型聚合平台则形成另一种壁垒，因为其供给来源是去中心化的。加上相对有限的调查报酬（Hornuf 和 Vrankar，2022），这些结构性特征可能限制了大规模部署智能体的经济激励。

该研究还把自主智能体与"LLM 辅助的人类作答"区分开来（Rilla 等，2025）。这个区分很重要。一个人用 ChatGPT 帮忙回答开放题，可能造成测量问题，但这与一个自主智能体大规模完成整份调查不是一回事。此前的研究（如 Chen 等，2026）曾用打字节奏或反向暗语（reverse shibboleths）等行为标记来估计智能体的普遍程度。问题在于，这些标记同样会捕捉到 LLM 辅助的人类，而不仅仅是真正的自主智能体。

*（图注：在线调查数据质量）*

研究如何检验 AI 智能体的普遍性

那么，研究者是如何检验这种威胁是否真的出现在真实样本中的？他们从三大市场板块的 10 个平台招募了 5,200 名受访者：直接第一方样本库（包括 Prolific、CloudResearch Connect、Verasight 和 Amazon Mechanical Turk）、混合管理网络（包括 Prodege 和 Dynata），以及市场平台（包括 Qualtrics Panels、Prime Panels、PureSpectrum 和 Cint）。在正式研究之前，团队先在试点研究中验证了检测方法：他们用 ChatGPT、Claude、Gemini、Perplexity 以及定制智能体流水线的 125 份提交，测试了一种自动化环境检测方法。主要检测方法使用 Prolific Authenticity Checker，通过 JavaScript 埋点监控自动化脚本、模拟器和 AI 驱动浏览器工具的特征签名，并用动态行为分析区分真实的人类参与和程序化模拟事件。在试点测试中，该方法实现了完美区分，AUC = 1.000：识别出全部 125 份智能体提交，并在 124 名人类受访者中零误报。

研究者还使用了包含六项行为指标的次要检测组合：鼠标移动次数（少于 189 次即被标记）、reCAPTCHA v3 分数（低于 0.7 即标记）、来自 Research Defender 的欺诈风险分类，以及三个专门利用 LLM 推理缺陷设计的认知陷阱题（Affonso，2026）。

结果究竟显示了什么

头条结果出人意料地克制：在 MTurk 之外，疑似 AI 智能体的检出非常罕见。在 5,200 名受访者的全样本中，主要检测标记仅将 2.37%（123 人）识别为潜在智能体，而且这些检出几乎全部集中在 Amazon MTurk。

MTurk 是例外。即便设置了高批准率门槛，其过滤样本的主要检出率仍达 11.2%；未过滤样本更是达到 16%。相比之下，其他所有平台的主要检出率都低于 2%，多数低于 1%。CloudResearch Connect 和 Prolific 的过滤样本分别只有 0% 和 0.2%。剔除 MTurk 后，直接平台（0.45%）、混合平台（0.38%）与市场平台（0.12%）之间的检出率并无显著差异。这些发现没有为"所考察的抽样环境中存在有意义的 AI 智能体渗透"提供有力证据，反而与"平台层面的结构性壁垒可能限制大规模部署"的想法一致。

但最有意思的不只是有多少回答被标记，而是这些被标记的回答长什么样。为了弄清这一点，研究者部署了"真实智能体"（veridical agents），即 ChatGPT、Perplexity 等真实的 LLM 智能体作为基准。真正的 LLM 智能体在几乎每一项指标上都达到或超过人类水平，包括理解力、诚实度、投入度与开放式回答质量。而实际样本中被标记的受访者则截然不同：他们的表现显著差于人类和真实智能体，尤其在开放式写作质量（d = -1.32）、被试内一致性（d = -1.06）和被试间一致性（d = -1.58）上。

这个画像很说明问题。糟糕的表现、极快的完成时间、低质量的开放式回答，很难与现代 LLM 的行为方式相容。它们看起来更像是传统的脚本机器人（Varol 等，2017）。因此，MTurk 上偏高的检出率很可能反映的是一个有据可查、早已存在的机器人问题的再度浮现（Chmielewski 和 Kucker，2020；Kennedy 等，2020），而非一场新型的 LLM 智能体入侵。数据表明：高级 LLM 智能体在技术上确实能够完成调查，但在所研究的平台上并不普遍。

人类受访者与 AI 智能体

如果 AI 智能体不是这项研究中的主要问题，那什么才是？

答案远没有那么未来感：人类受访者的数据质量。研究者从七个行为维度评估了人类数据质量：注意力（通过四个嵌入式检查测量）；诚实度（通过虚构品牌任务测量）；理解力（通过指导语回忆测量）；投入度（通过窗口活跃焦点测量）；被试内一致性；被试间一致性（通过 Pictionary 评分任务测量）；以及开放式写作质量。

这个格局很难忽视。直接样本库表现最好，平均质量分为 0.84；混合平台次之，为 0.72；市场平台更低，为 0.68。这一层级在理解力、注意力和开放式写作质量上尤为清晰。得分最高的四个平台都是直接样本库：过滤与非过滤的 Connect 和 Prolific。相比之下，MTurk 样本低于所有市场平台。

作者的解读是，这不只是某一个供应商好坏的问题，而是反映了招募市场本身的结构。直接样本库维护专有的受访者池、持续的身份验证和纵向行为监测，受访者也有动机在同一个受管理的生态中维护高质量的参与记录。

元数据支持这一解释。直接样本库受访者在过去 24 小时内完成调查次数的中位数仅为 1 次；混合平台为 12 次；市场平台为 13 次。直白地说，一些平台似乎依赖的是在短时间内做大量调查的受访者。这种高强度的调查活动，并不是认真、深思熟虑作答的理想条件。

设备类型也有影响。直接样本库中 75.3% 的受访者使用台式机，而市场平台只有 29.1%。在需要持续认知投入的任务上（如理解力、注意力、写作），桌面用户始终优于移动端用户。这并不意味着移动端受访者天生就是差受访者，而是说明平台的构成（包括受访者使用的设备）会塑造研究者得到的数据质量。

*（图注：在线样本平台与受访者质量）*

该研究还考察了人类受访者中的 LLM 辅助行为。通过分析开放式回答中的语言标记，研究者发现人类使用 LLM 的比例在直接样本库中略高（2.2%），高于混合平台（1.0%）和市场平台（1.1%）。这一模式主要由 Connect（4.1%）和 Prolific（3.0%）的未过滤样本驱动。在没有屏蔽复制粘贴等缓解措施的情况下，这些比例与既往研究一致（Veselovsky 等，2025；Westwood 和 Frederick，2026）。作弊行为（以回答通识题时切换标签页来测量）在所有平台上都很低，约为 4% 至 5%。

成本结果让平台质量问题更加难以忽视。研究使用"每有效回答成本"（CPQR）指标，来展示一条可用的、高质量回答的真实成本。PureSpectrum 初看很便宜，原始成本为每位受访者 1.73 美元。但一旦作者设置 90% 的质量门槛，其 CPQR 高达 24.47 美元，因为只有 7.1% 的受访者达到标准。CloudResearch Connect 和 Prolific 这类直接样本库尽管名义成本更高，在高质量阈值下却更具成本效率：在 90% 阈值下，直接平台的平均 CPQR 为 8.26 美元，而市场平台为 74.43 美元。换言之，只看标价选平台，可能严重低估获得有效数据的真实成本。

对在线调查研究的启示

更大的问题其实更平常，也更可操作：人类数据质量因平台类型而差异悬殊。结论很简单：在只担心受访者是不是 AI 之前，先认真看看你的人类受访者来自哪里。

References

Affonso, F. M. (2026). Brief Commentary: A Framework for Detecting AI Agents in Online Research. *The Journal of Consumer Research*. https://doi.org/10.1093/jcr/ucag006

Chen, S., Urminsky, O., Zhang, G., Walatka, R., Fernandez, K., Low, A., Bogard, J., & Fox, C. R. (2026). Estimating the threat of AI-agent responding across online survey platforms. PsyArXiv. https://doi.org/10.31234/osf.io/xcg26_v1

Chmielewski, M., & Kucker, S. C. (2020). An MTurk Crisis? Shifts in Data Quality and the Impact on Study Results. *Social Psychological & Personality Science*, 11(4), 464–473. https://doi.org/10.1177/1948550619875149

Gordon, A., Rothschild, D., Affonso, F. M., Sulik, J., Hauser, D., Pepin, K., & Jones, S. (2026). AI agent prevalence and data quality across multiple online sample providers. PsyArXiv. https://doi.org/10.31234/osf.io/pvdjr_v2

Hornuf, L., & Vrankar, D. (2022). Hourly Wages in Crowdworking: A Meta-Analysis. *Business & Information Systems Engineering*, 64(5), 553–573. https://doi.org/10.1007/s12599-022-00769-5

Kennedy, R., Clifford, S., Burleigh, T., Waggoner, P. D., Jewell, R., & Winter, N. J. G. (2020). The shape of and solutions to the MTurk quality crisis. *Political Science Research and Methods*, 8(4), 614–629. https://doi.org/10.1017/psrm.2020.6

Rilla, R., Werner, T., Yakura, H., Rahwan, I., & Nussberger, A.-M. (2025). Recognising, Anticipating, and Mitigating LLM Pollution of Online Behavioural Research. *arXiv.Org*.

Varol, O., Ferrara, E., Davis, C. A., Menczer, F., & Flammini, A. (2017). Online Human-Bot Interactions: Detection, Estimation, and Characterization. *arXiv.Org*.

Veselovsky, V., Manoel Horta Ribeiro, Cozzolino, P., Gordon, A., Rothschild, D., & West, R. (2023). Prevalence and prevention of large language model use in crowd work. *arXiv.Org*.

Westwood, S. J. (2025). The potential existential threat of large language models to online survey research. *Proceedings of the National Academy of Sciences*, 122(47), e2518075122. https://doi.org/10.1073/pnas.2518075122

Westwood, S. J., & Frederick, S. (2026). Reply to Van der Stigchel et al.: Empirical evidence that AI survey contamination is real and substantial. *Proceedings of the National Academy of Sciences*, 123(8), e2537420123. https://doi.org/10.1073/pnas.2537420123