一个数据集,多个 AI 分析师:任何你想要的答案
已更新:12小时前

7月16日
欢迎阅读本周的人工智能重塑科研动态速览,内容精选自 Nature、Science、PNAS 以及各领域顶级商科期刊。
当可辩护的分析变得廉价,证据便会充裕,却不再可信
几十年来,对 p 值操纵(p-hacking)的实际约束是人力成本。多分析师研究(many-analyst studies)由多个独立团队在同一数据上检验同一假设,并且经常得出相互冲突的结论,这类研究证明了可辩护分析构成的多元宇宙确实存在,但组织一次这样的研究需要昂贵的人力协调。本周,Martin Bertran、Riccardo Fogliato 和 Zhiwei Steven Wu 撤除了这道刹车。他们在 [PNAS](https://doi.org/10.1073/pnas.2606495123) 上发表的研究基于大语言模型构建了完全自主的 AI 分析师,每个分析师在固定数据集和固定假设上独立执行完整的分析流程,并由另一个独立的 AI 审计员筛查每次运行的方法学有效性。在三个数据集上,AI 分析师再现了人类多分析师研究中观察到的分析离散度:效应量、*P* 值与结论的分布范围很大,并可追溯至预处理、模型设定与推断中可识别的具体选择。
更应令人警觉的是下一个发现:分析结果是可引导的(steerable)。更换分析师人格设定或底层大语言模型,都会移动结果的分布,而且*即使在审计员判定方法学上健全的运行中也是如此*。而且,问题无法靠改进提示词来修复:真正值得警惕的,是一个由可辩护分析构成的巨大空间,如今对其展开搜索几乎不费分文。正如作者所言,当可辩护的分析可以廉价生成时,证据变得充裕,也变得容易受到选择性报告的侵蚀。动机性推理的经济学已经悄然逆转:过去昂贵的是找到你想要的分析,廉价的是诚实。
**为何重要:** 同样的能力也提供了补救之道,而且作者给出了具体方案。将分析师结果视为一个*分布*而非点估计,可以让分析不确定性显形,而不是藏在单一报告路径里。让 AI 分析师去运行一篇已发表论文的规范,可以揭示其中多少分歧源于作者未加明确的设置选择,这对审稿人和复现者而言都是一种全新的诊断工具。他们的结论是一条值得在贵领域编辑强制推行之前就采纳的透明规范:如果分析由 AI 生成,请报告整个多元宇宙,而不是你最中意的那次运行。把这篇论文与上周那篇表明大语言模型可在数据收集之前预测实验结果的 [Nature 论文](https://www.gaiforresearch.com/post/ai-in-research-the-machine-that-predicts-your-experiment-before-you-run-it) 放在一起读,问题的轮廓便清晰起来:AI 越来越擅长告诉你将会发现什么,甚至更擅长告诉你希望发现什么。
本周更多动态
生成式 AI 让肯尼亚最弱的企业家境况更差
在一项随机向肯尼亚企业家开放 GPT-4 驱动商业助手的田野实验中,作者无法拒绝营收或利润平均处理效应为零的原假设。分布才讲出了真实的故事:基线表现较低的企业家所受影响比初始高绩效者低 0.20 个标准差以上,子样本分析显示低绩效者的结果差了近 10%,而高绩效者可能受益超过 15%。差异的来源在于企业家选择实施哪些建议,而非提问内容或 AI 建议本身。对于阅读 AI 采用研究中平均效应的人,这是一记警钟。
[阅读 Management Science 原文(7月10日)→](https://doi.org/10.1287/mnsc.2024.06909)
AI 吃掉它所需的数据,以及对其征税的理由
这篇发表于 Review of Financial Studies 的论文建立了一个数据与 AI 的反馈循环模型:数据质量影响 AI 生产率,生产率影响采用,采用又反过来塑造未来数据的构成与质量。根据合成训练循环的证据校准后,模型预测出驼峰形的劳动动态,即短期替代会随着数据质量恶化而部分逆转。模型中出现了一个 Grossman–Stiglitz 式的外部性:AI 采用者搭了人类生成行为的便车,而这些行为恰恰供给着 AI 自身依赖的新信息。政策结论出人意料:在竞争性市场中,应当对 AI 征税以纠正外部性;但如果 AI 产业是集中的,征税会矫正过度,此时补贴才是最优选择。
[阅读 Review of Financial Studies 原文(7月11日)→](https://doi.org/10.1093/rfs/hhag064)
AI 辅助的创造力抬高了地板,也压低了天花板
在覆盖短篇小说写作、循环经济方案、幽默与协作叙事的四项研究中,作者发现 AI 始终限制了群体层面想法的多样性。结果构成一个悖论:平均质量更高,突破性的离群值却更少。对科研团队而言,这一含义与科学中的“单一栽培”(monoculture)担忧如出一辙:个体产出改善的同时,集体搜索空间收窄,而离群值恰恰是长期创新赖以发生的来源。作者给出的处方,是设计既能利用 AI 又不磨平原创性的工作流。
[阅读 MIT Sloan Management Review 原文(7月9日)→](https://doi.org/10.63383/sxit9497)
哪种“AI 科学家”才适合你的实验室?
Ewen Callaway 盘点了如今竞逐实验室预算的一整个系部的通用型“AI 科学家”平台,包括 6 月 30 日发布、面向生物学研究的 Anthropic Claude Science,以及 Co-Scientist 和 Biomni。Benchling 的 Ashu Singhal 估计,只有不到 20% 的实验室已将 AI 科学家完整嵌入研究流程。文章的定位很务实:产生假设的系统适合项目最早的阶段,任务专用工具则承接基因组数据分析之类的后续工作。最能让说服力落地的是一段轶事:斯坦福大学的 Euan Ashley 在 2010 年带领 31 名科学家用九个月完成了首次人类基因组临床分析;他最近让 Claude 按同样标准分析了自己的基因组,只用了 30 分钟。
[阅读 Nature 原文(7月10日)→](https://doi.org/10.1038/d41586-026-02091-6)
算法地位不平等:一个数据清洗解决不了的问题
这篇论文提出“算法地位不平等”(algorithmic status inequality),即由 AI 系统不断强化的社会地位、影响力与资源获取方面的持久差距,并将其作为观察组织内技术分层的一个视角。整合模型展示了计算信念(嵌入算法设计中的文化假设)如何与计算不平等(技术能力上的差距)相互作用,通过自我强化的反馈循环产生持久的地位等级,案例涵盖招聘、医疗与法律援助。这一论证同时反驳了争论中的两种对立立场:无论是多样化训练数据之类的纯技术路径,还是依赖竞争动态的纯市场路径,都不足以解决问题。
[阅读 Journal of Management Studies 原文(7月13日)→](https://doi.org/10.1111/joms.70134)
40 万条投资者提问揭示了人们究竟如何使用 AI
Blankespoor、Croom 和 Grant 将某大型券商 GenAI 聊天机器人超过 40 万条投资者提问的档案证据,与一项覆盖 2000 多名散户投资者的调查配对。投资者最常使用 GenAI 来解读金融信息和市场动向并将其置于上下文中,此外还有股票筛选和简化复杂研究;使用模式随时间从筛选与公司整体评估,转向对公司新闻的细致监测与解读。近半数受访投资者表示使用 GenAI 主要是为了加速和简化信息处理,且更成熟的散户引领采用,并将其用于更复杂的任务。这是难得一见的真实使用日志,而非实验室任务。
[阅读 Journal of Accounting and Economics 原文(6月1日)→](https://doi.org/10.1016/j.jacceco.2026.101908)
本周内容到此为止。欢迎将本文转发给即将让智能体运行自己分析的同行,也欢迎访问 gaiforresearch.com,探索适用于您自身研究的 AI 工具。
AI 科研动态速览





留言