科研中的人工智能：当你的模型早已“看见”未来
Image: "New York Stock Exchange August 2017 02" by Arild Vågen (CC BY-SA 4.0) via Wikimedia Commons, recoloured.
欢迎阅读本周的人工智能重塑科研动态速览，内容精选自 Nature、Science、PNAS 以及顶级商业期刊。
信息泄漏：人工智能驱动研究中隐蔽的效度威胁
社会科学研究者越来越多地将新闻、公司公告和评论输入大语言模型，用于测量情感、对文本进行分类或预测结果。正如 Songrun He、Linying Lv、Asaf Manela 和 Jimmy Wu 在 Journal of Financial Economics 中指出的，问题在于：一个基于当今互联网训练的模型，实际上已经“读过”了未来，其训练数据可能会给任何历史分析带来前视偏差（lookahead bias）和训练泄漏。他们的解决方案是训练一系列时间一致（chronologically consistent）的模型，即 ChronoBERT 和 ChronoGPT，这些模型在每个时间点只使用当时已有的文本。尽管受到这一严格约束，这些模型在标准基准测试上的表现与 BERT 等广泛使用的模型相当甚至更优，并且与规模更大的开放权重模型相比仍具竞争力。在一项根据财经新闻预测次日股票收益的资产定价检验中，其实时输出所获得的夏普比率可与规模大得多、且可能存在偏差的 Llama 模型相媲美。一个微妙的启示是：前视偏差因模型和应用场景而异，因此必须逐案检验，而不能想当然地认为它不存在。
当人工智能自己开展研究时，信息泄漏同样是个问题。在 PNAS 上，Ziming Luo、Atoosa Kasirzadeh 和 Nihar B. Shah 系统地检验了开源“人工智能科学家”系统中的四类陷阱：基准选择不当、数据泄漏、指标误用以及事后选择偏差。逐一隔离各陷阱的受控实验揭示了两个代表性系统中普遍存在的系统性漏洞。关键在于，这些缺陷在最终稿件中基本无法察觉，而最终稿件恰恰是同行评审所评估的对象。作者表明，获取完整的工作流程产物（例如日志记录和代码）能显著提高审查的有效性，并呼吁期刊、会议和研究者从仅审阅稿件转向流程审计。
为何重要： 无论大语言模型是你的测量工具还是研究助手，都需要回答同一个问题：系统知道什么，又是何时知道的？对于市场营销、金融和管理领域的实证研究而言，这意味着要记录模型训练截止时间与样本期之间的关系，在任何回测或预测性论断中优先使用时间一致的模型，并保存（和共享）人工智能辅助分析背后的日志与代码。只看到一份精美 PDF 的审稿人，无法发现这些论文所揭示的那些容易被忽略的问题。
本周更多动态
人工智能智能体解决未决 Erdős 问题，并附机器验证的证明
大语言模型的数学能力日益增强，但可靠性不足，这限制了它们在真实研究中的应用。该团队构建了一个在 Lean 中生成形式化证明的智能体，由编译器验证每一个步骤。它自主解决了 353 个未决 Erdős 问题中的 9 个，并证明了整数数列在线百科全书（On-Line Encyclopedia of Integer Sequences）中 492 个猜想中的 44 个；甚至一个仅在大语言模型生成与 Lean 验证之间交替进行的基础智能体也复现了 Erdős 问题的结果。更广泛的启示是：当人工智能的输出与独立的自动检验器相结合时，其可信度会大幅提升。
数据科学家与领域专家：人工智能预测为何遭到搁置
预测模型对于本应使用它们的专家而言，往往仍难以理解。Joshi、Su 和 Zbaracki 基于对三家大型印度银行为期 18 个月的归纳研究，将这一问题归因于双方在知识应如何生产和评估上的认识论立场之争：数据科学家生产新知识，而领域专家决定这些知识是否被采用。直接化解冲突的尝试往往失败；真正奏效的是四种桥接实践，它们将预测嵌入专家已在使用的边界对象和惯例之中。对于研究组织中人工智能采纳的学者而言，这是一个有用的视角。
ChatGPT 的发布按劳动力暴露程度推动了股价变化
Eisfeldt、Schubert、Zhang 和 Taska 构建了一个衡量企业劳动力对生成式人工智能暴露程度的指标，并表明：做多高暴露企业、做空低暴露企业的投资组合在 ChatGPT 发布后的两周内获得了 5% 的收益。这一效应在数据资产更多的企业中更强，且有别于企业在产品层面对人工智能的暴露。关于后续劳动力需求和盈利能力的证据指向一种劳动与技术相互替代的渠道。
从数据与模型的契合到模型与世界的契合
机器学习系统往往在训练数据上表现良好，一旦部署却会失灵。Castellanos、Tremblay、Lukyanenko、Parsons 及其合作者认为，该领域过度优化了数据与模型的契合，并提出“模型与世界契合”（model-world fit）框架：领域知识通过流程模型或本体等外部表征进入开发过程，以弥补“知其然”、“知其所以然”和“知其如何为之”方面的缺口。他们以儿童福利安置为例加以说明，在这一场景中，仅凭统计准确性并不足以作为评估标准。
改造语言模型，使其读取原始字节
大多数大语言模型以子词词元的形式读取文本，这会掩盖字符层面的细节；对于代码、生物序列以及其他单个字符至关重要的数据而言，这是一个实实在在的局限。这篇 Nature 论文提出了“字节化”（byteification），这是一种两阶段流程，只需极少的额外训练即可将现有子词模型转换为字节级模型。所得模型优于以往的字节级方法，在字符级推理任务上表现出色，并在复用源模型生态系统的同时保持了实用的推理速度。
以上就是本周的内容。欢迎转发给正在用大语言模型处理历史文本的同事，也欢迎访问 gaiforresearch.com，探索可用于你自己研究的人工智能工具。
留言