top of page

PNAS 研究发现:大语言模型团队遵循分布式计算定律

15false55 GMT+0000 (Coordinated Universal Time)
讀畢需時 3 分鐘

Image: "Thirty-five rowers on a long racing pirogue in Laos" by Basile Morin (CC BY-SA 4.0) via Wikimedia Commons, recoloured.

由大语言模型组成的多智能体系统正在迅速普及,但大多数仍靠反复试错搭建。*PNAS* 新近发表的一项研究探讨,经典分布式计算理论能否预测大语言模型团队何时有效、应使用多少个智能体以及应选择何种架构。研究的回答是:团队的扩展规律遵循由任务结构决定的分布式计算定律。

用分布式系统理论设计大语言模型团队

研究者越来越多地将多个语言模型串联使用:一个智能体起草,另一个批评,第三个汇总。其吸引力显而易见,因为单个模型在推理、记忆和性能方面存在硬性限制。此前所缺少的,是一种有原则的方法,用来判断团队何时真正优于单个模型、值得为多少个智能体付出成本,以及智能体应向一个协调者汇报还是彼此直接交流。

根据 Mieczkowski、Collins、Sucholutsky、Vélez 和 Griffiths 的研究(*PNAS*, 2026),答案可以借鉴计算机科学。作者将大语言模型团队视为一个分布式系统,即一组分担工作并相互传递消息的处理器,并利用这一形式化框架推导任务结构和团队架构应如何影响性能。随后,他们在大语言模型团队上对这些预测进行了实证检验,而不是逐个案例地调整团队设计。

研究结果在两个方面与理论相符。第一,增加智能体带来的收益遵循经典的分布式计算扩展定律,团队能够有效扩展到何种程度取决于任务结构。(在经典分布式计算中,可以干净地拆分为独立部分的工作,与存在顺序依赖的工作,其扩展方式截然不同。)第二,集中式团队(设有协调智能体)与去中心化团队(同伴之间直接通信)表现出分布式系统理论所预测的非对称弱点,因此两种设计都并非在所有情况下更优。

论文将分布式计算定位为一个生成性框架,即能够对大语言模型团队行为给出可检验、可量化的预测,而非事后解释。这一定位同时也是其主要边界。预测的质量取决于真实研究任务与该理论所涵盖的形式化任务结构之间的对应程度,而摘要并未声称所有多智能体工作流程都符合这些结构。将该框架应用于文献综合或质性编码等复杂、开放式任务的读者,需要自行判断二者是否契合。

为何重要: 许多研究团队如今正在构建智能体流程,用于数据编码、文献筛选或运行模拟参与者,而每增加一个智能体,成本都会随之上升。这项研究提供了一套在运行之前规划此类流程的概念工具:先问任务究竟有多大程度可以并行,在步骤相互依赖之处预期收益递减,并根据自己能够容忍哪种失效模式,在协调者式设计与点对点设计之间作出选择。对于研究人工智能的社会科学家而言,这也提醒我们,关于协调的既有理论同样可以解释新兴的机器集体。

来源:Mieczkowski, E., Collins, K. M., Sucholutsky, I., Vélez, N. & Griffiths, T. L. (2026). Language model teams as distributed systems. *Proceedings of the National Academy of Sciences*. 阅读原文。对第三方研究的独立编辑摘要。

留言


这项倡议得到了以下组织的支持:

  • Twitter
  • LinkedIn
  • YouTube
logo_edited.png
bottom of page