大型语言模型在传递链实验中表现出类人的内容偏差

2024年4月7日（更新于2024年5月8日）

作者： Alberto Acerbi (https://orcid.org/0000-0001-5827-8003, alberto.acerbi@unitn.it), Joseph M. Stubbersfield (https://orcid.org/0000-0001-8966-4679)

编辑：Marcus Feldman（斯坦福大学）；2023年8月10日收稿，2023年9月26日接收

发表于 *PNAS*，2023年10月26日，120 (44) e2313790120，https://doi.org/10.1073/pnas.2313790120

意义陈述

通过大型语言模型（LLM）使用人工智能生成文本的做法已十分普遍且日益增长，潜在应用包括新闻、文案写作、学术研究及其他写作任务。因此，了解由大型语言模型生成或概括的文本是否存在偏差十分重要。本文所呈现的研究表明，大型语言模型 ChatGPT-3 在文本生成中反映出人类对某些类型内容的偏好偏差。大型语言模型输出中存在的这些偏差对其日常使用具有重要影响，因为它可能放大人类对迎合这些偏差的内容的倾向。

摘要

随着大型语言模型的使用日益增多，有必要检验其输出是否存在偏差。文化演化领域采用传递链实验的研究表明，人类在关注、记忆和传递内容时，会偏向某些类型的内容。本文通过五项预注册实验，使用以往人类被试研究中的材料，采用相同的类传递链方法，发现大型语言模型 ChatGPT-3 表现出与人类类似的偏差：相较于其他内容，它更偏向与性别刻板印象一致的内容、社会性内容、负面内容、与威胁相关的内容以及违反生物学直觉的内容。大型语言模型输出中存在这些偏差，表明此类内容在其训练数据中广泛存在，并可能产生重大的下游影响，即放大人类原有的对具有认知吸引力、但未必具有信息量或价值的内容的倾向。

全文论文