对三种语言模型的系统测试揭示：语言准确率低、回答缺乏稳定性且存在"是"回答偏向
2024年4月7日（更新于2024年5月8日）
作者： Vittoria Dentella (https://orcid.org/0000-0001-6697-9184, vittoria.dentella@urv.cat), Fritz Günther (https://orcid.org/0000-0002-9205-6786), Evelina Leivada (https://orcid.org/0000-0003-3181-1917)
编辑：Susan Goldin-Meadow（芝加哥大学，伊利诺伊州芝加哥）；2023年6月7日收稿，2023年10月28日接收
发表于 *PNAS*，2023年12月13日，120 (51) e2309583120，https://doi.org/10.1073/pnas.2309583120
意义陈述
近期大语言模型（LMs）生成的合成语言与人类自然语言高度相似。这种相似性催生了一种主张，即语言模型可以作为人类语言理论的基础。由于驱动语言模型表现的因素缺乏透明度，其语言能力的特征仍然模糊不清。通过系统测试，我们证明语言模型在某些语言判断任务中的表现几乎处于随机水平，同时明显缺乏回答稳定性，并存在偏向"是"回答的倾向。我们的结果引出一个问题：语言模型中的语言知识是如何被设计出人类表现中所没有的特定特征的。
摘要
人类普遍善于对何为其语言的一部分、何为不是作出稳定而准确的判断。大语言模型（LMs）被认为具备类人的语言能力；因此，当被问及一串词语是否符合或偏离其下一词预测时，人们期望它们能模仿这一行为，给出既稳定又准确的回答。本研究使用一系列涉及8种语言现象的判断任务，检验 GPT-3/text-davinci-002、GPT-3/text-davinci-003 和 ChatGPT 是否表现出稳定性与准确性。这8种现象为：复数吸引、照应、中心嵌套、比较结构、侵入性复述代词、否定极性词、形容词顺序和副词顺序。每种现象测试10个句子（5个合乎语法，5个不合语法），每个句子随机重复10次，每个语言模型共获得800个判断（总计 n = 2,400）。结果显示：所有被测语言模型在合乎语法条件下的准确率高于随机水平但波动较大，在不合语法条件下的准确率低于随机水平，不同现象之间的回答显著不稳定，并且存在"是"回答偏向。此外，我们没有发现证据表明重复有助于模型收敛到一种能产生稳定回答（无论准确与否）的处理策略。我们证明，语言模型在识别（不）合语法的词语模式方面的表现与人类（n = 80，完成相同任务）的表现形成鲜明对比，并认为在当前发展阶段，将语言模型作为人类语言理论并无充分依据。
留言