利用 GPT-4 揭示概念的语义

2024年4月7日（更新于2024年5月8日）

作者： Gaël Le Mens (https://orcid.org/0000-0003-4800-0598, gael.le-mens@upf.edu), Balázs Kovács (https://orcid.org/0000-0001-6916-6357), Michael T. Hannan (https://orcid.org/0000-0002-7664-9565), Guillem Pros (https://orcid.org/0009-0009-9937-4902)

编辑：Kenneth Wachter（加州大学伯克利分校）；2023年6月3日收稿，2023年10月13日接收

发表于 *PNAS*，2023年11月30日，120 (49) e2309350120，https://doi.org/10.1073/pnas.2309350120

意义陈述

我们使用 GPT-4 构建"典型性测度"，以定量评估文本文档与特定概念或类别的契合程度。与以往需要在大型文本数据集上进行大量训练的方法不同，基于 GPT-4 的测度无需此类训练，即可在与人类判断的相关性上达到当前最优水平。由于无需训练数据，这大幅降低了获得高性能模型化典型性测度的数据要求。我们的分析涵盖两个领域：判断书籍在文学体裁中的典型性，以及推文在民主党和共和党中的典型性。研究结果表明，现代大型语言模型（LLM）可用于社会科学中的文本分析，其用途超越了简单的分类或标注。

摘要

近期的大型语言模型（如 GPT-3.5 和 GPT-4）能够生成类人文本，这表明社会科学家可以利用这些模型构建与人类判断相符的语义相似性测度。本文对这一直觉进行了实证检验。我们使用 GPT-4 构建典型性测度，即文本文档与某一概念的相似程度，并以其与人类典型性评分的相关性为标准，将其表现与其他基于模型的典型性测度进行比较。我们在两个领域开展了比较分析：书籍在文学体裁中的典型性（使用现有的书籍简介数据集），以及美国国会民主党和共和党议员所发推文的典型性（使用新构建的数据集）。GPT-4 生成的典型性测度达到或超过了我们在近期一篇论文中提出的先前最优典型性测度的表现 [G. Le Mens, B. Kovács, M. T. Hannan, G. Pros Rius, *Sociol. Sci.* 2023, 82–117 (2023)]。该测度无需使用研究数据进行任何训练（即零样本学习）。这是一项突破，因为先前的最优测度需要在数十万份文本文档上对大型语言模型进行微调才能达到相应表现。

全文论文