ChatGPT 在文本标注任务中表现优于众包工作者

2024年4月7日（更新于2024年5月8日）

作者： Fabrizio Gilardi (https://orcid.org/0000-0002-0635-3048, gilardi@ipz.uzh.ch), Meysam Alizadeh (https://orcid.org/0000-0001-6696-6471), Maël Kubli (https://orcid.org/0000-0002-5592-9648)

编辑：Mary Waters（哈佛大学）；2023年3月27日收稿，2023年6月2日接收

发表于 *PNAS*，2023年7月18日，120 (30) e2305016120，https://doi.org/10.1073/pnas.2305016120

摘要

许多自然语言处理（NLP）应用需要针对多种任务进行人工文本标注，尤其是用于训练分类器或评估无监督模型的性能。根据任务规模和复杂程度，这些工作可由 MTurk 等平台上的众包工作者完成，也可由研究助理等经过培训的标注员完成。我们使用四个推文和新闻文章样本（n = 6,183）证明，ChatGPT 在多项标注任务中表现优于众包工作者，包括相关性、立场、主题和框架识别。在四个数据集中，ChatGPT 的零样本准确率平均比众包工作者高出约 25 个百分点；同时，在所有任务中，ChatGPT 的编码者间一致性均高于众包工作者和经过培训的标注员。此外，ChatGPT 每条标注的成本低于 0.003 美元，约为 MTurk 的三十分之一。这些结果表明，大型语言模型有潜力大幅提升文本分类的效率。

全文论文