研究发现人工智能聊天机器人 GPT 可有效用于多语言心理文本分析

2024年8月24日

一项发表于 *Proceedings of the National Academy of Sciences* 的新研究发现，人工智能聊天机器人 GPT 是跨多种语言分析文本中心理构念的有效工具。

来自斯坦福大学、普林斯顿大学和纽约大学的研究者测试了 GPT 在12种语言文本中识别情感倾向、情绪、冒犯性和道德基础的能力。他们发现，GPT 的表现显著优于传统的基于词典的方法，并且几乎与需要大量训练的顶尖机器学习模型相当。

"GPT 在无需任何额外训练数据的情况下，跨语言识别心理构念的准确率很高，"斯坦福大学的第一作者 Steve Rathje 表示，"这使其成为希望分析多语言文本数据的研究者的一种强大且易用的工具。"

该研究在超过47,000条经人工标注的社交媒体帖子和新闻标题上测试了三个版本的 GPT（3.5、4 和 4 Turbo）。GPT 大幅优于词典方法，在某些情况下甚至超过了经过微调的机器学习模型。

值得注意的是，GPT 即使在斯瓦希里语和卢旺达语等使用人数较少的非洲语言上也表现良好。其准确率随每个新版本显著提升，在这些较少见的语言上尤为明显。

研究者认为，GPT 及类似的人工智能模型有助于让全球社会科学家更容易获得先进的文本分析手段，并可能促进更多跨文化研究。不过，他们也提醒应考虑 GPT 训练数据中可能存在的偏差。

"GPT 虽不完美，但似乎是一种有望让复杂文本分析能力普及化的工具，"纽约大学的合著者 Jay Van Bavel 表示，"但研究者在使用时应意识到其局限性和潜在偏差。"

该研究提供了使用 GPT 进行心理文本分析的示例代码和教程。研究者希望这能使更多科学家在工作中利用人工智能语言模型，同时推动对这些快速发展的工具的优势与局限开展进一步研究。

Steve Rathje（https://orcid.org/0000-0001-6727-571X，srathje@alumni.stanford.edu）、Dan-Mircea Mirea（https://orcid.org/0000-0002-4349-7059，dmirea@princeton.edu）、Ilia Sucholutsky（https://orcid.org/0000-0003-4121-7479），另有两位作者，以及 Jay J. Van Bavel（https://orcid.org/0000-0002-2520-0442）

摘要

社会与行为科学越来越多地使用自动文本分析来测量文本中的心理构念。我们探讨了 GPT（人工智能聊天机器人 ChatGPT 所依托的大语言模型）能否作为多种语言的自动心理文本分析工具。在15个数据集（n = 47,925 条经人工标注的推文和新闻标题）中，我们检验了不同版本的 GPT（3.5 Turbo、4 和 4 Turbo）能否在12种语言中准确识别心理构念（情感倾向、离散情绪、冒犯性和道德基础）。我们发现，以人工标注者的判断为标准，GPT（r = 0.59 至 0.77）在识别心理构念方面的表现远优于英语词典分析（r = 0.20 至 0.30）。GPT 的表现几乎与若干表现最佳的微调机器学习模型相当，有时甚至更好。此外，GPT 的表现随模型版本迭代而提升，在使用人数较少的语言上尤为明显，同时成本也在下降。总体而言，GPT 可能优于许多现有的自动文本分析方法，因为它在多种语言中都能达到较高准确率，无需训练数据，并且只需简单的提示词（例如"这段文本是负面的吗？"）和少量编程经验即可轻松使用。我们提供了使用 GPT 应用程序编程接口分析文本的示例代码和视频教程。我们认为，GPT 及其他大语言模型使先进的自然语言处理能力更易获得，从而有助于自动文本分析的普及化，并可能促进更多针对研究不足语言的跨语言研究。