工作坊回顾：大语言模型（LLMs）在社会科学研究中的应用工作坊

2024年7月13日

日期： 2024年6月20日

主讲人： Joshua Cova 和 Luuk Schmitz，马克斯·普朗克社会研究所（Max Planck Institute for the Study of Societies）

本次工作坊由马克斯·普朗克社会研究所的 Joshua Cova 和 Luuk Schmitz 主持，对大语言模型（LLMs）在社会科学研究中的应用进行了富有洞见的介绍。会议涵盖以下几个关键领域：

大语言模型在社会科学中的四大主要用途：

a) 对人类行为进行计算建模（Aher, Arriaga, and Kalai, 2022; Dillion et al., 2023; Horton, 2023; Tjuatja et al., 2023）

b) 模拟社会关系（Park et al., 2023; Wang et al., 2024; Akata et al., 2023）

c) 与人类主体互动（Chopra and Haaland, 2023）

d) 文本标注（Törnberg, 2023; Gilardi, Alizadeh, and Kubli, 2023; Leek, Bischl, and Freier, 2024; Laurer, 2024）

验证与性能指标： Cova 强调了在使用大语言模型时进行验证的重要性，并借鉴了以往定量文本分析研究中的原则。他指出提示词设计需要迭代过程，并需使用准确率（accuracy）、精确率（precision）和召回率（recall）等多种性能指标。

模型选择： Schmitz 讨论了选择合适模型的重要性，需考虑可复现性、伦理、透明度、语言、可扩展性和复杂性等因素（Törnberg, 2024）。他还介绍了一个在文本标注中使用生成式大语言模型的决策树（Weber and Reichardt, 2024）。

实践考量： 主讲人分享了他们使用不同大语言模型平台的经验，并讨论了性能与开放科学考量之间的权衡。他们强调，在大语言模型与分类器模型之间的选择应基于具体的研究需求和可用资源。

伦理考量： 虽然本次会议未对此展开深入讨论，但主讲人提到，研究伦理以及闭源模型与开源模型之争将在今后的会议中探讨。

本次工作坊全面概述了大语言模型在社会科学研究中的应用，在强调其潜力的同时，也提醒不要不加区分地使用。主讲人倡导审慎的做法，考虑替代方案以及大语言模型能为研究项目带来的具体价值。幻灯片请参阅 Luuk 的推文：

https://x.com/Luukschmitz/status/1808083990529683510