检验大语言模型在自动化感知分析中的效度
2024年4月14日（更新于2024年5月8日）
作者： Peiyao Li, Noah Castelo, Zsolt Katona, Miklos Sarvary
在线发表：2024年1月25日，https://doi.org/10.1287/mksc.2023.0454
摘要
本文探讨大语言模型（LLMs）在市场研究中替代人类参与者的潜力。此类大语言模型可根据提示生成文本。我们认为，对于某些产品类别，感知分析是此类自动化市场研究一个特别有前景的应用场景。所提出的新方法生成的结果与人类问卷调查的结果高度吻合：人类生成的数据集与大语言模型生成的数据集之间的一致率超过75%。此外，这一结论同时适用于基于品牌相似性测量和基于产品属性评分的感知分析。本文表明，对于某些类别，这种全自动或半自动的市场研究新方法将显著加快研究进程并可能降低成本，从而提高市场研究的效率。进一步的结果还表明，随着应用于大语言模型的训练语料不断扩大，基于大语言模型的市场研究将能够回答更细致的问题，例如基于人口统计变量或情境变化的问题，而这些问题若依靠人类受访者，成本将极其高昂甚至无法实现。
Peiyao Li、Noah Castelo、Zsolt Katona 和 Miklos Sarvary 的文章 "Frontiers: Determining the Validity of Large Language Models for Automated Perceptual Analysis" 讨论了使用大语言模型（LLMs）在市场研究中替代人类参与者的潜力。作者认为，感知分析是利用大语言模型开展自动化市场研究的一个有前景的应用场景，因为大语言模型生成的结果与人类问卷调查的结果高度吻合。研究发现，在基于品牌相似性测量和产品属性评分的感知分析中，人类生成的数据集与大语言模型生成的数据集之间的一致率超过75%。作者指出，这种全自动或半自动的市场研究新方法将通过加快研究进程并可能降低成本来提高市场研究的效率。该研究经 *Marketing Science*: Frontiers 评审流程接收，并获得加拿大社会科学与人文研究理事会（Social Sciences and Humanities Research Council of Canada）的资助。
留言