对大语言模型在质性研究中应用的批判性审视

10月10日

人工智能与质性研究

随着生成式人工智能（GenAI）迅速重塑科学研究的格局，质性研究者正面临一项前所未有的技术挑战：这一由大语言模型（LLMs）驱动的新兴工具，能否真正胜任质性数据分析这一以诠释工作为根本的人文任务？Nguyen 和 Welch（2025）在其近期发表的论文中，对这一问题作出了系统而深刻的回应。他们不仅详细考察了生成式人工智能背后的技术机制，还就其作为科学工具的地位展开了深入的哲学与方法论反思。

生成式人工智能究竟是什么？

作者首先强调，生成式人工智能并非一种通用智能，而是由自回归大语言模型（AR-LLMs）驱动的概率生成系统。这些模型通过学习海量文本语料中词语之间的统计关系，逐词生成文本，从而产生*看似*连贯、自然的回应（Henighan et al., 2020; Wei et al., 2022a）。然而，这一过程属于合成而非诠释。生成的输出或许能够模仿学术语言的修辞风格，但并不包含真正的语义理解（Nguyen & Welch, 2025）。

这些大语言模型的训练基于 Transformer 架构（Vaswani et al., 2017）。系统在接收用户输入（无论是指令还是原始文本）后，会对输入进行分词，将其嵌入高维向量空间，对上下文关系进行建模，然后依次预测最可能出现的下一个词，以构建输出（Radford et al., 2018）。

关键在于，这一生成过程缺乏任何内置的事实核查机制。正如 Nguyen 和 Welch 所指出的，大语言模型“并非为判断其答案是否正确而设计，其输出“无需正确，只需看起来正确””（Thornton, 2023）。因此，人们所感知到的输出可靠性，在很大程度上只是语言流畅带来的错觉，并不反映实质内容。

评估研究工具科学适用性的标准

任何技术工具被纳入学术研究，尤其是质性分析领域时，都不能仅仅依赖其新颖性或效率。Nguyen 和 Welch（2025）强调，科学工具必须经过严格验证，并以四项核心标准为指引：事实准确性、可靠性、透明性以及伦理相容性。遗憾的是，生成式人工智能在这四个方面的表现均不理想。

在事实准确性方面，已有研究揭示了大语言模型中的“幻觉”现象，即模型生成完全虚构的内容，并以具有说服力和权威感的语言加以包装（Maynez et al., 2020; Kalai et al., 2025）。这些输出并非以事实为依据，而是由训练数据中习得的统计模式所塑造。

在可靠性方面，大语言模型的输出极不稳定。相同的输入往往会因时间或对话轮次的不同而产生明显不同的回应。这种所谓的“概率漂移”（Achiam et al., 2023）严重削弱了任何科学工具都必需的可重复性。

在透明性方面，大语言模型作为不透明的系统运行。其复杂的架构和未公开的训练过程造成了“黑箱”效应，使研究者无法追溯输出是如何生成的（Burrell, 2016; Marcus, 2024）。

最后，伦理问题同样突出。大语言模型可能会将用户输入纳入未来的训练数据，从而引发与数据隐私、知识产权和知情同意相关的严重问题（Lukas et al., 2023）。

*质性研究中大语言模型与研究者协同工作*

生成式人工智能适用于质性数据分析吗？

为从实证层面评估生成式人工智能在质性分析中的能力，Nguyen 和 Welch（2025）采用了一种方法上多层次、分析上多样化的研究路径。其研究的核心是一个知名的大规模质性数据集，涵盖了从 20 世纪 80 年代到 21 世纪 10 年代有关便携式计算技术的访谈、博客、新闻报道和期刊文章。这既保证了数据的多样性，也保证了研究者对数据的熟悉程度，使他们能够严格评估生成式人工智能输出的效度。

实验采用了多种提示策略，包括零样本、少样本和思维链提示（Wei et al., 2022b）。为增强可信度，他们还将自己的发现与五项考察 ChatGPT 在质性研究中应用的独立研究结果进行三角互证，并与 NVivo 和 QUALSOFT 等商业 CAQDAS 工具中由生成式人工智能增强的功能进行比较。这些来源共同构成了一个稳健的三层证据基础（Nguyen & Welch, 2025）。

结果是确凿的：即使分析同一份数据，生成式人工智能模型在不同运行中的输出也极不一致。有些输出看起来只是对文本的逐字转述，另一些则包含与数据无关的虚构引语。即使使用完全相同的提示，不同会话之间的回应也存在显著差异。这种不可预测性迫使研究者反复重新开始分析、比较输出并重新编码数据，最终增加而非减轻了分析工作量。

结论毫不含糊：当前基于 Transformer 架构的大语言模型不适用于质性数据分析（Nguyen & Welch, 2025）。ChatGPT 等模型无法以稳定、准确或全面的方式对质性数据进行一致且有意义的编码，也完全无法参与对社会意义的诠释。而这种诠释行为恰恰是质性探究的核心，是一种任何自动化都无法复制的人类固有能力。

不加批判地使用生成式人工智能的五种认识论风险

Nguyen 和 Welch 指出，在质性研究中不加批判地使用生成式人工智能会带来五种严重的认识论风险：

范畴错误：将大语言模型聊天机器人误认为质性分析工具，混淆了语言的形式与其认知功能，把合成的、模式化的输出当作真正的诠释性洞见。

不可靠的输出：大语言模型生成的结果高度不稳定、不一致且不可重复；即使经过精心打磨的提示，也无法达到质性研究所要求的精确性与可信度。

拟人化谬误：将理解与协作归于人工智能，是对其语言流畅性的误读；看似对话的交流，只不过是语言模式的重复，而非对数据的真正投入。

因果误归：将糟糕的结果归咎于提示不当，转移了对模型结构性局限的责任，并掩盖了模型无法真正完成诠释任务这一事实。

神谕效应：因人工智能输出源自技术而将其视为客观或中立，会掩盖其在语境、逻辑和意义上的缺失，最终削弱质性研究的深度与伦理意识。

质性分析中不可替代的人类核心

贯穿 Nguyen 和 Welch 研究的一个核心信息是：质性数据分析关乎意义的诠释，而非机械化处理。这种诠释工作包含多个层次：识别意料之外的模式、进行抽象、构建理论、挑战假设以及重构概念。这远非一种演绎操作，而是一项高度主观、依赖经验且对情境敏感的工作。

这种分析植根于研究者对田野的情境化理解，这种理解是通过具身参与以及在学术共同体内的对话互动而形成的，即一种主体间性的过程（Yanow & Schwartz-Shea, 2014）。即便是拒绝实证主义标准的诠释主义学者，也始终秉持对认识论责任的坚定伦理承诺：忠实呈现参与者、质疑自身假设、确保研究程序透明、系统地开展分析，并得出有逻辑依据的结论（Nguyen & Welch, 2025）。

将这一复杂且本质上充满不确定性的过程交给一个建立在概率模式匹配而非诠释推理之上的工具，是对质性研究本质的根本误解。

呼吁学术界保持审慎并承担集体责任

Nguyen 和 Welch 对学术界日益不加批判地拥抱新兴技术的倾向提出了有力批评。他们认为，在生成式人工智能成为质性研究中的常规工具之前，必须开展严谨的学术辩论，并确立清晰的方法论与伦理标准。未经充分评估便过早采用，不仅可能产生不可靠的研究结果，还可能动摇质性研究方法论的根基。

作者援引 Alvarado（2023）提醒我们，学术探究不仅包括理论和方法，还涉及第三个维度：工具。而这些工具的正当性不能仅由市场热情或企业品牌来决定，必须经由学术共同体的集体审视来确立。这凸显了一种共同责任：每一位质性研究者都必须批判性地对待自己所使用的技术，并不断追问：“这一工具真的适合质性探究吗？” 这不仅是学术判断的问题，也是研究伦理的核心原则。

References:

Achiam J., Adler S., Agarwal S., Ahmad L., Akkaya I., Aleman F. L., Almeida D., Altenschmidt J., Altman S., Anadkat S., Avila R., Babuschkin I., Balaji S., Balcom V., Baltescu P., Bao H., Bavarian M., Belgum J., Bello I., …, Zoph B. (2023). *GPT-4 technical report*. arXiv preprint arXiv:2303.08774. https://arxiv.org/abs/2303.08774v6.

Alvarado R. (2023). *Simulating science: Computer simulations as scientific instruments (Vol. 479)*. Springer Nature.

Burrell J. (2016). How the machine ‘thinks’: Understanding opacity in machine learning algorithms. *Big Data & Society*, 3(1), Article 2053951715622512. https://doi.org/10.1177/2053951715622512

Henighan T., Kaplan J., Katz M., Chen M., Hesse C., Jackson J., Jun H., Brown T. B., Dhariwal P., Gray S., Hallacy C., Mann B., Radford A., Ramesh A., Ryder N., Ziegler D. M., Schulman J., Amodei D., McCandlish S. (2020). *Scaling laws for autoregressive generative modeling*. arXiv preprint arXiv:2010.14701. https://arxiv.org/abs/2010.14701v2

Kalai A. T., Nachum O., Zhang E. (2025). Why language models Hallucinate. arXiv preprint arXiv:2509.04664. https://doi.org/10.48550/arXiv.2509.04664.

Lukas N., Salem A., Sim R., Tople S., Wutschitz L., Zanella-Béguelin S. (2023). Analyzing leakage of personally identifiable information in language models. IEEE Symposium on Security and Privacy (SP), 346–363. https://doi.org/10.1109/SP46215.2023.10179300

Marcus G. F. (2024). *Taming Silicon Valley: How we can ensure that AI works for us*. MIT Press.

Maynez J., Narayan S., Bohnet B., McDonald R. (2020). On faithfulness and factuality in abstractive summarization. In *Proceedings of the 58th annual meeting of the association for computational linguistics* (pp. 1906). Association for Computational Linguistics.

Radford A., Narasimhan K., Salimans T., Sutskever I. (2018). *Improving language understanding by generative pre-training*. OpenAI Technical Report. https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf.

Thornton I. (2023). A special delivery by a fork: Where does artificial intelligence come from? *New Directions for Evaluation*, 23–32. https://doi.org/10.1002/ev.20560

Vaswani A., Shazeer N., Parmar N., Uszkoreit J., Jones L., Gomez A. N., Kaiser Ł., Polosukhin I. (2017). Attention is all you need. *Advances in Neural Information Processing Systems*, 30.

Wei J., Tay Y., Bommasani R., Raffel C., Zoph B., Borgeaud S., Yogatama D., Bosma M., Zhou D., Metzler D., Chi E. H., Hashimoto T., Vinyals O., Liang P., Dean J., Fedus W. (2022a). *Emergent abilities of large language models*. arXiv preprint arXiv:2206.07682. https://arxiv.org/abs/2206.07682v2

Wei J., Wang X., Schuurmans D., Bosma M., Ichter B., Xia F., Chi E., Le Q. V., Zhou D. (2022b). Chain-of-thought prompting elicits reasoning in large language models. *Advances in Neural Information Processing Systems*, 35, 24824–24837.

Yanow D., Schwartz-Shea P. (2014). *Interpretation and method: Empirical research methods and the interpretive turn* (2nd ed). Routledge.