编码众多却缺乏语境:开源大语言模型究竟为定性分析带来了什么?
已更新:9小时前

作者:Yuan Ren · 6月15日
*图注:基于开源 AI 的医疗访谈分析*
定性分析从不缺少标签
大语言模型让编码过程显得格外简单。只要输入一组访谈转录文本,模型就能迅速返回听起来在分析上颇有价值的短语:患者教育、医生支持、沟通障碍、情绪困扰、治疗负担。输出流畅、有条理,且往往合情合理。然而,定性分析的难点从来都在于标签之后的工作,因为研究者从不缺少生成标签的能力。真正艰巨的工作始于打标签之后:判断一个编码是否保留了语境、是否只是用不同词汇重复了另一个编码、能否支撑主题提炼,以及是否切实有助于解释受访者的亲身体验。
Misra 及其同事通过一个具有挑战性的实证案例检验了这一问题:对美国阿巴拉契亚乡村地区 34 位患有 2 型糖尿病的患者进行半结构化访谈,重点关注他们如何与医护人员讨论自身病情。这些访谈此前已由两位受过专业训练的定性研究者采用传统归纳法完成了编码。该研究随后让两个开源大语言模型(Gemma2 与 Llama3.1)分析相同的文本材料,并将模型生成的编码与人类研究者建立的基准进行对比。研究关注的核心在于:一旦严肃考量语境、重复性以及与研究者提炼主题的契合度,这些输出究竟还有多少具备实际可用性。
从模型表现到研究工作流
这项研究位于主题分析与 AI 辅助定性研究的交叉点。主题分析常用于访谈、焦点小组和半结构化访谈,用以识别叙事材料中的模式、主题与意义。其核心优势在于深度解读:研究者在转录文本、编码与涌现的主题之间来回穿梭,同时关注显性陈述与潜在深意。这一过程耗时且消耗资源,并可能受到研究者的专业背景、理论倾向与主观偏见的影响。正因如此,定性研究者常常依赖多位编码员以及协商一致机制来增强研究的可信度(Castleberry & Nolen, 2018; Terry 等, 2017; Braun & Clarke, 2019)。
*图注:定性分析中的开源大语言模型*
大语言模型在这一领域显得极具吸引力。它们能快速处理海量文本,生成候选编码,帮助研究者在更早阶段进入材料。然而,医疗访谈引入了一个通常在泛泛的 AI 讨论中被淡化的约束:数据隐私。文章指出,大量既有研究依赖 ChatGPT 等工具,这些工具需要在线处理数据,涉及敏感医疗材料时便会引发保密性担忧。Misra 及其同事则转而使用 Gemma2 和 Llama3.1 这两款开源模型,从而确保患者访谈数据无需暴露给基于互联网的系统。
这种选择使研究摆脱了简单的模型竞赛。它提出了一个方法论问题:当研究者无法为了便利而牺牲数据伦理时,开源大语言模型能否依然在定性分析中发挥有益作用?答案取决于它们在工作流中所处的位置。
前期编码与主题分析并不相同
在这项研究中,大语言模型并未被当作独立的定性分析者对待。作者说明他们的方法受到了 Braun 和 Clarke(2006)六阶段主题分析法的启发,但模型主要被用于流程的前端:总结文本片段并提出潜在编码。审查、打磨、组织和解读主题仍是研究团队的核心工作。因此,模型输出的作用是作为分析素材,而非现成的研究发现。
研究测试了两种提示路径。在演绎路径中,模型接收到研究问题、分析方向、预定义的转录文本以及初始编码示例。这种少样本(few-shot)设置鼓励模型贴近研究者的编码方式。在归纳路径中,模型仅接收任务指令,没有任何示例或预设类别,完全通过零样本(zero-shot)提示生成编码。这种对比很重要,因为它区分了两种不同的模型辅助形式:在给定框架下编码,与完全脱离预设框架从原始材料中编码。
模型产出了大量素材。Llama3.1 在演绎框架下生成了 1,042 个独立编码,在归纳框架下生成了 829 个。Gemma2 在演绎框架下生成了 723 个独立编码,在归纳框架下生成了 715 个。一旦给定研究问题和示例,Llama3.1 的输出明显更具扩展性;Gemma2 在两种方法下生成的数量则大致相当。从表面上看,这些数字表明了高产出率。但随后的结果表明,产出率往往是整个故事中最无关紧要的部分。
编码数量虽多,可用者迅速收窄
当定性研究者对模型输出进行评估后,原本看似充裕的编码便不再那么令人惊叹。演绎提示的表现优于归纳提示,但其优势尚不足以让模型输出独自具备分析上的可靠性。在 Gemma2 的演绎编码中,45.6% 具备初始语境,29.5% 存在重复,27.1% 与研究者提炼的主题相符。在 Llama3.1 的演绎编码中,43.7% 具备初始语境,36.2% 存在重复,26.8% 契合主题。归纳结果则更为薄弱:Gemma2 的归纳编码中仅 19.2% 符合人类研究者提炼的主题,Llama3.1 仅为 11.7%。
这些数据改变了人们审视模型输出的方式。长篇累牍的编码清单并不意味着发生了深层分析。大部分输出仍停留在候选标签层面,只有较小一部分保留了足够的语境或主题契合度以支持后续解读。
重复性问题尤其发人深省。研究指出,研究者将"受益于教育项目"和"患者教育"视为更大语境"群体支持与教育"下的重叠表述。"良好的医患关系"与"积极的医患沟通"高度相似,而"与医疗提供者的开放沟通"与"与医生的开放沟通"几乎同义。在类似情况下,模型并未开拓新的分析维度,只是在为相似概念生成不同的措辞变体。
对定性研究者而言,这至关重要。人工编码固然缓慢,但概念边界在编码过程中不断得到动态调整。大语言模型输出虽快,却可能给研究者留下第二层繁重劳动:清理近义词、合并编码、判定何为全新概念,以及在词汇差异中辨析真正有意义的内涵变异。前期节省的时间,往往会在后期转化为分类整理的额外负担。
*图注:LLM 生成的编码与人类解读*
模型在何处丢失了访谈语境
这项研究揭示的最关键缺陷并不仅是重复,而是语境的极度单薄。Gemma2 的演绎编码与研究者提炼主题的良好契合度仅为 27.1%,Llama3.1 也只有 26.8%。在归纳框架下,良好契合率进一步跌至 Gemma2 的 19.2% 和 Llama3.1 的 11.7%。这些数字表明,模型能够捕捉到与糖尿病、医护人员、沟通、支持和障碍相关的许多表层线索,却难以维持访谈的解释深度。
在医患沟通中,仅关注"各项指标"这类表述远不止是一个沟通层面的细节。它可能记录了患者被简化为临床数据指标时的失落感,也可能指向慢性病管理中的挫败感、有限的就诊时间、缺乏连续性的照护,或是不对称的医患关系。模型能检测到显而易见的词汇,但真正的分析问题在于这些词汇如何在患者对就医体验的叙述中发挥作用。
这种差异正是编码生成脱离主题解读的关键所在。主题绝非相关标签的简单堆砌,而是一种关于意义如何在文本材料中形成模式的论证。缺少稳定的语境判断,模型可能会停留在转录文本的词汇表层,而遗漏了经验本身的深层结构。
有益的定位:作为第二重审读而非最终结论
人类研究者的分析在医患沟通中识别出两大宏观主题:障碍与促进因素。障碍包括医护态度不尊重、居高临下的沟通方式、照护缺乏连贯性、只关注"化验指标"而非患者本身、就诊时间不足以及就医不便。促进因素包括积极给予支持的医护人员、细致关注、临床照护中的伙伴关系、拥有糖尿病亲身经历的医护人员,以及参与显著改善了糖尿病教育、健康素养与赋能感的 DHSMP 项目。
大语言模型的输出并未简单复现这些主题,但确实带来了一些额外视角。研究者在模型生成的编码中识别出了补充性子主题,包括对医护人员的不信任、经济困难、认为医护人员缺乏糖尿病专业知识或全面理解、缺乏情感支持以及缺乏开放沟通。模型还呈现了一些仅出现一两次且未在原始分析中提炼为主题的零散表述,例如患者对加重医护负担感到内疚、讨论糖尿病时的恐惧或犹豫、因年龄产生的不适感,以及被医护人员遗弃的感受。
这正是模型在方法论上体现价值的地方。它们的价值主要体现在能够打破初次阅读的封闭性,而非提供优于专业研究者的解读。定性研究长期以来通过多位编码员来强化严谨性与可信度,部分原因在于不同读者会注意到不同细节,从而揭示单一解读中的盲区(Lincoln & Guba, 1986)。大语言模型无法替代人类的协商过程,但可以为数据提供辅助性的多一轮通读。尽管这一轮审读充满噪声且参差不齐,却能将某些边缘化的体验重新带回研究者的视野。
*图注:用于主题分析的 AI 编码*
模型完成编码之后的工作
通读整项研究后,大语言模型在定性分析中的定位变得相当明确。它们既非自动提炼主题的系统,也不是简单的文本处理工具。它们最显著的作用体现在工作流的前期:帮助研究者打开材料视野、生成候选编码库,并提出那些可能被边缘化的表述。在敏感的医疗研究中,Gemma2 和 Llama3.1 等开源模型还具备一项实际优势:研究者可以在无需将患者访谈数据上传至互联网工具的前提下,尝试大模型辅助分析。
难点在于候选编码离成熟主题依然遥远。Misra 等人的研究结果反复证明,模型输出必须经过人类研究者的再度审视:哪些编码切实承载了语境,哪些只是相似概念的重复,哪些虽与糖尿病或自我管理相关却未能回答关于医患沟通的具体问题。Gemma2 和 Llama3.1 在演绎框架下表现较好,但良好契合率仍仅有 27.1% 和 26.8%;在归纳框架下更是只有 19.2% 和 11.7%。这些数字不仅是性能指标,更揭示了一种方法论风险:大语言模型生成编码的可读性,极易被误认为是解释上的充分性。
从这个意义上说,大语言模型有助于促使研究者重新深挖文本,避免脱离原始语境。它们能够再次呈现边缘体验,例如对医护人员的不信任、经济压力、缺乏情感支持、讨论糖尿病时的恐惧,或感到被医护遗弃。然而,这些表述是否有足够分量成为子主题、是否只是孤立的片刻,以及是否应当重构原有的主题结构,依然取决于对访谈转录稿的反复比对。定性分析的核心工作始终始于编码生成之后:重回叙事、比对语境、判定意义,并决定哪些经历值得提炼为成熟主题。
References
Braun, V., & Clarke, V. (2006). Using thematic analysis in psychology. *Qualitative Research in Psychology*, 3(2), 77–101. https://doi.org/10.1191/1478088706qp063oa
Braun, V., & Clarke, V. (2019). Reflecting on reflexive thematic analysis. *Qualitative Research in Sport, Exercise and Health*, 11(4), 589–597. https://doi.org/10.1080/2159676X.2019.1628806
Castleberry, A., & Nolen, A. (2018). Thematic analysis of qualitative research data: Is it as easy as it sounds? *Currents in Pharmacy Teaching and Learning*, 10(6), 807–815. https://doi.org/10.1016/j.cptl.2018.03.019
Lincoln, Y. S., & Guba, E. G. (1986). But is it rigorous? Trust worthiness and authenticity in naturalistic evaluation. *New Directions for Program Evaluation*, 1986(30), 73–84. https://doi.org/10.1002/ev.1427
Misra, R., Dahal, R., Kirk, B., Khan, R., Dogan, G., Chataut, R., & Gyawali, P. (2026). Large Language Models in Qualitative Analysis: Comparing Traditional and Researcher-Interpreted Approaches. *International Journal of Qualitative Methods*, 25. https://doi.org/10.1177/16094069261426100
Terry, G., Hayfield, N., Clarke, V., & Braun, V., (2017). Thematic analysis. *The SAGE Handbook of Qualitative Research in Psychology*, 2(17-37), Article 25. https://doi.org/10.4135/9781526405555.n2





留言