Mange koder, lite kontekst: Hva åpne store språkmodeller egentlig tilfører kvalitativ analyse

Healthcare interview analysis with open-source AI

Yuan Ren · 15. juni

*Bildetekst: Analyse av helseintervjuer med åpen kildekode-KI*

Kvalitativ analyse har aldri manglet koder

Store språkmodeller får koding til å virke overraskende enkelt. Mat inn et sett med intervjutranskripsjoner, og modellen kan raskt levere formuleringer som høres analytisk nyttige ut: pasientopplæring, legestøtte, kommunikasjonsbarrierer, emosjonell belastning, behandlingsbyrde. Teksten er flytende, velstrukturert og ofte plausibel. Likevel har ikke utfordringen i kvalitativ analyse ligget i mangel på koder, ettersom forskere sjelden mangler evnen til å merke data. Det krevende arbeidet starter etter kodingen: å vurdere om en kode bevarer konteksten, om den gjentar en annen kode med andre ord, om den kan bære utviklingen av temaer, og om den faktisk bidrar til å forklare deltakernes opplevelser.

Misra og kolleger undersøker dette problemet gjennom et krevende empirisk case: 34 semistrukturerte intervjuer med pasienter med type 2-diabetes fra landlige strøk i Appalachene, med fokus på hvordan de diskuterer sykdommen med helsepersonell. Intervjuene var allerede kodet av to trenede kvalitative forskere ved hjelp av en tradisjonell induktiv tilnærming. Studien ga deretter to åpne modeller, Gemma2 og Llama3.1, i oppgave å analysere det samme materialet, og sammenlignet kodene deres med det menneskeskapte referansepunktet. Det sentrale spørsmålet var hvor mye av dette materialet som forble brukbart når man tok hensyn til kontekst, overlapping og samsvar med forskerutviklede temaer.

Fra modellytelse til forskningsarbeidsflyt

Studien plasserer seg i skjæringspunktet mellom tematisk analyse og KI-assistert kvalitativ forskning. Tematisk analyse brukes ofte på intervjuer, fokusgrupper og semistrukturerte samtaler for å identifisere mønstre, temaer og meningsstrukturer i narrativt materiale. Styrken ligger i tolkningen: forskere beveger seg mellom transkripsjoner, koder og nye temaer, samtidig som de tar hensyn til både eksplisitte utsagn og latente meninger. Denne prosessen er tidkrevende og ressurskrevende, og den kan preges av forskerens fagbakgrunn, teoretiske ståsted og forforståelse. Derfor støtter kvalitative forskere seg ofte på flere kodere og forhandlede vurderinger for å styrke påliteligheten (Castleberry & Nolen, 2018; Terry et al., 2017; Braun & Clarke, 2019).

*Bildetekst: Åpne store språkmodeller i kvalitativ analyse*

Store språkmodeller fremstår som attraktive nettopp på dette området. De kan behandle store tekstmengder raskt, generere forslag til koder og hjelpe forskere med å få oversikt over materialet på et tidlig stadium. Helseintervjuer introduserer imidlertid en begrensning som ofte underkommuniseres i generelle KI-diskusjoner: personvern og datasikkerhet. Artikkelen påpeker at mye eksisterende arbeid bygger på verktøy som ChatGPT, som krever nettbasert databehandling og dermed reiser konfidensialitetsproblemer når sensitive helsedata er involvert. Misra og kolleger valgte i stedet Gemma2 og Llama3.1, begge åpne modeller, slik at pasientintervjudataene ikke trengte å overføres til internettbaserte systemer.

Dette valget flytter studien bort fra en enkel modellkonkurranse. Den stiller et metodisk spørsmål: når forskere ikke kan ofre dataetikk for bekvemmelighet, kan åpne språkmodeller likevel spille en nyttig rolle i kvalitativ analyse? Svaret avhenger av hvor de plasseres i arbeidsflyten.

Tidlig koding skiller seg fra tematisk analyse

Språkmodellene i denne studien ble ikke behandlet som selvstendige kvalitative analytikere. Forfatterne beskriver tilnærmingen sin som inspirert av Braun og Clarkes (2006) sekstrinns tematiske analyse, men modellene ble hovedsakelig brukt i begynnelsen av prosessen: til å oppsummere tekstsegmenter og foreslå potensielle koder. Å gjennomgå, avgrense, organisere og tolke temaer forble forskerteamets oppgave. Modellenes bidrag fungerte derfor som analysemateriale, ikke som et ferdig forskningsfunn.

Studien testet to prompt-strategier. I den deduktive tilnærmingen mottok modellene forskningsspørsmålet, en analytisk retning, forhåndsdefinerte transkripsjoner og eksempler på innledende koder. Dette få-skudds-oppsettet (few-shot) oppmuntret modellene til å etterligne forskernes kodepraksis. I den induktive tilnærmingen mottok modellene kun oppgavebeskrivelsen, uten eksempler eller forhåndsdefinerte kategorier, og genererte koder gjennom null-skudds-prompting (zero-shot). Kontrasten er viktig fordi den skiller mellom to ulike former for modellstøtte: koding innenfor en gitt ramme, og koding basert utelukkende på råmaterialet.

Modellene produserte store mengder materiale. Llama3.1 genererte 1 042 unike koder under det deduktive rammeverket og 829 under det induktive. Gemma2 genererte 723 unike koder deduktivt og 715 induktivt. Llama3.1 ble merkbart mer omfattende når den fikk tildelt forskningsspørsmål og eksempler, mens Gemma2 produserte lignende volumer på tvers av de to tilnærmingene. På overflaten tyder disse tallene på høy produktivitet. De senere resultatene viser imidlertid at produktivitet er den minst interessante delen av bildet.

Mange koder smalnet raskt inn til få brukbare koder

Da modellenes koder ble evaluert av kvalitative forskere, ble den tilsynelatende overfloden av koder mindre imponerende. Deduktiv prompting presterte bedre enn induktiv prompting, men ikke nok til at utdataene alene ble analytisk pålitelige. Blant Gemma2s deduktive koder hadde 45,6 % innledende kontekst, 29,5 % var duplikater, og 27,1 % passet til temaene forskerne hadde identifisert. Blant Llama3.1s deduktive koder hadde 43,7 % innledende kontekst, 36,2 % var duplikater, og 26,8 % passet. De induktive resultatene var svakere: 19,2 % av Gemma2s induktive koder og 11,7 % av Llama3.1s induktive koder passet til de menneskeutviklede temaene.

Disse tallene endrer hvordan man bør lese modellresultatene. En lang liste over koder betyr ikke at en dyp analyse har funnet sted. Mye av produksjonen forble på nivå med kandidatmerking, og bare en mindre andel bar med seg nok kontekst eller tematisk treffsikkerhet til å støtte tolkning.

Dupliseringsproblemet er særlig talende. Studien bemerker at forskerne behandlet «Benefitted from Educational Program» og «Patient Education» som overlappende uttrykk under den bredere konteksten «Group Support and Education». «Positive Physician Relationship» lignet sterkt på «Positive patient doctor relationship», mens «Open Communication with Healthcare Provider» tilsvarte «Open Communication with Doctor». I slike tilfeller åpnet ikke modellen noen ny analytisk retning; den genererte alternative formuleringer for et tilsvarende konsept.

For kvalitative forskere har dette stor betydning. Manuell koding er tidkrevende, men begrepsgrensene justeres kontinuerlig under selve kodearbeidet. Resultater fra språkmodeller kommer raskt, men kan etterlate forskerne med et ekstra lag med arbeid: å rydde i nesten-synonymer, slå sammen koder, vurdere hva som utgjør et genuint nytt konsept, og skille meningsfylt variasjon fra rent språklig variasjon. Tidsbesparelser i starten kan dermed dukke opp igjen som sorteringsarbeid senere.

*Bildetekst: LLM-genererte koder og menneskelig tolkning*

Hvor modellene mister intervjuet

Den viktigste svakheten i studien er ikke bare duplisering, men den tynne kontekstforståelsen. Gemma2s deduktive koder oppnådde bare 27,1 % godt samsvar med forskerutviklede temaer, mens Llama3.1 nådde 26,8 %. Under det induktive rammeverket falt treffsikkerheten til 19,2 % for Gemma2 og 11,7 % for Llama3.1. Disse tallene tyder på at modellene kunne fange opp mange overflatesignaler knyttet til diabetes, helsepersonell, kommunikasjon, støtte og barrierer, men slet med å bevare intervjuenes fortolkningsdybde.

I pasient-lege-kommunikasjon er et uttrykk som å fokusere utelukkende på «tallene» ikke bare et spørsmål om kommunikasjonsstil. Det kan uttrykke pasientens følelse av å bli redusert til kliniske målepunkter. Det kan også peke mot frustrasjon i håndteringen av kronisk sykdom, begrenset konsultasjonstid, manglende kontinuitet i behandlingen eller en asymmetrisk klinisk relasjon. En modell kan oppdage de opplagte ordene. Det analytiske spørsmålet er hvordan disse ordene fungerer innenfor pasientens samlede beretning om helsehjelpen.

Denne forskjellen markerer skillet mellom kodegenerering og tematisk tolkning. Et tema er ikke en samling beslektede merkelapper. Det er et resonnement om hvordan mening danner mønstre på tvers av materialet. Uten stabil kontekstuell vurderingsevne kan modellen forbli nær ordforrådet i transkripsjonen, men gå glipp av strukturen i selve erfaringen.

En nyttig rolle: en ekstra gjennomlesing, ikke en endelig tolkning

Den menneskelige analysen identifiserte to brede hovedtemaer i pasient-lege-kommunikasjon: barrierer og fremmende faktorer. Barrierer omfattet respektløst helsepersonell, leger som snakket nedlatende til pasienter, manglende kontinuitet i behandlingen, fokus på «tallene» fremfor personen, utilstrekkelig tid til konsultasjon og dårlig tilgjengelighet. Fremmende faktorer inkluderte positivt og støttende helsepersonell, oppmerksomhet, partnerskap i pasientbehandlingen, helsepersonell med egenerfaring med diabetes, samt deltakelse i DHSMP-programmet, som forbedret diabetesopplæring, helsekompetanse og egenmestring.

Språkmodellene gjenga ikke bare disse temaene, men brakte også noe ytterligere materiale frem i lyset. Forskerne identifiserte supplerende undertemaer i de modellgenererte kodene, inkludert mistillit til helsepersonell, økonomiske vanskeligheter, opplevelser av at helsepersonell manglet kunnskap om diabetes eller helhetlig forståelse, mangel på emosjonell støtte og mangel på åpen kommunikasjon. Modellene løftet også frem enkelte ytringer som bare forekom én eller to ganger og som ikke var utviklet til temaer i den opprinnelige analysen, som pasienters skyldfølelse for å være en byrde for legen, frykt eller nøling med å diskutere diabetes, aldersrelatert ubehag ved å snakke om sykdommen, og følelsen av å bli forlatt av helsepersonell.

Det er her modellene blir metodisk nyttige. Verdien deres handler først og fremst om å utfordre fullstendigheten i en første gjennomlesing, snarere enn å overgå trenede forskere i fortolkning. Kvalitativ forskning har lenge benyttet flere kodere for å styrke stringens og troverdighet, delvis fordi ulike lesere legger merke til ulike nyanser og kan avdekke blindsoner i en enkelt tolkning (Lincoln & Guba, 1986). En språkmodell kan ikke erstatte denne menneskelige forhandlingsprosessen, men den kan legge til en supplerende gjennomgang av dataene. Denne gjennomgangen er ujevn og full av støy, men den kan bringe visse marginale erfaringer tilbake i forskerens søkelys.

*Bildetekst: KI-koding for tematisk analyse*

Hva som skjer etter at modellen har kodet ferdig

Etter å ha lest studien fremstår språkmodellenes plass i kvalitativ analyse som nokså konkret. De er verken systemer for automatisk temaproduksjon eller ubetydelige tekstverktøy. Deres sterkeste rolle finnes tidlig i arbeidsflyten: å hjelpe forskere med å åpne opp materialet, generere en samling kandidatkoder og løfte frem uttrykk som ellers kunne forblitt oversett. I sensitiv helseforskning tilbyr åpne modeller som Gemma2 og Llama3.1 også en praktisk fordel: forskere kan eksperimentere med KI-assistert analyse uten å laste opp sensitive pasientintervjuer til internettbaserte verktøy.

Utfordringen er at kandidatkoder fremdeles er langt unna ferdige temaer. Misra og kollegers resultater viser gjentatte ganger at modellresultatene må undersøkes på nytt av menneskelige forskere: hvilke koder som faktisk bærer kontekst, hvilke som bare er gjentakelser av lignende begreper, og hvilke som kanskje relaterer seg til diabetes eller egenmestring, men likevel ikke besvarer det spesifikke spørsmålet om pasient-lege-kommunikasjon. Gemma2 og Llama3.1 presterte bedre under det deduktive rammeverket, men treffsikkerheten var likevel bare 27,1 % og 26,8 %; under det induktive rammeverket var tallene lavere, på 19,2 % og 11,7 %. Disse tallene er mer enn bare ytelsesmål; de peker på en metodisk risiko: lesbarheten til modellgenererte koder kan lett forveksles med fortolkningsmessig tilstrekkelighetsnivå.

Slik sett fører språkmodellene forskerne tilbake til teksten i stedet for å frigjøre dem fra den. De kan løfte frem perifere erfaringer på nytt, som mistillit til helsepersonell, økonomisk belastning, mangel på emosjonell støtte, frykt for å diskutere diabetes eller en følelse av å bli forlatt av legen. Men hvorvidt disse uttrykkene er sterke nok til å utgjøre undertemaer, om de forblir isolerte øyeblikk, og om de bør omforme den opprinnelige temastrukturen, avhenger fremdeles av grundig etterprøving mot intervjutranskripsjonene. Kjerneoppgaven i kvalitativ analyse starter først etter kodegenereringen: å vende tilbake til narrativet, sammenligne kontekst, vurdere mening og avgjøre hvilke erfaringer som fortjener å bli utviklet til temaer.

References

Braun, V., & Clarke, V. (2006). Using thematic analysis in psychology. *Qualitative Research in Psychology*, 3(2), 77–101. https://doi.org/10.1191/1478088706qp063oa

Braun, V., & Clarke, V. (2019). Reflecting on reflexive thematic analysis. *Qualitative Research in Sport, Exercise and Health*, 11(4), 589–597. https://doi.org/10.1080/2159676X.2019.1628806

Castleberry, A., & Nolen, A. (2018). Thematic analysis of qualitative research data: Is it as easy as it sounds? *Currents in Pharmacy Teaching and Learning*, 10(6), 807–815. https://doi.org/10.1016/j.cptl.2018.03.019

Lincoln, Y. S., & Guba, E. G. (1986). But is it rigorous? Trust worthiness and authenticity in naturalistic evaluation. *New Directions for Program Evaluation*, 1986(30), 73–84. https://doi.org/10.1002/ev.1427

Misra, R., Dahal, R., Kirk, B., Khan, R., Dogan, G., Chataut, R., & Gyawali, P. (2026). Large Language Models in Qualitative Analysis: Comparing Traditional and Researcher-Interpreted Approaches. *International Journal of Qualitative Methods*, 25. https://doi.org/10.1177/16094069261426100

Terry, G., Hayfield, N., Clarke, V., & Braun, V., (2017). Thematic analysis. *The SAGE Handbook of Qualitative Research in Psychology*, 2(17-37), Article 25. https://doi.org/10.4135/9781526405555.n2