GATOS-arbeidsflyten: Kan åpen kildekode-AI hjelpe med å skalere tematisk analyse?

Yuan Ren · 31. mai

Hvorfor GATOS betyr noe

Når tallene ikke strekker til, vender samfunnsvitere seg ofte til kvalitative data. Åpne undersøkelsessvar, intervjuer og skriftlige refleksjoner kan fange opp meningsformer som er vanskelige å redusere til tall. Som Saldaña (2011) hevder, er kvalitativ dataanalyse i bunn og grunn en prosess der mening skapes: forskere konstruerer mønstre, identifiserer sammenhenger og beveger seg mellom induktiv og deduktiv resonnering.

Vanskeligheten er at dette arbeidet går sakte. Koding av kvalitative data krever vanligvis at forskere leser, tolker, sammenligner, reviderer og organiserer store tekstmengder for hånd. Prosessen er verdifull nettopp fordi den er grundig, men den skalerer ikke lett når forskeren står overfor tusenvis av åpne svar. Denne spenningen danner bakteppet for studien til Katz, Coloyan Fleming og Main, «Thematic analysis with open-source generative AI and machine learning: a new method for inductive qualitative codebook development», der de introduserer arbeidsflyten Generative AI-enabled Theme Organization and Structuring, eller GATOS.

GATOS er utformet for å utforske om åpne generative tekstmodeller, kombinert med maskinlæringsteknikker, kan støtte utvikling av kvalitative kodebøker i stor skala. Det er viktig at artikkelen ikke fremstiller KI som en erstatning for kvalitativ tolkning. Den spør i stedet om deler av kodebokutviklingsprosessen kan gjøres mer skalerbar, mer inspiserbar og mer reproduserbar. Forfatterne legger også vekt på åpne vektmodeller, fordi de kan ha fordeler når det gjelder personvern, lokal kontroll og reproduserbarhet sammenlignet med proprietære systemer, særlig når forskere jobber med sensitive kvalitative data.

*Bildetekst: Åpne KI-verktøy som GATOS hjelper forskere med å organisere store kvalitative datasett og bevarer samtidig den menneskelige tolkningen.*

Inne i GATOS-arbeidsflyten

GATOS bygger på elementer av tematisk analyse, særlig fasene som handler om å generere, utvikle og organisere koder. Braun og Clarks (2006) sekstrinns tilnærming til tematisk analyse er et viktig referansepunkt. Arbeidsflyten begynner med å oppsummere hver tekst-enhet i lys av forskerens spørsmål. Disse oppsummeringene fungerer litt som analytiske memoar: de identifiserer forskningsrelevante punkter i lengre svar. Systemet konverterer deretter disse punktene til tekst-embeddings, reduserer dimensionaliteten og klynger semantisk like punkter sammen. For eksempel kan ulike kommentarer om lederens kommunikasjon i et team havne i samme klynge, selv om de er ordlagt forskjellig.

Det mest interessante steget kommer etter klyngingen. GATOS oppretter ikke automatisk en ny kode for hver klynge. I stedet brukes en retrieval-augmented generation-tilnærming: For hver klynge henter systemet de semantisk mest like kodene som allerede finnes i kodeboken under utvikling. Moden får deretter i oppgave å vurdere om disse kodene allerede gir tilstrekkelig tematisk dekning. Hvis de gjør det, opprettes ingen ny kode. Hvis de ikke gjør det, genererer modellen en ny kode med definisjon.

Dette er delen av arbeidsflyten som ligner mest på den praktiske vurderingen en menneskelig koder alltid står i: Når er et mønster genuint nytt, og når er det bare en variant av noe som allerede er fanget opp? Verdien av GATOS ligger ikke bare i å generere koder, men i å prøve å unngå å generere unødvendige.

*Bildetekst: GATOS-arbeidsflyten for skalerbar tematisk analyse med åpen generativ KI og maskinlæring.*

Hvordan forfatterne evaluerte GATOS

For å evaluere arbeidsflyten brukte forfatterne tre syntetiske datasett fra ulike samfunnsvitenskapelige kontekster: tilbakemeldinger fra teammedlemmer, organisasjonskulturer for etisk atferd, og ansattes syn på å vende tilbake til kontoret etter pandemien. Denne simuleringsbaserte tilnærmingen er viktig fordi forfatterne på forhånd visste hvilke temaer og subtemaer som var bygget inn i dataene. De kunne derfor vurdere om GATOS fant tilbake til temaene som bevisst var lagt inn i de syntetiske svarene.

Denne designen gir forfatterne noe kvalitative forskere sjelden har: et kontrollert benchmark. Men styrken er også kilden til hovedbegrensningen. Syntetiske svar kan inneholde kjente temaer, men de kan ikke gjengi flertydigheten, motsetningene og den kontekstuelle rotete virkeligheten i kvalitative data generert av mennesker. Studien gir derfor tidlig validering av arbeidsflyten, ikke endelig bevis for at den vil fungere like godt i rotete, virkelige forskningssettinger.

Resultatene er oppmuntrende. På tvers av de tre datasettene fant GATOS tilbake til de fleste av de opprinnelige subtemaene. Noen treff var svært nære. I datasettet om tilbakevending til arbeidsplassen ble for eksempel subtemaet «motstand mot tradisjonelle kontortider» godt fanget opp av et GATOS-generert tema med nesten identisk ordlyd.

Resultatene var likevel ikke perfekte. Noen mer sammensatte ideer ble bare delvis fanget opp. Subtemaet «mål som overstyrer etiske hensyn» var for eksempel nærmest til det genererte uttrykket «prioritering av ikke-etiske faktorer». Det fanger deler av meningen, men mister den konkrete idéen om at organisatoriske mål gikk foran etiske bekymringer. Slike tilfeller er viktige fordi de viser både løftet og grensene ved metoden: Modellen identifiserer ofte det overordnede semantiske området, men kan flate ut eller blurre mer spesifikke konseptuelle sammenhenger.

*Bildetekst: Hvordan KI-assistert klynging og søk kan støtte utvikling av kvalitative kodebøker i stor skala.*

Løfter, mønstre og gjenstående spørsmål

Et bemerkelsesverdig mønster i resultatene er at takten på ny kodeoppretting avtok etter hvert som flere klynger ble analysert. Det tyder på at etter hvert som kodeboken ble mer utviklet, i økende grad gjenkjente modellen når en klynge allerede var dekket av eksisterende koder. I en begrenset, beregningsmessig forstand ligner dette på hvordan en kvalitativ forsker kan begynne å gjenbruke koder etter hvert som analysen skrider frem. Men dette må ikke forveksles med teoretisk metning i den fullere kvalitative forstand, som avhenger av menneskelig tolkning, forskningsformål og teoretisk skjønn.

Forfatterne observerte også en tilnærmet 10:1-andel mellom antall simulerte svar og det endelige antallet genererte temaer på tvers av de tre casestudiene. Det er et fasinerende mønster, men artikkelen behandler det varsomt: Det er fortsatt uklart om andelen er en tilfeldighet ved studiedesignet, eller et mønster som generaliserer til andre datasett.

Arbeidsflyten reiser også viktige spørsmål ved skala. GATOS er laget for store datasett, men skala har en beregningsmessig kostnad. Forfatterne merker seg at 10 000 kommentarer kan gi rundt 50 000 oppsummeringspunkter og tusenvis av klynger som modellen må vurdere. Med andre ord: KI kan redusere noen former for menneskelig arbeid, men introduserer nye krav til beregning, modellvalg, promptdesign og validering av arbeidsflyten.

Et annet åpent spørsmål gjelder abstraksjonsnivået kodene genereres på. Er kodene for spesifikke, blir kodeboken redundant og vanskelig å bruke. Er de for brede, kan viktige distinksjoner forsvinne. Dette er ikke bare et teknisk problem; det er også en kvalitativ vurdering. GATOS kan bistå i prosessen, men den kan ikke fjerne behovet for at forskere avgjør hvilket konseptuelt granularitetsnivå som passer til deres forskningsspørsmål.

Konklusjon

GATOS bør først og fremst forstås som et seriøst forsøk på å gjøre deler av kvalitativ kodebokutvikling mer skalerbar og transparent. Bidraget er ikke at den løser tematisk analyse, men at den bryter en del av prosessen ned i en strukturert arbeidsflyt: oppsummering, embedding, klynging, søk, kodegenerering og temaorganisering.

Det betyr noe fordi mange samfunnsvitenskapelige forskere står overfor en voksende ubalanse mellom rikdommen i kvalitative data og de praktiske grensene for manuell koding. Salomon (1991) argumenterte for å bevege seg forbi de stive skillet mellom kvalitativ og kvantitativ tilnærming, og GATOS kan leses i den ånden. Den kollapser ikke kvalitativ analyse ned til beregning, men spør hvor beregningsverktøy kan støtte kvalitativt arbeid på et ansvarlig vis.

Nøkkelspørsmålet er derfor ikke om KI kan erstatte den kvalitative forskeren. Det er om arbeidsflyter som GATOS kan overta noe av det repeterende arbeidet med å organisere store tekstdatasett, mens tolkning, refleksivitet og teoretisk skjønn forblir i menneskelige hender. På det spørsmålet gir artikkelen et varsomt, men nyttig svar: ja, kanskje, men bare hvis forskere holder seg klar over hva arbeidsflyten kan, hva den ikke kan, og hvor menneskelig skjønn fortsatt betyr mest.

References

Braun, V., & Clarke, V. (2006). Using thematic analysis in psychology. *Qualitative Research in Psychology*, 3(2), 77–101. https://doi.org/10.1191/1478088706qp063oa

Katz, A., Fleming, G. C., & Main, J. B. (2026). Thematic analysis with open-source generative AI and machine learning: a new method for inductive qualitative codebook development. *Humanities & Social Sciences Communications*, 13(1), Article 209. https://doi.org/10.1057/s41599-026-06508-5

Saldaña, J. (2011). *Fundamentals of qualitative research*. Oxford University Press.

Salomon, G. (1991). Transcending the Qualitative-Quantitative Debate: The Analytic and Systemic Approaches to Educational Research. *Educational Researcher*, 20(6), 10–18. https://doi.org/10.3102/0013189X020006010