Bruk av store språkmodeller til emnemodellering av korte tekster: modellvalg og utvalgsstørrelse
november 2024
Tenk deg at du prøver å organisere tusenvis av kommentarer om et produkt i hovedtemaer eller emner. Tradisjonelt måtte forskere enten lese gjennom alt manuelt (tidkrevende og kostbart) eller bruke eldre dataprogrammer som ofte overså viktig kontekst. En ny preprint fra OSF viser at moderne KI-systemer som GPT-4, Claude og Gemini kan gjøre denne jobben effektivt, særlig med korte tekster.
Forskerne gjennomførte to interessante eksperimenter:
Studie 1: Studie av opplevelsen av chatboter
De samlet inn svar fra 199 personer om hva som får chatboter til å virke menneskelige
De sammenlignet tre ulike måter å analysere svarene på: menneskelig analyse (en forskningsassistent som leste alt); tradisjonell dataanalyse (med en metode kalt LDA); moderne KI-analyse (med GPT-4 og Claude)
Resultat: KI-systemene samsvarte med den menneskelige analysen i 90 % av tilfellene, mens den tradisjonelle datametoden bare oppnådde 60 % nøyaktighet.
Studie 2: Studie av vaksineskepsis
De analyserte 10 000 tweets om bekymringer knyttet til covid-19-vaksiner
De testet om KI kunne identifisere hovedemnene med ulike utvalgsstørrelser
De sammenlignet tre ulike KI-systemer
Resultat: KI presterte like godt med bare 5 % av dataene som med 100 %, og oppnådde 90 % nøyaktighet.
Praktiske retningslinjer for bruk av KI i emneanalyse
Hvis du er interessert i å bruke KI til å analysere tekstdata, er her en trinnvis veiledning:
Forbered dataene
Samle tekstdataene i et ryddig format
Fjern all sensitiv eller identifiserende informasjon
Velg KI-verktøy
For små og mellomstore prosjekter: GPT-4o eller Claude 3.5 Sonnet
For store prosjekter (over 100 000 ord): Gemini Pro 1.5
Vurder å bruke flere KI-verktøy for kryssvalidering
Strategi for utvalgsstørrelse
Start med et lite utvalg (rundt 5–10 % av dataene)
Hvis datasettet er svært stort, trenger du kanskje ikke analysere alt
Bruk tilfeldig utvalg for å sikre representativitet
Skriv effektive instruksjoner (prompter)
Vær konkret i instruksjonene
Eksempel på prompt: "You are a qualitative researcher. Read this text and identify 10 main topics. Each topic should contain a name and definition. Only return the topic."
Behold temperaturinnstillingen på standardverdien (vanligvis 0,25–0,5)
Valideringsprosess
Sammenlign resultater fra ulike KI-verktøy
La en menneskelig ekspert gjennomgå emnene KI-en har identifisert
Se etter konsistens i de identifiserte emnene
Kvalitetskontroll
Dobbeltsjekk uvanlige eller uventede emner
Kontroller at KI-en ikke har oversett åpenbare temaer
Før oversikt over mønstre KI-en konsekvent overser
Viktige hensyn
Menneskelig tilsyn
Ikke stol utelukkende på KI; bruk den som en nyttig assistent
La fageksperter gjennomgå resultatene
Vær forberedt på å justere emnene basert på menneskelig innsikt
Begrensninger
KI kan overse kulturelle nyanser
Enkelte emner kan bli slått sammen eller forenklet for mye
KI kan ikke erstatte menneskelig forståelse av kontekst
Kostnadseffektivitet
Bruk av KI kan være mer kostnadseffektivt enn å ansette flere menneskelige kodere
Små utvalg kan gi pålitelige resultater og spare behandlingstid og kostnader
Vei kostnader og egenskaper ved ulike KI-tjenester mot hverandre
Framtidens tekstanalyse
Denne forskningen tyder på at KI kan revolusjonere hvordan vi analyserer tekstdata, og gjøre analysen raskere og mer tilgjengelig samtidig som nøyaktigheten forblir høy. De beste resultatene oppnås likevel når KI-ens effektivitet kombineres med menneskelig ekspertise og tilsyn.
For forskere, virksomheter og organisasjoner som arbeider med store mengder tekstdata, gir denne tilnærmingen en praktisk måte å forstå temaer og mønstre i dataene på, uten å bli overveldet av informasjonsmengden.
Kommentarer