Sentimentanalyse i generativ KIs tidsalder

1. april 2024 (oppdatert 8. mai 2024)

Forfattere: Jan Ole Krugmann, Jochen Hartmann

Sammendrag

I den raskt fremadskridende tidsalderen for generativ KI står store språkmodeller (LLMs) som ChatGPT i front når det gjelder å omforme markedsføringspraksis og markedsføringsforskning. Denne artikkelen gir en omfattende utforskning av hvor dyktige store språkmodeller er til sentimentanalyse, en kjerneoppgave i markedsføringsforskning for å forstå forbrukernes følelser, meninger og oppfatninger. Vi sammenligner prestasjonene til tre toppmoderne språkmodeller, GPT-3.5, GPT-4 og Llama 2, med etablerte, høytpresterende modeller basert på overføringslæring. Til tross for at språkmodellene brukes uten eksempler (zero-shot), viser forskningen vår at de ikke bare kan konkurrere med, men i noen tilfeller også overgå tradisjonelle metoder for overføringslæring når det gjelder nøyaktighet i sentimentklassifisering. Vi undersøker hvordan egenskaper ved tekstdataene og analyseprosedyrene påvirker klassifiseringsnøyaktigheten, og belyser hvordan datakilde, tekstkompleksitet og promptteknikker påvirker språkmodellenes prestasjoner. Vi finner at språklige trekk som lange, innholdsrike ord forbedrer klassifiseringen, mens andre trekk, som anmeldelser på én setning og mindre strukturerte tekster fra sosiale medier, svekker den. Videre undersøker vi forklarbarheten til sentimentklassifiseringene som språkmodellene genererer. Funnene tyder på at språkmodellene, særlig Llama 2, gir bemerkelsesverdige forklaringer på klassifiseringene, noe som synliggjør deres avanserte, menneskelignende resonneringsevner. Samlet sett beriker artikkelen dagens forståelse av sentimentanalyse og gir verdifull innsikt og veiledning for markedsføringsforskere og praktikere som skal velge egnede metoder i generativ KIs tidsalder.

Denne artikkelen presenterer en omfattende studie av sentimentanalyse i lys av generativ KI, med særlig vekt på egenskapene til store språkmodeller (LLMs) som GPT-3.5, GPT-4 og Llama 2. Den vurderer hvordan disse modellene presterer i sentimentklassifisering sammenlignet med tradisjonelle modeller for overføringslæring som SiEBERT og RoBERTa.

Studien undersøker hvor dyktige språkmodeller er til sentimentanalyse uten eksempler (zero-shot) på tvers av ulike typer tekstdata, og viser at de effektivt kan konkurrere med, og tidvis overgå, tradisjonelle metoder. Den går i dybden på hvordan ulike dataegenskaper, som tekstkompleksitet, opprinnelse og lengde, påvirker klassifiseringsnøyaktigheten. Artikkelen undersøker dessuten forklarbarheten til sentimentklassifiseringer generert av språkmodeller, og viser at nyere modeller som Llama 2 gir mer forståelige og detaljerte forklaringer, noe som gjør dem mer nyttige enn eldre modeller som GPT-3.5.

Forfatterne konkluderer med at store språkmodeller er et kraftfullt og fleksibelt verktøy for sentimentanalyse, som kan gi høy nøyaktighet uten omfattende oppgavespesifikk modelltrening. Denne egenskapen gjør dem attraktive for både praktikere og forskere innen markedsføring, og forenkler sentimentanalysen betydelig i en rekke anvendelser.