Forskere finner at KI-chatboten GPT er effektiv for flerspråklig psykologisk tekstanalyse
august 2024
En ny studie publisert i *Proceedings of the National Academy of Sciences* viser at KI-chatboten GPT er et effektivt verktøy for å analysere psykologiske konstrukter i tekst på tvers av flere språk.
Forskere fra Stanford University, Princeton University og New York University testet GPTs evne til å identifisere sentiment, emosjoner, krenkende innhold og moralske grunnverdier i tekster skrevet på 12 ulike språk. De fant at GPT presterte betydelig bedre enn tradisjonelle ordbokbaserte metoder og nesten like godt som de beste maskinlæringsmodellene, som krever omfattende trening.
«GPT oppnådde høy nøyaktighet i å identifisere psykologiske konstrukter på tvers av språk uten ytterligere treningsdata», sier førsteforfatter Steve Rathje ved Stanford University. «Dette gjør det til et kraftfullt og brukervennlig verktøy for forskere som ønsker å analysere tekstdata på flere språk.»
Studien testet tre versjoner av GPT (3.5, 4 og 4 Turbo) på over 47 000 manuelt annoterte innlegg fra sosiale medier og nyhetsoverskrifter. GPT presterte langt bedre enn ordbokmetoder og overgikk i enkelte tilfeller finjusterte maskinlæringsmodeller.
GPT presterte bemerkelsesverdig godt også på mindre utbredte afrikanske språk som swahili og kinyarwanda. Nøyaktigheten økte betydelig for hver nye versjon, særlig for disse mindre vanlige språkene.
Forskerne mener at GPT og lignende KI-modeller kan gjøre avansert tekstanalyse mer tilgjengelig for samfunnsvitere over hele verden og dermed legge til rette for mer tverrkulturell forskning. De advarer imidlertid om at mulige skjevheter i GPTs treningsdata bør tas i betraktning.
«GPT er ikke perfekt, men fremstår som et lovende verktøy som kan demokratisere avanserte tekstanalysemuligheter», sier medforfatter Jay Van Bavel ved New York University. «Forskere bør imidlertid være klar over verktøyets begrensninger og mulige skjevheter når de bruker det.»
Studien inneholder eksempelkode og veiledninger for bruk av GPT i psykologisk tekstanalyse. Forskerne håper dette vil gjøre det mulig for flere forskere å ta i bruk KI-språkmodeller i arbeidet sitt, samtidig som det stimulerer til videre forskning på styrkene og begrensningene ved disse raskt utviklende verktøyene.
Steve Rathje (https://orcid.org/0000-0001-6727-571X, srathje@alumni.stanford.edu), Dan-Mircea Mirea (https://orcid.org/0000-0002-4349-7059, dmirea@princeton.edu), Ilia Sucholutsky (https://orcid.org/0000-0003-4121-7479), +2, og Jay J. Van Bavel (https://orcid.org/0000-0002-2520-0442)
Sammendrag
Samfunns- og atferdsvitenskapene bruker i økende grad automatisert tekstanalyse for å måle psykologiske konstrukter i tekst. Vi undersøker om GPT, den store språkmodellen (LLM) som ligger til grunn for KI-chatboten ChatGPT, kan brukes som verktøy for automatisert psykologisk tekstanalyse på flere språk. På tvers av 15 datasett (n = 47 925 manuelt annoterte tweets og nyhetsoverskrifter) testet vi om ulike versjoner av GPT (3.5 Turbo, 4 og 4 Turbo) nøyaktig kan identifisere psykologiske konstrukter (sentiment, diskrete emosjoner, krenkende innhold og moralske grunnverdier) på 12 språk. Vi fant at GPT (r = 0,59 til 0,77) presterte langt bedre enn engelskspråklig ordbokanalyse (r = 0,20 til 0,30) i å identifisere psykologiske konstrukter, vurdert mot manuelle annotatorer. GPT presterte nesten like godt som, og noen ganger bedre enn, flere av de best presterende finjusterte maskinlæringsmodellene. Videre ble GPTs ytelse bedre for hver ny versjon av modellen, særlig for mindre utbredte språk, samtidig som den ble billigere. Samlet sett kan GPT være bedre enn mange eksisterende metoder for automatisert tekstanalyse, siden den oppnår relativt høy nøyaktighet på mange språk, ikke krever treningsdata og er enkel å bruke med enkle instruksjoner (f.eks. «er denne teksten negativ?») og lite kodeerfaring. Vi tilbyr eksempelkode og en videoveiledning for tekstanalyse med GPTs programmeringsgrensesnitt (API). Vi argumenterer for at GPT og andre LLM-er bidrar til å demokratisere automatisert tekstanalyse ved å gjøre avanserte evner innen naturlig språkprosessering mer tilgjengelige, og at de kan legge til rette for mer tverrspråklig forskning på lite studerte språk.
Kommentarer