Å avdekke semantikken i begreper ved hjelp av GPT-4

1. april 2024 (oppdatert 8. mai 2024)

Forfattere: Gaël Le Mens (https://orcid.org/0000-0003-4800-0598, gael.le-mens@upf.edu), Balázs Kovács (https://orcid.org/0000-0001-6916-6357), Michael T. Hannan (https://orcid.org/0000-0002-7664-9565), Guillem Pros (https://orcid.org/0009-0009-9937-4902)

Redigert av Kenneth Wachter, University of California, Berkeley, CA; mottatt 3. juni 2023; akseptert 13. oktober 2023

Publisert i *PNAS*, 30. november 2023, 120 (49) e2309350120, https://doi.org/10.1073/pnas.2309350120

Betydning

Vi bruker GPT-4 til å lage "typikalitetsmål" som kvantitativt vurderer hvor godt tekstdokumenter samsvarer med et bestemt begrep eller en bestemt kategori. I motsetning til tidligere metoder, som krevde omfattende trening på store tekstdatasett, oppnår de GPT-4-baserte målene toppmoderne korrelasjon med menneskelige vurderinger uten slik trening. Fordi det ikke trengs treningsdata, reduseres datakravene for å oppnå modellbaserte typikalitetsmål med høy ytelse dramatisk. Analysen vår omfatter to domener: vurdering av hvor typiske bøker er for litterære genrer, og hvor typiske tweets er for Det demokratiske og Det republikanske partiet. Resultatene viser at moderne store språkmodeller (LLM-er) kan brukes til tekstanalyse i samfunnsvitenskapene utover enkel klassifisering eller merking.

Sammendrag

Evnen til nyere store språkmodeller som GPT-3.5 og GPT-4 til å generere menneskelignende tekster antyder at samfunnsforskere kan bruke disse modellene til å konstruere mål på semantisk likhet som samsvarer med menneskelig vurdering. I denne artikkelen tester vi denne intuisjonen empirisk. Vi bruker GPT-4 til å konstruere et mål på typikalitet, det vil si hvor likt et tekstdokument er et begrep. Vi evaluerer ytelsen mot andre modellbaserte typikalitetsmål ut fra korrelasjonen med menneskelige typikalitetsvurderinger. Vi gjennomfører denne sammenlignende analysen i to domener: hvor typiske bøker er for litterære genrer (med et eksisterende datasett av bokbeskrivelser) og hvor typiske tweets skrevet av medlemmer av den amerikanske kongressen er for Det demokratiske og Det republikanske partiet (med et nytt datasett). Typikalitetsmålet produsert med GPT-4 når eller overgår ytelsen til det tidligere toppmoderne typikalitetsmålet vi introduserte i en nylig artikkel [G. Le Mens, B. Kovács, M. T. Hannan, G. Pros Rius, *Sociol. Sci.* 2023, 82–117 (2023)]. Dette oppnås uten noen trening på forskningsdataene (zero-shot-læring). Dette er et gjennombrudd, fordi det tidligere toppmoderne målet krevde finjustering av en LLM på hundretusener av tekstdokumenter for å oppnå sin ytelse.

Fullstendige artikler