Systematisk testing av tre språkmodeller avdekker lav språklig nøyaktighet, manglende svarstabilitet og en tendens til ja-svar
april 2024 (oppdatert 8. mai 2024)
Forfattere: Vittoria Dentella (https://orcid.org/0000-0001-6697-9184, vittoria.dentella@urv.cat), Fritz Günther (https://orcid.org/0000-0002-9205-6786), Evelina Leivada (https://orcid.org/0000-0003-3181-1917)
Redigert av Susan Goldin-Meadow, University of Chicago, Chicago, IL; mottatt 7. juni 2023, akseptert 28. oktober 2023
Publisert i *PNAS*, 13. desember 2023, 120 (51) e2309583120, https://doi.org/10.1073/pnas.2309583120
Betydning
Det syntetiske språket som genereres av nyere store språkmodeller (LMs), ligner sterkt på menneskers naturlige språk. Denne likheten har ført til påstander om at språkmodeller kan danne grunnlag for en teori om menneskelig språk. Fordi det mangler innsyn i hva som driver språkmodellenes prestasjoner, forblir egenskapene ved deres språkkompetanse uklare. Gjennom systematisk testing viser vi at språkmodeller presterer nær tilfeldig nivå i enkelte språklige vurderingsoppgaver, samtidig som de mangler svarstabilitet og har en tendens til å svare ja. Resultatene reiser spørsmålet om hvordan språkkunnskap i språkmodeller er konstruert slik at den får bestemte egenskaper som ikke finnes i menneskelig prestasjon.
Sammendrag
Mennesker er universelt gode til å gi stabile og nøyaktige vurderinger av hva som hører til språket deres og hva som ikke gjør det. Store språkmodeller (LMs) hevdes å ha menneskelignende språkevner; derfor forventes de å etterligne denne atferden ved å gi både stabile og nøyaktige svar når de blir spurt om en ordrekke samsvarer med eller avviker fra deres prediksjoner av neste ord. Denne studien tester om GPT-3/text-davinci-002, GPT-3/text-davinci-003 og ChatGPT viser stabilitet og nøyaktighet, ved hjelp av en rekke vurderingsoppgaver knyttet til 8 språklige fenomener: flertallsattraksjon, anafora, senterinnbygging, komparativer, intruderende resumptive pronomen, negative polaritetsuttrykk, rekkefølge av adjektiver og rekkefølge av adverb. For hvert fenomen testes 10 setninger (5 grammatiske og 5 ugrammatiske), hver gjentatt tilfeldig 10 ganger, til sammen 800 fremkalte vurderinger per språkmodell (totalt n = 2 400). Resultatene viser varierende nøyaktighet over tilfeldig nivå i den grammatiske betingelsen, nøyaktighet under tilfeldig nivå i den ugrammatiske betingelsen, betydelig instabilitet i svarene på tvers av fenomener og en tendens til ja-svar hos alle de testede språkmodellene. Vi fant heller ingen belegg for at gjentakelse hjelper modellene med å konvergere mot en prosesseringsstrategi som gir stabile svar, verken nøyaktige eller unøyaktige. Vi viser at språkmodellenes evne til å identifisere (u)grammatiske ordmønstre står i sterk kontrast til det som observeres hos mennesker (n = 80, testet på de samme oppgavene), og argumenterer for at det ikke er grunnlag for å bruke språkmodeller som teorier om menneskelig språk på deres nåværende utviklingstrinn.
Kommentarer