Store språkmodeller viser menneskelignende innholdsskjevheter i overføringskjedeeksperimenter

1. april 2024 (oppdatert 8. mai 2024)

Forfattere: Alberto Acerbi (https://orcid.org/0000-0001-5827-8003, alberto.acerbi@unitn.it), Joseph M. Stubbersfield (https://orcid.org/0000-0001-8966-4679)

Redigert av Marcus Feldman, Stanford University, Stanford, CA; mottatt 10. august 2023; akseptert 26. september 2023

Publisert i *PNAS*, 26. oktober 2023, 120 (44) e2313790120, https://doi.org/10.1073/pnas.2313790120

Betydning

Bruken av KI til å produsere tekst gjennom store språkmodeller (LLM-er) er utbredt og økende, med potensielle anvendelser innen journalistikk, tekstforfatting, akademia og andre skriveoppgaver. Derfor er det viktig å forstå om tekst som produseres eller oppsummeres av LLM-er, har skjevheter. Studiene som presenteres her, viser at språkmodellen ChatGPT-3 gjenspeiler menneskelige skjevheter for visse typer innhold i det den produserer. Forekomsten av disse skjevhetene i LLM-utdata har betydning for den vanlige bruken av slike modeller, ettersom den kan forsterke menneskelige tilbøyeligheter til innhold som appellerer til disse skjevhetene.

Sammendrag

Etter hvert som bruken av store språkmodeller (LLM-er) øker, er det viktig å undersøke om de viser skjevheter i sine utdata. Forskning på kulturell evolusjon med overføringskjedeeksperimenter viser at mennesker har skjevheter i retning av å legge merke til, huske og videreformidle visse typer innhold fremfor andre. I fem forhåndsregistrerte eksperimenter med materiale fra tidligere studier med menneskelige deltakere bruker vi her den samme overføringskjedelignende metodikken, og finner at språkmodellen ChatGPT-3 viser skjevheter tilsvarende menneskers for innhold som er i samsvar med kjønnsstereotypier, sosialt, negativt, trusselrelatert og biologisk kontraintuitivt, fremfor annet innhold. Forekomsten av disse skjevhetene i LLM-utdata tyder på at slikt innhold er utbredt i treningsdataene og kan få betydelige ringvirkninger ved å forsterke eksisterende menneskelige tilbøyeligheter til kognitivt tiltalende, men ikke nødvendigvis informativt eller verdifullt, innhold.

Fullstendig artikkel