ChatGPT overgår crowdarbeidere i tekstannoteringsoppgaver

1. april 2024 (oppdatert 8. mai 2024)

Forfattere: Fabrizio Gilardi (https://orcid.org/0000-0002-0635-3048, gilardi@ipz.uzh.ch), Meysam Alizadeh (https://orcid.org/0000-0001-6696-6471), Maël Kubli (https://orcid.org/0000-0002-5592-9648)

Redigert av Mary Waters, Harvard University, Cambridge, MA; mottatt 27. mars 2023; akseptert 2. juni 2023

Publisert i *PNAS*, 18. juli 2023, 120 (30) e2305016120, https://doi.org/10.1073/pnas.2305016120

Sammendrag

Mange NLP-applikasjoner krever manuell tekstannotering for en rekke oppgaver, særlig for å trene klassifikatorer eller evaluere ytelsen til ikke-veiledede modeller. Avhengig av omfang og kompleksitet kan oppgavene utføres av crowdarbeidere på plattformer som MTurk, eller av opplærte annotatører, som forskningsassistenter. Med fire utvalg av tweets og nyhetsartikler (n = 6 183) viser vi at ChatGPT overgår crowdarbeidere i flere annoteringsoppgaver, deriblant relevans, standpunkt, emner og rammeidentifikasjon. På tvers av de fire datasettene er ChatGPTs zero-shot-nøyaktighet i gjennomsnitt omtrent 25 prosentpoeng høyere enn crowdarbeidernes, mens ChatGPTs interkoder-samsvar er høyere enn både crowdarbeidernes og de opplærte annotatørenes for alle oppgaver. Videre er kostnaden per annotering med ChatGPT under 0,003 dollar, omtrent tretti ganger billigere enn MTurk. Disse resultatene viser potensialet store språkmodeller har for å øke effektiviteten i tekstklassifisering drastisk.

Fullstendig artikkel