KI i forskningen: Hvem er det egentlig som svarer på spørreundersøkelsen din?
Image: "Questionnaire 0001" by roger_mommaerts (CC BY-SA 2.0) via Wikimedia Commons, recoloured.
Velkommen til ukens gjennomgang av hvordan KI endrer forskningen, med utvalgt stoff fra Nature, Science, PNAS og de ledende tidsskriftene innen økonomi og ledelse.
Menneske eller maskin? To PNAS-studier setter dataene dine på prøve
For alle som samler inn data på nett, er dette ukens viktigste studie. Grace Zhang, Oleg Urminsky, Kianté Fernandez og kolleger rapporterer i PNAS at de først validerte et sett med tester for KI-deteksjon som pålitelig skilte verifiserte menneskelige deltakere fra både instruerte kommersielle KI-agenter og spesialbygde agenter. Deretter gjennomførte de spørreundersøkelser på sju nettbaserte plattformer. Andelen respondenter som strøk på KI-testene, varierte fra 6 % til 41 % avhengig av plattform, sammenlignet med en andel falske positive på 2,4 % blant menneskelige deltakere som deltok fysisk. Det avgjørende er at de også viser at uoppdagede KI-agenter kan endre resultatene av nettbaserte spørreundersøkelser. Frykten for at agenter utgir seg for å være respondenter er reell, men ujevnt fordelt: forfatterne påpeker at enkelte plattformer per i dag ser ut til å levere data med en lav andel KI-agenter.
Et beslektet problem finnes på den andre siden av regnestykket: forskere som bevisst bruker store språkmodeller til å *simulere* mennesker. Nicolò Pagan, Petter Törnberg, Christopher Bail og Christopher Barrie, også i PNAS, introduserer Conversational Human Authenticity Test (CHAT), et valideringsrammeverk som kombinerer detekterbarhet, semantisk likhet og tolkbare språklige trekk. De sammenlignet ni åpne vektmodeller på tvers av fem kalibreringsstrategier (blant annet finjustering, stilistisk instruering og kontekstinnhenting) mot ekte innlegg fra X, Bluesky og Reddit, og fant at modellenes tekst fortsatt tydelig kan skilles fra menneskelig tekst selv etter kalibrering, særlig når det gjelder affektiv tone og følelsesuttrykk. Instruksjonstrente modeller gjorde det generelt dårligere enn basismodeller, større modeller hjalp ikke åpenbart, og det fantes en avveining: å få tekst til å *virke* mer menneskelig trakk den ofte lenger bort fra det mennesker faktisk sa.
Hvorfor det betyr noe: Sammen markerer disse artiklene et skifte fra bekymring til måling. Hvis du gjennomfører spørreundersøkelser på nett, er valg av plattform og innebygde KI-kontroller nå en del av metoden din, og verdt å rapportere i artikkelen. Hvis du bruker store språkmodeller som syntetiske respondenter eller agenter i sosiale simuleringer, er «det ser plausibelt ut» ikke lenger en forsvarlig valideringsstandard; rammeverk som CHAT gir fagfellene, og deg selv, noe konkret å teste mot. Den felles lærdommen: grensen mellom menneskelige data og maskindata er nå et empirisk spørsmål du må besvare i hver studie, og ikke noe du kan ta for gitt.
Mer fra denne uken
Nesten 30 % av amerikanske doktoravhandlinger innen STEM inneholder nå KI-skrevet tekst
Et arbeidsnotat fra NBER (ennå ikke fagfellevurdert), omtalt av Nature, kjørte sammendragene av mer enn 226 000 amerikanske doktoravhandlinger innen STEM fra 2019 til mai 2026 gjennom KI-detektoren Pangram. KI-generert tekst dukket først opp i 2023 med 1,7 %, steg til 18,8 % i 2025 og nådde 29,4 % tidlig i 2026, med høyest andel innen matematikk og informatikk (36 %). Ved å koble kandidatene til LinkedIn-profiler fant forfatterne at de med KI-genererte sammendrag hadde 17 % lavere sannsynlighet for å være ansatt i akademia og 16 % høyere sannsynlighet for å være i næringslivet. Dataene er korrelasjonelle, men de reiser skarpe spørsmål for doktorgradsutdanning og veiledning.
ChatGPT rammet kreativt arbeid som Google Translate skånet
Ved hjelp av to naturlige eksperimenter i et stort nettbasert arbeidsmarked sammenligner Yilmaz, Naumovska og Aggarwal Google Neural Machine Translation med ChatGPT. Googles oppgavespesifikke KI reduserte etterspørselen etter vanlige oversettelser, men hadde ingen påviselig effekt på «transkreasjon», det kreative, kulturelt tilpassede arbeidet. ChatGPT ga vesentlig større og mer ensartede reduksjoner på tvers av begge typer oppgaver. Lærdommen for alle som teoretiserer om automatisering: hvilket menneskelig arbeid som er «trygt» under prediktiv KI, lar seg ikke uten videre overføre til generativ KI.
Vil generativ KI få alt innhold til å se likt ut? Konkurranse sier nei
Laboratorie- og feltevidens tyder på at generativ KI reduserer mangfoldet i det folk produserer. Manish Raghavan påpeker at produsenter konkurrerer om kunder og oppmerksomhet, og viser formelt at konkurranse selekterer for mangfoldige KI-modeller, noe som demper homogeniseringen. En modell som topper en referansetest isolert sett, kan tilføre lite verdi i et konkurranseutsatt marked, noe som taler for å evaluere modeller ut fra bredden i fordelingen av det de produserer. Eksperimenter med tekst- og bildemodeller underbygger teorien.
En prinsipiell oppskrift for å måle konstrukter i store tekstmengder med BERT
Tudoran, Richter, Higuera Reina og Verma foreslår et totrinnsrammeverk for organisasjonsforskere: kvalitativ tolkning og strukturell temamodellering (Structural Topic Modeling) brukes til å utvikle kodeskjemaer, og BERT finjusteres deretter for å anvende disse skjemaene på hvert dokument. De beskriver to veier, konstruktstyrt og mønsteroppdagende, som begge ender i validerte, etterprøvbare mål per dokument, og illustrerer tilnærmingen på mer enn 20 000 medarbeideranmeldelser. Dette er en nyttig mal for alle som skal gjøre store tekstkorpus om til variabler som er klare for teori.
Det var alt for denne uken. Videresend gjerne til en kollega som skal lansere en nettbasert spørreundersøkelse, og utforsk KI-verktøy for din egen forskning på gaiforresearch.com.
Kommentarer