KI-agenter i nettspørreundersøkelser: Er respondenten din fortsatt et menneske?

AI Agents in Online Surveys

Yuan Ren · 7. juni

KI-agenter i nettspørreundersøkelser

Driver du med nettspørreundersøkelser i dag, er det gode sjanser for at respondentene dine kommer fra en online rekrutteringsplattform. Disse plattformene ligger nå bak en stor andel av atferdsforskningen og former fagarbeid i psykologi, folkehelse, økonomi og statsvitenskap. De ligger også bak beslutninger med reelle konsekvenser i produktdesign og offentlig kommunikasjon.

Men fremveksten av store språkmodeller (LLM-er) har gjort en gammel bekymring nyaktuell: Er det faktisk de personene de later som de er, som svarer på disse undersøkelsene? Forskere er nå bekymret for to beslektede problemer. Det ene er uoppmerksomme eller uærlige mennesker som bruker LLM-hjelp (Rilla et al., 2025). Det andre er automatiserte agenter som genererer syntetiske svar i stor skala. En nylig studie av Westwood (2025) satte skarpt lys på den andre muligheten ved å vise at en LLM-drevet syntetisk respondent kan opprettholde en sammenhengende persona, produsere interne konsistente svarmønstre og unngå et bredt spekter av standard kvalitetskontroller. Funnet forsterket debatten om hvorvidt man fortsatt kan forutsette at standard kvalitetskontroller skiller menneskelige respondenter fra sofistikert automatisering (Westwood, 2025).

Dyktighet er ikke det samme som utbredelse

Andrew Gordon og kollegene hans (2026) gjør artikkelens sentrale skille svært tydelig: Å bevise at en KI-agent *kan* fullføre en undersøkelse, er ikke det samme som å bevise at agenter allerede opererer i stor skala inne i paneløkosystemene forskere faktisk bruker. Med deres begreper er forskjellen den mellom «Simple Agentic Survey Completion» og «Ecosystem-Embedded Autonomous Agentic Survey Completion». Det første betyr at en agent kan komme gjennom en undersøkelse én gang. Det andre betyr at den kan gjentatte ganger få tilgang til ekte undersøkelsesplattformer, opprettholde en sammenhengende identitet og overleve i infrastrukturen over tid. Den andre varianten er den som ville bety mest for nettbasert forskning, og den er også langt vanskeligere å påvise. Derfor fokuserer studien på to praktiske spørsmål: Hvor utbredt er KI-agenter på tvers av plattformer for nettplantaking, og hvor mye varierer kvaliteten på humane data på tvers av ulike markedssegmenter?

For å kunne bestå i et ekte panelinfrastruktur trenger en agent mer enn godt språk. Den trenger tilgang til undersøkelser, insentiver til å operere i stor skala, koordinering på tvers av mange forsøk, og evnen til å opprettholde en sammenhengende identitet over tid. Direkte førstepaneller forsvarer seg typisk mot agenter gjennom vedvarende profilering, identitetsverifisering og longitudinell atferdsovervåking, noe som gjør det langt vanskeligere for en agent å bestå enn å bestå én enkelt undersøkelsesinstans. Marketplace-aggregatorer skaper en annen type barriere fordi tilførselskildene deres er desentraliserte. Sammen med relativt beskjeden undersøkelseskompensasjon (Hornuf og Vrankar, 2022), kan disse strukturelle trekkene begrense de økonomiske insentivene for storskala agent-utrulling.

Studen holder også autonome agenter atskilt fra LLM-assistert menneskelig besvarelse (Rilla et al., 2025). Det skillet betyr noe. Et menneske som bruker ChatGPT for å svare på et åpent spørsmål, kan skape måleproblemer, men det er ikke det samme som en autonom agent som fullfører hele undersøkelser i stor skala. Tidligere studier, som Chen et al. (2026), har brukt atferdsmarkører som skrivetakt eller omvendte sjibboletter for å anslå agent-utbredelse. Problemet er at disse markørene også fanger opp LLM-assisterte mennesker, ikke bare virkelig autonome agenter.

*(Bildetekst: Datakvalitet i nettspørreundersøkelser)*

Hvordan studien testet utbredelsen av KI-agenter

Hvordan testet da forskerne om denne trusselen faktisk fantes i ekte utvalg? De rekrutterte 5 200 respondenter fra 10 plattformer på tvers av tre hovedsegmenter i det online markedet: direkte førstepaneller (Prolific, CloudResearch Connect, Verasight og Amazon Mechanical Turk), hybride forvaltede nettverk (Prodege og Dynata) og marketplace-plattformer (Qualtrics Panels, Prime Panels, PureSpectrum og Cint). Før hovedstudien validerte teamet deteksjonsmetoden i en pilotstudie. De testet en automatisert metode for miljøgjenkjenning mot 125 innsendinger fra ChatGPT, Claude, Gemini, Perplexity og egne agent-pipelines. Hovedmetoden brukte Prolific Authenticity Checker, som overvåker signaturer fra automatiserte skript, emulatorer og KI-drevne nettleserverktøy gjennom JavaScript-instrumentering, og bruker dynamisk atferdsanalyse for å skille menneskelig engasjement fra programmatisk simulerte hendelser. I piloten oppnådde metoden perfekt diskriminering, med AUC = 1.000: Den identifiserte alle 125 agent-innsendingene og ga null falske positiver blant 124 menneskelige respondenter.

Forskerne brukte også et sekundært sett med seks atferdsindikatorer. Det inkluderte antall musebevegelser (flagget hvis færre enn 189 ble registrert), reCAPTCHA v3-skår (flagget hvis under 0,7), risikoklassifisering av svindel fra Research Defender, og tre kognitive felle-spørsmål designet for å utnytte svakheter i LLM-resonnering (Affonso, 2026).

Hva resultatene faktisk viste

Hovedresultatet er overraskende avmålt: Utenom MTurk var mulige KI-agent-funn sjeldne. På tvers av hele utvalget på 5 200 respondenter identifiserte hovedflagget bare 2,37 %, eller 123 personer, som potensielle agenter. Og disse funnene var konsentrert nesten utelukkende om Amazon MTurk.

MTurk var unntaket. Det filtrerte utvalget viste, selv med krav om høy godkjenningsrate, en hoveddeteksjonsrate på 11,2 %; det ufiltrerte utvalget nådde 16 %. Til sammenligning lå alle andre plattformer under 2 %, de fleste under 1 %. Filtrerte utvalg fra CloudResearch Connect og Prolific viste henholdsvis 0 % og 0,2 %. Når MTurk ble holdt utenfor, var det ingen signifikante forskjeller i deteksjonsrater mellom direkte plattformer (0,45 %), hybride plattformer (0,38 %) og marketplace-plattformer (0,12 %). Disse funnene gir ingen overbevisende dokumentasjon på meningsfull KI-agent-innfiltaring i de undersøkelsesmiljøene som ble undersøkt, og de er forenlig med ideen om at strukturelle barrierer på plattformnivå kan begrense storskala utrulling.

Men det mest interessante var ikke bare hvor mange svar som ble flagget. Det var hvordan de flaggede svarene så ut. For å forstå dette, brukte forskerne «veridiske agenter», det vil si ekte LLM-agenter som ChatGPT og Perplexity, som benchmark. Ekte LLM-agenter presterte på eller over menneskelig nivå på nesten alle mål, inkludert forståelse, ærlighet, engasjement og kvaliteten på åpne svar. De flaggede respondentene i det faktiske utvalget så helt annerledes ut: De presterte betydelig dårligere enn både mennesker og veridiske agenter, særlig på kvalitet i åpen skriving (d = -1,32), konsistens innenfor personen (d = -1,06) og konsistens mellom personer (d = -1,58).

Det profilen betyr noe. Dårlig prestasjon, rask fullføringstid og lavkvalitets åpne svar er vanskelig å forene med moderne LLM-atferd. De ligner langt mer på tradisjonelle skriptbaserte botter (Varol et al., 2017). Derfor gjenspeiler de forhøyede deteksjonsratene på MTurk trolig at et veldokumentert, preeksisterende botproblem dukker opp igjen (Chmielewski og Kucker, 2020; Kennedy et al., 2020), snarere enn en ny invasjon av LLM-agenter. Dataene indikerer at avanserte LLM-agenter er teknisk i stand til å fullføre undersøkelser, men at de ikke var utbredt på plattformene som ble undersøkt her.

Menneskelige respondenter mot KI-agenter

Hvis KI-agenter ikke var det dominerende problemet i denne studien, hva var det da?

Svaret var langt mindre futuristisk: kvaliteten på humane respondenter. Forskerne vurderte datakvalitet hos mennesker på sju atferdsdimensjoner: oppmerksomhet, målt gjennom fire innebygde sjekker; ærlighet, målt gjennom en fiktiv merkevareoppgave; forståelse, målt gjennom gjenkalling av instruksjoner; engasjement, målt gjennom aktiv vindusfokus; konsistens innenfor personen; konsistens mellom personer, målt gjennom en Pictionary-vurderingsoppgave; og kvalitet på åpne skrivebesvarelser.

Mønsteret var vanskelig å overse. Direkte paneler presterte best, med en gjennomsnittlig kvalitetsskår på 0,84. Hybride plattformer fulgte med 0,72, og marketplace-plattformene lå lavere med 0,68. Dette hierarkiet var særlig tydelig for forståelse, oppmerksomhet og skrivekvalitet i åpne svar. De fire høyest scorende plattformene var alle direkte paneler: filtrert og ufiltrert Connect og Prolific. MTurk-utvalgene lå derimot under samtlige marketplace-plattformer.

Forfatternes tolkning er at dette ikke bare handler om én god eller dårlig leverandør. Det gjenspeiler strukturen i rekrutteringsmarkedet selv. Direkte paneler vedlikeholder proprietære respondentbassenger, vedvarende identitetsverifisering og longitudinell overvåking. Respondentene har også insentiver til å vedlikeholde gode deltakeresultater innenfor ett forvaltet økosystem.

Metadataene støtter denne tolkningen. Respondenter i direkte paneler hadde en median på bare 1 undersøkelsesforsøk de foregående 24 timene. Hybridrespondenter hadde en median på 12, og marketplace-respondenter en median på 13. I klartekst: Noen plattformer ser ut til å stole på respondenter som tar mange undersøkelser på kort tid. Den typen høyvolum-undersøkelsesaktivitet er ingen ideell betingelse for grundige og omsorgsfulle svar.

Enhetstype spilte også en rolle. I direkte paneler brukte 75,3 % av respondentene PC, mot bare 29,1 % i marketplacene. Brukere av stasjonære datamaskiner presterte konsekvent bedre enn mobilbrukere på oppgaver som krever vedvarende kognitiv innsats, som forståelse, oppmerksomhet og skriving. Det betyr ikke at respondenter på mobil er dårlige respondenter av natur. Det tyder på at sammensetningen av en plattform, inkludert hvilke enheter respondentene bruker, kan forme kvaliteten på dataene forskerne mottar.

*(Bildetekst: Online sampleplattformer og respondentkvalitet)*

Studen undersøkte også LLM-bistand blant humane respondenter. Ved å analysere språklige markører i åpne svar fant forskerne at LLM-bruk blant mennesker var litt høyere i direkte paneler, 2,2 %, enn i hybride plattformer (1,0 %) eller marketplace-plattformer (1,1 %). Dette mønsteret ble hovedsakelig drevet av ufiltrerte utvalg fra Connect med 4,1 % og Prolific med 3,0 %. Uten avbøtende tiltak som å blokkere kopier og lim inn, er disse ratene konsistente med tidligere forskning (Veselovsky et al., 2025; Westwood og Frederick, 2026). Juks, målt som bytte av faner under spørsmål om allmennkunnskap, var lavt på tvers av plattformer, rundt 4–5 %.

Kostnadsresultatene gjør kvalitetsproblemet ved plattformene enda vanskeligere å overse. Studien brukte målet «Cost Per Quality Response» (CPQR) for å vise hvor mye én brukbar, høykvalitets respons faktisk koster. PureSpectrum så billig ut ved første øyekast, med en rå kostnad på 1,73 dollar per respondent. Men så snart forfatterne satte en kvaliteterskel på 90 %, ble CPQR-en 24,47 dollar, fordi bare 7,1 % av respondentene oppfylte standarden. Direkte paneler som CloudResearch Connect og Prolific var mer kostnadseffektive ved høye kvaliteterskler til tross for høyere nominelle kostnader. Ved 90 %-terskelen var gjennomsnittlig CPQR for direkte plattformer 8,26 dollar, mot 74,43 dollar for marketplace-plattformer. Med andre ord: Å velge plattform kun på listepris kan grovt undervurdere den egentlige kostnaden ved gyldige data.

Hovedpoenget for nettspørreundersøkelser

Det større problemet var mer hverdagslig og mer handlingsrettet: Datakvaliteten hos mennesker varierte skarpt etter plattformtype. Og hovedpoenget er enkelt: Før du bare bekymrer deg for om respondentene dine er KI, bør du se nøye på hvor de menneskelige respondentene dine kommer fra.

References

Affonso, F. M. (2026). Brief Commentary: A Framework for Detecting AI Agents in Online Research. *The Journal of Consumer Research*. https://doi.org/10.1093/jcr/ucag006

Chen, S., Urminsky, O., Zhang, G., Walatka, R., Fernandez, K., Low, A., Bogard, J., & Fox, C. R. (2026). Estimating the threat of AI-agent responding across online survey platforms. PsyArXiv. https://doi.org/10.31234/osf.io/xcg26_v1

Chmielewski, M., & Kucker, S. C. (2020). An MTurk Crisis? Shifts in Data Quality and the Impact on Study Results. *Social Psychological & Personality Science*, 11(4), 464–473. https://doi.org/10.1177/1948550619875149

Gordon, A., Rothschild, D., Affonso, F. M., Sulik, J., Hauser, D., Pepin, K., & Jones, S. (2026). AI agent prevalence and data quality across multiple online sample providers. PsyArXiv. https://doi.org/10.31234/osf.io/pvdjr_v2

Hornuf, L., & Vrankar, D. (2022). Hourly Wages in Crowdworking: A Meta-Analysis. *Business & Information Systems Engineering*, 64(5), 553–573. https://doi.org/10.1007/s12599-022-00769-5

Kennedy, R., Clifford, S., Burleigh, T., Waggoner, P. D., Jewell, R., & Winter, N. J. G. (2020). The shape of and solutions to the MTurk quality crisis. *Political Science Research and Methods*, 8(4), 614–629. https://doi.org/10.1017/psrm.2020.6

Rilla, R., Werner, T., Yakura, H., Rahwan, I., & Nussberger, A.-M. (2025). Recognising, Anticipating, and Mitigating LLM Pollution of Online Behavioural Research. *arXiv.Org*.

Varol, O., Ferrara, E., Davis, C. A., Menczer, F., & Flammini, A. (2017). Online Human-Bot Interactions: Detection, Estimation, and Characterization. *arXiv.Org*.

Veselovsky, V., Manoel Horta Ribeiro, Cozzolino, P., Gordon, A., Rothschild, D., & West, R. (2023). Prevalence and prevention of large language model use in crowd work. *arXiv.Org*.

Westwood, S. J. (2025). The potential existential threat of large language models to online survey research. *Proceedings of the National Academy of Sciences*, 122(47), e2518075122. https://doi.org/10.1073/pnas.2518075122

Westwood, S. J., & Frederick, S. (2026). Reply to Van der Stigchel et al.: Empirical evidence that AI survey contamination is real and substantial. *Proceedings of the National Academy of Sciences*, 123(8), e2537420123. https://doi.org/10.1073/pnas.2537420123