Gjør AI deg egentlig mer produktiv? Bevisene ble nettopp mindre solide

Image via Wikimedia Commons.jpg) (public domain).

17. august

Velkommen til ukens oversikt over hvordan kunstig intelligens omformer forskningen, hentet fra Nature, Science, PNAS og ledende forretnings- og samfunnsvitenskapelige tidsskrifter.

Når «AI gjorde meg mer produktiv» bare er hvordan du definerte tiltaket

En av de mest siterte påstandene om AI i vitenskapen er at forskere som begynner å bruke store språkmodeller, publiserer betydelig mer. Problemet er at ingen observerer adopsjon direkte, så studier slutter seg til den, typisk ut fra den første artikkelen en detektor flagger som LLM-assistert. I et nytt PNAS-brev, [«Scientific production in the era of large language models: Outcome-triggered treatment timing and spurious event-study dynamics»](https://doi.org/10.1073/pnas.2618638123), viser forfatterne at denne slutningsregelen er hele problemet. Fordi høytproduserende måneder mekanisk sett oftere inneholder en artikkel som blir detektert, blir behandlingstidspunktet sammenvevd med utfallet det skal forklare, og hendelsesstudien produserer et rent og overbevisende hopp etter behandling, selv når det ikke finnes noen kausal effekt.

Demonstrasjonen er uvanlig direkte. Ved å bruke rekonstruerte arXiv-data kjører forfatterne den samme designen med tilfeldig behandlingstildeling, med nøytrale (ikke-AI) nøkkelordutløsere, med invertert behandling og over placebo-perioder før ChatGPT, og hver eneste variant reproduserer samme type gevinster etter behandling. Simuleringer med en sann effekt på nøyaktig null reproduserer også det publiserte mønsteret. Konklusjonen deres er brutal: bare tidspunktet for førstegangsdeteksjon produserer bevisene. Kritikken retter seg mot Kusumegi med flere, *Science* 390, 1240 (2025), men den generaliserer til enhver design der øyeblikket for «adopsjon» leses av selve utstrømmen. Det dekker en stor og voksende andel av AI-og-produktivitet-litteraturen, både i vitenskapsmåling og i studier på bedriftsnivå.

Den lander samme uke som en nyttig realitetssjekk i den andre enden av prosessen. Nature omtaler en preprint der et agentisk system ble sluppet løs på konseptene i to informatikkartikler; det videreutviklet dem, men de opprinnelige forfatterne var lite imponert. Sayash Kapoor fra Princeton, en av medforfatterne, sa til Nature: «Jeg tror ikke full automatisering av åpen forskning er i sikte akkurat nå» ([AI isn't ready to research itself](https://www.nature.com/articles/d41586-026-02494-5)). Samlet beskriver de to historiene et felt der taket for autonom AI-forskning er lavere enn det markedsføres, og der bevisene for at AI akselererer menneskelig forskning er mer skjøre enn overskriftstallene antyder.

**Hvorfor det betyr noe:** Hvis du skriver en artikkel, en søknad eller et policymemo som lener seg på «AI øker forskningsproduktiviteten med X prosent», sjekk hvordan adopsjon ble målt før du siterer tallet. Mer generelt er dette et lærebokeksempel på et identifikasjonsproblem som kommer forkledd som et dataproblem: når behandlingsindikatoren din er utledet fra den samme prosessen som produserer utfallet, vil staggede hendelsesstudieplott se vakre ut og bety ingenting. Den samme fellen venter i hver studie som daterer AI-adopsjon ut fra AI-detektert produksjon, inkludert de ditt eget felt snart skal publisere.

Mer fra denne uken

Plattformers AI-politikk endrer skaperatferd, selv når ingen tvinges til å bruke AI

Ved å bruke to naturlige eksperimenter på ledende kinesiske plattformer for visuell kunst, der Lofter lanserte en AI-bildegenerator og Graffiti Kingdom forbød AI-generert kunst, finner forfatterne at skaperaktiviteten falt etter det AI-vennlige trekket og steg etter det AI-fiendtlige. Flere tester peker på holdningssignalering snarere enn verktøyfunksjoner eller håndheving: skaperne leser politikken som en uttalelse om plattformens forpliktelse til menneskelig arbeid og det fremtidige konkurransemiljøet. Effektene var størst blant skapere med høyere popularitet, flerplattformpublisering og AI-skeptikere, med erstattningsrisiko, oppfattet lav kvalitet og opphavsrettsbrudd som de dominerende uttalte bekymringene.

[Les originalen i Information Systems Research, 10. august →](https://doi.org/10.1287/isre.2025.2155)

Generativ AI reduserte prisdiskriminering i boligprising

Boligprisdiskriminering, at sammenlignbare boliger verdsettes lavere i nabolag med minoritetsflertall, er lenge blitt tilskrevet menneskelig skjevhet, og tidligere arbeid tydet på at konvensjonelle AI-modeller, selv de som er rettet mot rettferdighet, ikke fikser det. Denne studien sammenligner AI-genererte og menneskelig genererte boligpriser på tvers av 284 749 eiendommer i USA og finner at generativ AI faktisk kan dempe gapet, og undersøker deretter mekanismene bak dette kontraintuitive resultatet. Det er et sjeldent tilfelle av at en generativ modell reduserer snarere enn å hvitvaske en eksisterende skjevhet, og mekanismanalysen er det som gjør den siterbar.

[Les originalen i Information Systems Research, 13. juli →](https://doi.org/10.1287/isre.2024.1234)

Simulere et bankkjøp med syntetiske innskytere

Forfatteren bygger en representativ populasjon av syntetiske innskyteragenter med tildelte demografiske attributter, eksponerer dem for et viralt panikkinnlegg, randomiserer bankens kommunikasjonsinngrep og validerer modellens svar mot menneskelige referanser før det genereres systematiske meldingsvarianter. Estimerte uttaksviller deretter mates inn i en smittemodell som sprer uttak over et nærhetsnettverk. Direkte, personlig tilpasset kommunikasjon med sterk beroligelse og eksplisitte overlevelsesklausuler reduserte uttaksintensjonen betydelig, en rimelig måte å forhåndsteste krisemeldinger på som det ville vært umulig å kjøre på ekte innskytere.

[Les originalen i Management Science, 6. juli →](https://doi.org/10.1287/mnsc.2024.06807)

Når AI-presisjonsparitet møter strategisk selvavsløring

Denne analytiske artikkelen undersøker hvordan forbrukernes strategiske beslutninger om å avsløre identiteten sin samspiller med et selskaps AI-anbefalinger og investeringsvalg i AI-læring under en presisjonsparitetspolitikk. Oppsettet betyr noe fordi paritetskrav vanligvis analyseres som en ren begrensning på algoritmen, uten å ta hensyn til at forbrukerne svarer på dem ved å endre hva de avslører, som igjen endrer dataene algoritmen lærer fra. Relevant for alle som modellerer regulering av rettferdighet, personalisering eller forbrukerpersonvern.

[Les originalen i Marketing Science, 14. august →](https://doi.org/10.1287/mksc.2024.0900)

Slutt å lese p > 0,05 som «ingen effekt»

Tomek, Caldwell og Eisner tar tak i en av de mest vedvarende feiltolkningene i litteraturen: å behandle et statistisk ikke-signifikant resultat som bevis for ingen forskjell. En ikke-signifikant p-verdi er forenlig med to svært forskjellige verdener, ingen meningsfull forskjell, eller en reell forskjell som utvalget var for lite eller for støyende til å avdekke. Artikkelen forklarer hvorfor og hvordan man i stedet tester for praktisk ekvivalens. Direkte nyttig for alle som rapporterer nulleffekter, inkludert de stadig vanligere funnene om at «AI gjorde ingen forskjell».

[Les originalen i PNAS, 14. august →](https://doi.org/10.1073/pnas.2611548123)

Styre AI-agenter etter profil, ikke etter regel

Atoosa Kasirzadeh og Iason Gabriel argumenterer i Nature for å styre AI-systemer gjennom agentiske profiler, karakteriseringer av hva en AI-agent kan gjøre, på vegne av hvem og med hvilken autonomi, snarere enn gjennom generelle regler rettet mot modeller. For forskere som setter ut agenter i datainnsamling, koding eller analyse, er dette rammeverket et nyttig vokabular for å beskrive nøyaktig hvor mye uavhengig handling et system ble gitt.

[Les originalen i Nature, 12. august →](https://doi.org/10.1038/s41586-026-10805-z)

Dette var ukens innhold. Videresend gjerne til kollegaen som er i ferd med å sitere et AI-produktivitetsnummer, og utforsk KI-verktøy for din egen forskning på gaiforresearch.com.

KI-forskningsnytt