Når KI blir metoden: Standarder, benchmarks og hvem som validerer maskinen

Image via Wikimedia Commons.jpg) (public domain).

27. juli

Velkommen til ukens oversikt over hvordan kunstig intelligens omformer forskningen, hentet fra Nature, PNAS og ledende forretnings- og samfunnsvitenskapelige tidsskrifter.

KI har stille blitt et forskningsinstrument – og valideringen har ikke tatt igjen forspranget

To av ukens mest relevante artikler handler om metode, ikke modeller. I Journal of Consumer Psychology svarer en rekke [kommentarer](https://doi.org/10.1002/jcpy.70037) på Schmitt, Hao, Pham og Hofstetters forslag til generativ grunnet teori (Generative Grounded Theory, GGT) – et syvtrinns rammeverk som involverer generativ KI i korpusdannelse, datastrukturering, koding, konseptuell klynging, abstraksjon, teoretisk integrasjon og vurdering av metning. Det betyr at KI er inne i nesten hvert trinn der en tolkende forsker tradisjonelt utøver skjønn – langt utenfor ytterkanten av et kvalitativt prosjekt. Kommentarformatet er i seg selv avslørende: Feltet er ennå ikke blitt enige om hva et slikt rammeverk garanterer, og diskuterer det åpent i trykk.

Den kvantitative siden av samme problem viser seg i [Journal of Management](https://doi.org/10.1177/01492063261465289), der en syntese av [353 artikler i beregningslingvistikk](https://doi.org/10.1177/01492063261465289) publisert i ledende managementtidsskrifter fra 2013 til 2025, finner at adopsjonen har løpt foran felles standarder for å koble teoretiske konstruksjoner, språkdata og beregningsmessig måling. Forfatterne identifiserer fire gjentakende utfordringer som former troverdigheten til CL-basert forskning – med andre ord har et tiår med tekst-som-data-arbeid hatt raskere akkumulering enn konvensjonene som trengs for å evaluere det. Og i [PNAS](https://doi.org/10.1073/pnas.2509757122) gjør et team som argumenterer for offentlig benchmarking i jussen, det institusjonelle poenget: Bredt markedsførte juridiske KI-verktøy er allerede i profesjonell bruk, hallusinasjonene er så godt dokumentert at høyesterettsjustitiarius tok dem opp i sin årlige rapport om domstolene, og likevel finnes det lite offentlig informasjon om hvordan disse verktøyene faktisk presterer.

**Hvorfor det betyr noe:** Når en modell koder for deg, bygger konstruksjonen din eller utarbeider svaret ditt, blir feilegenskapene dens dine – og fagfellevurderere har for tiden ingen avtalt måte å granske dem på. Det praktiske grepet er å behandle hvert KI-assistert måletrinn slik du ville behandlet en ny skala: Rapporter nøyaktig hva modellen gjorde, hvilken modell og hvilken prompt som produserte det, og hvilken menneskelig validering du kjørte mot det. Metodedelene som overlever de neste fem årene med fagfellevurdering, vil være de som gjorde instrumentet synlig.

Mer fra denne uken

Generativ KI former hvilke menneskelige ferdigheter bedriftene etterspør

Fordi generativ KI henter data, utfører analyser og formidler informasjon, kan den erstatte arbeidere som gjør de aktivitetene, og samtidig supplere arbeidere som er avhengige av dem. Forfatterne hevder at den naturlige organisatoriske konsekvensen er nedprioritering av ferdigheter: en systematisk reduksjon i bedriftenes etterspørsel etter de menneskelige ferdighetene generativ KI effektivt kan håndtere, etter som organisasjonene justerer arbeidsdelingen. Den flytter arbeidsmarkeddebatten bort fra utflytting av hele jobber og over til en stillere omstokking av hvilke evner som fortsatt gir ansettelse.

[Les originalen i Management Science, 24. juli →](https://doi.org/10.1287/mnsc.2025.01859)

Hva som skjedde da Stack Overflow forbød ChatGPT

Stack Overflows policy som forbyr ChatGPT-genererte spørsmål og svar, skapte et naturlig eksperiment, som denne artikkelen i Information Systems Research utnytter med et difference-in-differences-design på tvers av Stack Overflow og Reddit. Med NLP-mål for språklige kjennetegn sammen med avstemmingsvariabler på begge plattformer undersøker forfatterne hvordan utestengelsen flyttet innholdet i fellesskapet. Det er et sjeldent empirisk innblikk i hva KI-styring på plattformnivå faktisk gjør med et kunnskapsallmenne.

[Les originalen i Information Systems Research, 24. juli →](https://doi.org/10.1287/isre.2024.1235)

Hvorfor mer analyse gjør strategien vanskeligere

I California Management Review beskriver forfatterne et paradoks mange ledergrupper lever med: Etter som analytisk kapasitet blir kraftigere og mer allment tilgjengelig, kan analyse troverdig støtte flere ulike fremtider samtidig. Den bindende begrensningen flytter seg derfor fra å generere innsikt til å skape valg og opprettholde forpliktelsen til det. Et nyttig rammeverk for alle som studerer – eller rådgiver om – KI-forsterket beslutningstaking.

[Les originalen i California Management Review, 20. juli →](https://doi.org/10.1177/00081256261470443)

Å revidere algoritmer krever annen statistikk enn å revidere mennesker

Diskrimineringsrettsaker anslår typisk ulikheter etter justering for observerte kovariater, i håp om å avsløre diskriminerende hensikt. Denne PNAS-artikkelen argumenterer for at strategien ikke lar seg overføre til revisjonen av algoritmene som nå vanligvis bistår beslutninger, og som typisk ikke inkluderer rase eller andre juridisk beskyttede egenskaper blant inngangene sine i det hele tatt. For forskere som jobber med rettferdighet eller revisjon, er det en direkte utfordring til standardverktøykassen.

[Les originalen i PNAS, 20. juli →](https://doi.org/10.1073/pnas.2509765122)

Rasbevisste opptaksalgoritmer møter det rettslige landskapet etter SFFA

Universiteter har begynt å bruke maskinlæringssystemer til å informere opptaksbeslutninger i samme periode som Høyesterett fastslo, i Students for Fair Admissions v. Harvard, at institusjoner ikke kan fatte opptaksbeslutninger på grunnlag av rase. Denne PNAS-artikkelen går gjennom hvordan de to parallelle utviklingene tvinger utdanningsinstitusjoner – og til slutt domstolene – til å konfrontere hva en rasbevisst algoritme egentlig er. Relevant langt utover opptak, for alle som modellerer beskyttede egenskaper.

[Les originalen i PNAS, 20. juli →](https://doi.org/10.1073/pnas.2509764123)

Kan kollektiv lisensiering avgjøre striden om KI-treningsdata?

Opphavsrettsinnehavere har saksøkt flere utviklere av storskala generative KI-systemer for bruken av opphavsrettsbeskyttede verk som treningsdata, med fair use som sentrale forsvar. Denne PNAS-analysen sporer hva som følger i hver retning – lykkes fair use, forblir utviklerne frie til å utnytte eksisterende modeller kommersielt og trene nye på samme data – og vurderer kollektiv lisensiering som en alternativ mekanisme. Direkte relevant for forskere som bygger eller finjusterer modeller på publiserte korpora.

[Les originalen i PNAS, 20. juli →](https://doi.org/10.1073/pnas.2509769122)

Hva forskere nekter å gi chatboter

Etter som KI overtar mer av forskningens rutinearbeid spurte Nature forskere om hva de bevisst beholder for seg selv. Svarene peker på delene av arbeidet folk opplever som iboende givende, ikke bare tidkrevende. En kort, human motvekt til en uke som ellers var full av styring og måling.

[Les originalen i Nature, 21. juli →](https://doi.org/10.1038/d41586-026-02213-0)

Dette var ukens innhold. Videresend gjerne artikkelen til en kollega som lar en modell kode for seg – og utforsk KI-verktøy for egen forskning på gaiforresearch.com.

KI-forskningsnytt