Når KI blir variabelen din: Skjulte skjevheter i KI-genererte data

28. juni

Velkommen til ukens oversikt over hvordan kunstig intelligens omformer forskningen, hentet fra Nature, Science og ledende tidsskrifter innen forretningsfag og ledelse.

Når du lar KI måle variablene dine, kan du skape systematisk skjevhet i resultatene

Det har etter hvert blitt en vanlig praksis: be en stor språkmodell om å vurdere sentimentet i en produktanmeldelse, gradere det estetiske uttrykket i en annonse eller klassifisere følelsene i en kundemelding, for deretter å bruke disse KI-genererte skårene som uavhengige variabler i en regresjon for å estimere effekten på salg eller engasjement. Dette kan overflatisk ligne en reell måling, men er det i realiteten ikke. I en ny artikkel i Information Systems Research viser Jingwen Zhang, Wendao Xue, Yifan Yu og Yong Tan at ettersom KI-prediksjoner er ufullkomne, vil det å legge dem direkte inn som forklaringsvariabler i en modell introdusere en systematisk skjevhet i de estimerte effektene. Feilen i modellens merkelapper jevner seg ikke bare ut i gjennomsnitt; den forplanter seg direkte inn i koeffisientene og de statistiske slutningene dine.

Forfatterne utvikler en korreksjonsmetode for delvis lineære modeller som retter opp forvrengningen KI-genererte variabler skaper, og gjenoppretter gyldige estimater og hypotesetester. Tidspunktet for artikkelen er avgjørende, ettersom metoden forfatterne kritiserer sprer seg raskt i fagfeltene. Samme uke foreslo markedsføringsforskere i Journal of Marketing Research et rammeverk for metalæring for å modellere dynamiske forbrukerpreferanser basert på kun et fåtall observasjoner, og operasjonsanalytikere i Production and Operations Management bygde et tolkbart maskinlæringsoppsett for å hente ut konkurranseetterretning fra brukeradferdsdata. Etter hvert som KI-avledede målinger blir standardkomponenter i empiriske analyser, opphører spørsmålet om hvorvidt slike målinger forstyrrer konklusjonene med å være rent akademisk.

**Hvorfor det betyr noe:** Dersom studien din benytter en stor språkmodell eller en annen maskinlæringsmodell til å generere en variabel, for deretter å behandle denne variabelen som en feilfri observasjon, risikerer kausale estimater å bli systematisk skjeve. Ingen mengde metodisk opprydding i senere ledd kan rette opp dette. Den praktiske lærdommen er ikke å forkaste KI-assistert måling, som ofte er eneste farbare vei for å skalere opp, men å behandle KI-genererte variabler som de støyfylte prediksjonene de faktisk er: rapporter modellens nøyaktighet og anvend korreksjonsmetoder før du tillegger koeffisientene kausal betydning.

Mer fra denne uken

Dyp læring avdekker skjulte EKG-signaler for plutselig hjertedød

Plutselig hjertedød kan forebygges med hjertestarter, men standard risikomarkører (som venstre ventrikkels ejeksjonsfraksjon) fanger ikke opp de fleste tilfellene og feilklassifiserer samtidig mange lavrisikopasienter. Ziad Obermeyer, Sendhil Mullainathan og kolleger anvendte dyp læring på et svensk datasett som koblet alle EKG-målinger i en hel region til dødsregistre, og avdekket et prediktivt signal skjult i vanlige EKG-kurver. Dette er et slående eksempel på at KI ikke bare automatiserer kjente oppgaver, men avdekker nye biomarkører fra rutinemessige kliniske data.

[Les originalartikkelen i Nature, 24. juni →](https://www.nature.com)

Operasjonsanalyse som ryggrad for handlende generativ KI

Generativ KI er i ferd med å bevege seg fra samtaleassistenter til handlende agentsystemer som sanser, beslutter og agerer direkte i operative arbeidsprosesser. Tinglong Dai, David Simchi-Levi og medforfattere beskriver et «autonomiparadoks»: jo mer operasjonell frihet et generativt KI-system tildeles, desto mer formell struktur, eksplisitte begrensninger og kontroll med halerisiko kreves. De argumenterer for at operasjonsanalyse og ledelsesvitenskap utgjør orkestreringslaget som gjør autonom KI trygg å rulle ut i faktiske forretningsprosesser.

[Les originalartikkelen i Production and Operations Management, 18. mai →](https://onlinelibrary.wiley.com/journal/19375956)

Metalæring tilpasser opplevelser basert på få datapunkter

Personalisering krever vanligvis omfattende historikk som nye brukere eller kortvarige besøkende ikke har. Mingzhang Yin, Khaled Boughanmi og Anirban Mukherjee presenterer MetaTP (Meta-Temporal Processes), et rammeverk for metalæring som fanger opp dynamiske preferanser på individnivå fra kun en håndfull observasjoner. Tilnærmingen gir virksomheter en metode for skalerbar tilpasning og styrket kundebevaring nettopp der datagrunnlaget er tynnest.

[Les originalartikkelen i Journal of Marketing Research, 3. juni →](https://journals.sagepub.com/home/mrj)

Tusen KI-agenter bygger et samfunn i Minecraft

Dataspill har blitt en sentral testarena for kunstig intelligens. I et nylig prosjekt plasserte informatikere 1 000 KI-drevne agenter inn i Minecraft og observerte at det vokste frem et «KI-samfunn» med kunstnere, kokker og oppdagere, i tråd med tidligere «Smallville»-eksperimenter med generative agenter. Arbeidet demonstrerer hvordan åpne spillverdener lar forskere studere koordinering, kultur og fremvoksende sosial adferd i populasjoner av autonome agenter.

[Les originalartikkelen i PNAS, 18. juni →](https://www.pnas.org)

Avdekker rekrutteringssvindel med ChatGPT og veiledet læring

Digitale rekrutteringsplattformer har blitt en grobunn for ansettelsessvindel rettet mot arbeidssøkere med høy motivasjon og lav mistenksomhet. Tianteng Wang og medforfattere kombinerer ChatGPT-basert tekstutvinning med teoridrevet veiledet læring for å oppdage falske stillingsutlysninger, og forener høy prediksjonsnøyaktighet med tolkbare analyser av hva som gjør en utlysning mistenkelig. Dette gir en konkret modell for å bruke store språkmodeller som en transparent og etterprøvbar del av et kontrollsystem fremfor en ugjennomsiktig svart boks.

[Les originalartikkelen i Production and Operations Management, 26. mai →](https://onlinelibrary.wiley.com/journal/19375956)

Dette var ukens viktigste oppdateringer. Del gjerne artikkelen med en kollega som mater data inn i ChatGPT uten nærmere ettertanke, og utforsk KI-verktøy for egen forskning på gaiforresearch.com.

KI-forskningsnytt