KI i forskningen: Når modellen din allerede har sett fremtiden
Image: "New York Stock Exchange August 2017 02" by Arild Vågen (CC BY-SA 4.0) via Wikimedia Commons, recoloured.
Velkommen til ukens gjennomgang av hvordan KI endrer forskningen, med utvalgt stoff fra Nature, Science, PNAS og de ledende tidsskriftene innen økonomi og ledelse.
Lekkasje: den stille trusselen mot validiteten i KI-drevet forskning
Samfunnsforskere mater i økende grad nyheter, offentlige rapporter og anmeldelser inn i store språkmodeller for å måle sentiment, klassifisere tekst eller predikere utfall. Problemet, som Songrun He, Linying Lv, Asaf Manela og Jimmy Wu påpeker i Journal of Financial Economics, er at en modell som er trent på dagens internett i praksis allerede har lest fremtiden: treningsdataene kan introdusere fremtidsskjevhet (lookahead bias) og treningslekkasje i enhver historisk analyse. Løsningen deres er å trene en serie kronologisk konsistente modeller, ChronoBERT og ChronoGPT, som bare bruker tekst som var tilgjengelig på hvert tidspunkt. Til tross for denne strenge begrensningen er modellene like gode som eller bedre enn mye brukte modeller som BERT på standardiserte referansetester, og de holder følge med større åpne vektmodeller. I en prisingstest for aktiva, der avkastningen på aksjer neste dag predikeres ut fra finansnyheter, gir sanntidsresultatene deres Sharpe-forhold på nivå med en langt større og potensielt skjev Llama-modell. En subtil lærdom: fremtidsskjevhet avhenger av modell og anvendelse, og må derfor kontrolleres fra sak til sak i stedet for å antas bort.
Lekkasje er også et problem når KI selv utfører forskningen. I PNAS undersøker Ziming Luo, Atoosa Kasirzadeh og Nihar B. Shah systematisk åpne «KI-forsker»-systemer for fire fallgruver: upassende valg av referansetester, datalekkasje, feilbruk av mål og selektiv rapportering i etterkant (post hoc selection bias). Kontrollerte eksperimenter som isolerer hver fallgruve, avdekker systematiske svakheter i to representative systemer. Det avgjørende er at disse feilene er stort sett usynlige i det ferdige manuskriptet, altså nettopp det produktet fagfellevurderingen vurderer. Forfatterne viser at tilgang til hele arbeidsflytens artefakter, som loggspor og kode, gjør revisjon betydelig mer effektiv, og de oppfordrer tidsskrifter, konferanser og forskere til å gå fra vurdering av manuskriptet alene til revisjon av prosessen.
Hvorfor det betyr noe: Enten en stor språkmodell er måleinstrumentet ditt eller forskningsassistenten din, gjelder det samme spørsmålet: hva visste systemet, og når? For empirisk arbeid innen markedsføring, finans og ledelse betyr det å dokumentere modellens treningsavskjæring i forhold til utvalgsperioden, foretrekke tidskonsistente modeller for enhver tilbaketesting eller prognosepåstand, og ta vare på (og dele) loggene og koden bak KI-støttede analyser. Fagfeller som bare ser en polert PDF, kan ikke fange opp det disse artiklene viser at det er lett å overse.
Mer fra denne uken
En KI-agent løser åpne Erdős-problemer, med maskinkontrollerte bevis
Store språkmodeller blir stadig bedre i matematikk, men er upålitelige, noe som begrenser bruken i reell forskning. Dette teamet bygde en agent som genererer formelle bevis i Lean, der en kompilator verifiserer hvert steg. Den løste på egen hånd ni av 353 åpne Erdős-problemer og beviste 44 av 492 formodninger fra On-Line Encyclopedia of Integer Sequences, og selv en enkel agent som vekslet mellom generering med språkmodell og verifisering i Lean, gjenskapte Erdős-resultatene. Den bredere lærdommen: KI-resultater blir langt mer pålitelige når de kombineres med en uavhengig, automatisk kontrollør.
Dataforskere mot fageksperter: hvorfor KI-prediksjoner ikke blir brukt
Prediktive modeller forblir ofte uforståelige for ekspertene som forventes å bruke dem. Basert på en 18 måneder lang induktiv studie av tre store indiske banker sporer Joshi, Su og Zbaracki problemet tilbake til konkurrerende epistemiske ståsteder om hvordan kunnskap bør produseres og vurderes: dataforskere produserer ny kunnskap, men fageksperter avgjør om den tas i bruk. Direkte forsøk på å løse konflikten mislyktes ofte; det som fungerte, var fire brobyggende praksiser som bygget prediksjonene inn i grenseobjektene og rutinene ekspertene allerede bruker. Dette er en nyttig linse for alle som studerer innføring av KI i organisasjoner.
Lanseringen av ChatGPT flyttet aksjekurser etter arbeidsstyrkens eksponering
Eisfeldt, Schubert, Zhang og Taska konstruerer et mål på hvor eksponert bedrifters arbeidsstyrke er for generativ KI, og viser at en portefølje med lang posisjon i sterkt eksponerte og kort posisjon i mindre eksponerte bedrifter tjente 5 % i de to ukene etter lanseringen av ChatGPT. Effekten var sterkere for bedrifter med mer dataaktiva og var atskilt fra bedriftenes produkteksponering for KI. Funn om senere etterspørsel etter arbeidskraft og lønnsomhet peker mot en kanal der teknologi erstatter arbeidskraft.
Fra samsvar mellom data og modell til samsvar mellom modell og verden
Maskinlæringssystemer presterer ofte godt på treningsdata, men svikter når de tas i bruk. Castellanos, Tremblay, Lukyanenko, Parsons og kolleger hevder at feltet overoptimaliserer samsvaret mellom data og modell, og foreslår et rammeverk for «samsvar mellom modell og verden» (model-world fit), der domenekunnskap kommer inn i utviklingen gjennom eksterne representasjoner som prosessmodeller eller ontologier for å tette hull i vite-hva, vite-hvordan og vite-hvorfor. De illustrerer dette med plassering i barnevernet, der statistisk treffsikkerhet alene er et utilstrekkelig evalueringskriterium.
Ettermontering av språkmodeller slik at de leser rå byte
De fleste store språkmodeller leser tekst som delordtokener, noe som skjuler detaljer på tegnnivå. Dette er en reell begrensning for kode, biologiske sekvenser og andre data der enkelttegn betyr noe. Denne Nature-artikkelen introduserer «byteifisering» (byteification), en totrinnsprosedyre som gjør eksisterende delordmodeller om til modeller på bytenivå med minimal ekstra trening. De resulterende modellene overgår tidligere tilnærminger på bytenivå, utmerker seg på resonneringsoppgaver på tegnnivå og beholder praktisk inferenshastighet, samtidig som de gjenbruker kildemodellens økosystem.
Det var alt for denne uken. Videresend gjerne til en kollega som kjører store språkmodeller på historisk tekst, og utforsk KI-verktøy for din egen forskning på gaiforresearch.com.
Kommentarer