KI i forskningen: Agentsvermen får en laboratoriebenk
Image: "Andrew+ robot" by Pocar19 (CC BY-SA 4.0) via Wikimedia Commons, recoloured.
Velkommen til ukens gjennomgang av hvordan KI endrer forskningen, med utvalgt stoff fra Nature, Science, PNAS og de ledende tidsskriftene.
Fra chatbot til laboratorieteam: KI-agenter begynner å kjøre eksperimenter
I to år har «KI-forskeren» stort sett levd på en skjerm. Denne uken kom den nærmere laboratoriebenken. Som Nature rapporterer, har Anthropic etablert et biologisk våtlaboratorium der menneskelige forskere og KI-agenter utformer og gjennomfører eksperimenter sammen. Det første kunngjorte funnet kom fra omtrent 950 KI-agenter som i mer enn 21 timer utforsket databaser med milliarder av proteiner på selvstyrt vis, diskuterte foreløpige resultater og valgte neste steg seg imellom. Da agentene ble bedt om å lete etter proteiner som kunne samarbeide med revers transkriptase, la de merke til en kort DNA-sekvens som gjentok seg nær et slikt gen i et kjempevirus, og fant deretter lignende repeterte sekvensrekker i andre virusgenomer. Mønstrene minner om bakterielle CRISPR-systemer. Forbeholdene er reelle: preprintet er ennå ikke fagfellevurdert, det er ukjent hva sekvensene gjør, og det finnes ikke noe kjent DNA-kuttende enzym som opptrer sammen med dem. Selskapets egen leder for livsvitenskap kaller det «et lovende spor» ("a promising lead"). Den krevende delen, å karakterisere funksjonen, er fortsatt menneskelig, fysisk arbeid.
Infrastrukturen for dette fysiske arbeidet er også i endring. En annen Nature-artikkel beskriver Model Hardware Standard (MHS), et programvarerammeverk utviklet i et samarbeid mellom Anthropic og HHMIs Janelia Research Campus. Rammeverket lar instrumenter fra ulike leverandører «snakke» med hverandre, og lar en KI-agent styre dem. Et team ved Carnegie Mellon som tester det, rapporterer at de satte opp et eksperiment i løpet av timer, en prosess som «lett kan ta måneder» ("easily take months"). Samtidig peker Science på en merkeligere bivirkning av å la agenter samarbeide i stor skala: svermer av agenter som kommuniserer med hverandre, har en tendens til å finne opp sine egne «rare begreper». Ifølge artikkelen er dette et naturlig, men urovekkende biprodukt.
Hvorfor det betyr noe: Enheten i KI-assistert forskning endrer seg fra én person som gir instrukser til én modell, til mange agenter som søker, tar beslutninger og til og med betjener utstyr med begrensede menneskelige kontrollpunkter. Det øker produktiviteten, men forskyver også forskerens oppgave mot revisjon: å lese agentlogger som kan gli over i et privat fagspråk, og å avgjøre hvilke av hundrevis av maskinflaggede «rare ting» som fortjener knapp laboratorietid. For samfunnsforskere er det samme mønsteret på vei inn i datainnsamlings- og analyseprosesser. Dermed er sporbarhet, åpenhet og menneskelig verifisering de ferdighetene det lønner seg å investere i nå.
Mer fra denne uken
Menneske–KI-team presterer svakere, fordi eksperimenter sjelden lar mennesker lære
En nylig metaanalyse konkluderte med at kombinasjoner av mennesker og KI i gjennomsnitt ikke overgår den beste av de to alene. Julian Berger, Ralph Hertwig, Ralf Kurvers og kolleger reanalyserte alle de 74 studiene i metaanalysen og fant at de fleste forskningsdesign manglet elementer som støtter menneskelig læring, for eksempel tilbakemelding på utfall. Studier med tilbakemelding viste foreløpig høyere synergi. KI-forklaringer kombinert med tilbakemelding var forbundet med positiv synergi, mens forklaringer uten tilbakemelding var forbundet med negativ synergi. Forfatterne påpeker at kausale tester fortsatt er nødvendige. Dette er en tydelig designlærdom for alle som gjennomfører eksperimenter med mennesker og KI.
KI kan ikke erstatte menneskelige deltakere, hevder PNAS-forfattere
I en ny artikkel i PNAS argumenterer Jim Hoover, Alan D. J. Cooke, Geoff Tomaino og Su Hyun Lee for at KI ikke kan erstatte menneskelige deltakere i atferdsforskning, slik tittelen deres uttrykker direkte. Artikkelen tilfører en tungtveiende stemme til debatten om syntetiske respondenter som vi omtalte i august, og er verdt å lese før du prøver ut «silisiumutvalg» i en forbruker- eller spørreundersøkelse.
p-verdier for maskinlæringsvariabler
Kay Giesecke, Enguerrand Horel og Chartsiri Jirachotkulthorn introduserer AICO (Add-In COvariates), som tester om hver variabel bidrar til en modells prediktive ytelse ved å maskere informasjonen i variabelen og måle endringen. Metoden gir eksakte p-verdier og konfidensintervaller for endelige utvalg uten omtrening, surrogatmodeller eller fordelingsantakelser, og demonstreres på kredittvurdering og prediksjon av boliglånsatferd. For forskere i økonomi og finans som bruker maskinlæring, gir den et statistisk prinsipielt svar på spørsmålet «hvilke variabler betyr noe?».
OpenAI hevder å ha løst et millenniumsproblem, og fysikere gir sine vurderinger
OpenAI hevder at selskapets mest avanserte modell har løst et av millenniumsproblemene ved å vise at Navier–Stokes-likningene for væskestrømning kan gi singulariteter. Nature-artikkelen utforsker hva dette ville bety for fysikken (eksperter påpeker at likningene allerede var kjent for å bryte sammen i enkelte regimer, for eksempel i fortynnede gasser), og den bredere debatten som har oppstått om KIs matematiske evner, om modeller tar opp i seg andres upubliserte arbeid, og hvem som fortjener æren.
Legemiddelselskapers private data gir KI-baserte proteinmodeller et kraftig løft
Offentlige databaser mangler tilstrekkelig mange eksempler på hvordan proteiner og legemidler samvirker. Nature omtaler et KI-system trent på mer enn 20 000 proteinstrukturer bidratt av legemiddelselskaper, som overgår AlphaFold-lignende modeller trent kun på offentlige data. Dette er et talende eksempel for ethvert fagfelt: Når de avgjørende treningsdataene er proprietære, hvem får da bygge, og granske, de beste modellene?
Det var alt for denne uken. Videresend gjerne til en kollega som fortsatt kopierer og limer inn i ChatGPT, og utforsk KI-verktøy for din egen forskning på gaiforresearch.com.
Kommentarer