KI i forskning: Maskinlagde bevis og tillitsproblemet
Image via Wikimedia Commons.jpg) (public domain).
Velkommen til ukens gjennomgang av hvordan KI endrer forskningen, kuratert fra Nature, Science, PNAS og de ledende forretningstidsskriftene.
KI driver med matematikk i forskningsfronten. Det åpne spørsmålet er verifisering
Matematikken har blitt prøvegrunnen for KI-drevne oppdagelser, og denne uken viser tre bidrag både løftet og problemet. I PNAS tar Yichen Huang utgangspunkt i OpenAIs motbevis av Erdős' formodning om enhetsavstander, en milepæl som ifølge ham bygde på en intern modell med ikke-oppgitt beregningsbruk ved testtidspunktet, og som derfor ikke kunne reproduseres uavhengig. Som svar bygger han en bevisst enkel autonom agent på den offentlig tilgjengelige GPT-5.5 Pro, med en problemuavhengig ledetekstprosess i tre trinn: idémyldring, utførelse og gjennomgang. I åtte uavhengige forsøk med nettsøk slått av ga hver kjøring et korrekt eller i det vesentlige korrekt motbevis. Bevisene var varierte og ikke kopier av tidligere KI-resultater, og hvert forsøk brukte i gjennomsnitt omtrent 107 000 resonneringstokener. Fordi modellen ble lansert nesten en måned før OpenAI publiserte sitt resultat, unngår testen datakontaminering. Koden og alle resultater er gjort tilgjengelige.
Denne åpenheten er viktig fordi tempoet har løpt fra kontrollen. En nyhetsartikkel i Science melder at systemene KI-selskapene bruker til å kontrollere bevis, kommer under lupen etter hvert som selskapene produserer det ene matematiske gjennombruddet etter det andre. I en tilhørende lederartikkel i Science beskriver sjefredaktør H. Holden Thorp omfanget: OpenAIs annonserte mulige løsning på Navier-Stokes-problemet, et av tusenårsprisproblemene, produsert av en hær av KI-agenter til en beregningskostnad på flere millioner dollar, ble noen uker senere fulgt av 722 manuskripter om 372 problemfamilier og av løsninger fra et matematikksystem fra DeepMind publisert i Science. Thorps spørsmål rekker lenger enn matematikken: Kan tilfredsstillelsen ved å forstå noen gang erstatte spenningen ved å oppdage?
Hvorfor det er viktig: Det samme mønsteret er på vei til alle fagfelt. Når KI kan produsere resultater raskere enn mennesker kan verifisere dem, flyttes troverdigheten til dem som gjør arbeidet reproduserbart: offentlige modeller, oppgitt beregningsbruk, publisert kode og publiserte resultater. Huangs artikkel er også en mal for samfunnsforskere som bruker store språkmodeller. Rapporter modellversjonen, ledetekstprosessen, antall kjøringer og hvor ofte det fungerte, og del transkripsjonene, slik at andre kan kontrollere i stedet for bare å stole på resultatet.
Mer fra denne uken
En løsning for "silisiumutvalg" fra språkmodeller som ikke samsvarer med mennesker
Store språkmodeller brukes i økende grad til å måle menneskers preferanser og meninger, men svarene deres kan avvike fra virkelige respondenters. Yan Leng, Yunxin Sang og Ashish Agarwal introduserer human mimicry calibration (HuMCal), en modelluavhengig metode som brukes i etterkant, og som benytter aggregerte menneskelige referansedata til å lære hvordan output fra ulike ledetekster, personaer og modellsjekkpunkter skal vektes. Anvendt på data om forbrukertransaksjoner og opinionsundersøkelser slo metoden standard aggregeringsregler, og de kalibrerte vektene forble ofte nyttige på tvers av tid, geografi, bransje og spørsmålsgrupper. Dette er direkte relevant for alle som eksperimenterer med syntetiske respondenter.
Hvem er ansvarlig når KI forårsaker skade? Følg målfunksjonen
Martin Hilbert observerer at tidlige søksmål i USA holder KI-selskaper ansvarlige gjennom produktansvar og fullmaktsrett, mens forsvar basert på Section 230 og den første grunnlovstilleggsparagrafen begynner å slå sprekker. Han argumenterer for at disse veiene deler ett prinsipp som er forankret i hvordan maskinlæring fungerer: Ethvert system starter med en målfunksjon spesifisert av mennesker, med ytterligere lag av bevisst menneskelig intensjon i treningsdata, utrulling og tilsyn. Ansvar blir dermed et håndterbart juridisk spørsmål om å spore designbeslutninger, gradere hver aktørs intensjon og forutsigbarhet og fordele ansvaret, uten behov for at KI gis rettssubjektivitet eller ytringsrettigheter. Han peker på fire gjenværende hull, fra problemet med mange hender til skader som først viser seg etter utrulling.
"Intelligenssløyfen": hvorfor noen KI-agenter blir smartere i jobben
Yong Li, Ming Zeng og Alexis Li foreslår et tilbudssidens motstykke til datanettverkseffekter: Delegert bruk av en KI-agent genererer driftserfaring, som kan omdannes til fremtidig kapasitet, som igjen opprettholder bruken. Sløyfen starter først når en agent passerer en arbeidsflyts "minste levedyktige intelligens", og selv da kan den svekkes, holde seg stabil eller akselerere. Implikasjonene er at fortrinn kan avhenge mer av sløyfen enn av installert base, at produksjonskapasiteten kan vokse forbi antallet eksperter, og at kutt i evaluering eller tilsyn for å skalere raskere kan øke produksjonen på kort sikt, men svekke sløyfen.
Forklarbar KI blir med på jakten etter ekte Rembrandt-malerier
Andrés Arias-Rosales, Arthur K. Wheelock, J. Kenneth Moritz og Philip R. LeDuc presenterer en tilnærming med forklarbar KI som er utformet for å utfylle, og ikke erstatte, kjennere ved attribusjon av malerier. Den oppnår opptil 97,9 % gjenkalling og 95,8 % treffsikkerhet når den har høy konfidens, fremhever bildeområdene som ligger bak hver vurdering, og er kalibrert for å unngå overkonfidens. Treningsdataene inkluderer bevisst sammenlignbare kunstnere, som en mesters elever og lærere. En nyttig modell for samarbeid mellom mennesker og KI i ethvert fagfelt som bygger på ekspertvurderinger.
Kartlegging av konkurrenter, børsnoterte og private, ut fra nettstedtekst
Gerard Hoberg, Craig A. Knoblock, Gordon M. Phillips og Jay Pujara anvender representasjonslæring på innhold fra bedriftenes nettsteder, med vekt på bransjespesifikke produkter og tjenester, for å plassere børsnoterte og private selskaper i ett felles innbyggingsrom. Resultatet er et nettverk av konkurrerende selskaper som støtter analyser av samspill mellom selskaper og markedsutvikling, og som utvider tekstbasert bransjeklassifisering til selskaper som ikke leverer offentlige rapporter. En ferdig metode for strategi- og markedsføringsforskere som trenger konkurrentsett for private selskaper.
Det var alt for denne uken. Videresend gjerne til en kollega som fortsatt kopierer og limer inn i ChatGPT, og utforsk KI-verktøy for din egen forskning på gaiforresearch.com.
Kommentarer