Hvor interessante er KI-genererte forskningsideer? 100 forskningsgruppeledere vurderte 4 400

Image: "Mathematics (cryptography) on a blackboard" by David Malone (CC BY 4.0) via Wikimedia Commons_on_a_blackboard.jpg), recoloured.

Kan en stor språkmodell foreslå forskningsideer som erfarne forskere faktisk finner interessante? Gu og Krenn utviklet SciMuse, som kombinerer en kunnskapsgraf over 58 millioner artikler med en språkmodell, og ba mer enn 100 forskningsgruppeledere vurdere 4 400 personlig tilpassede ideer. Vurderingene var gjennomsnittlig moderate, men omtrent hver fjerde idé fikk høy skår, og interessenivået lot seg forutsi.

KI-basert idéutvikling testet mot ekspertvurderinger

De fleste påstander om KI som kreativ partner i forskningen bygger på små demonstrasjoner eller automatiserte mål. Xuemei Gu og Mario Krenn, ved Max Planck Institute for the Science of Light og University of Tübingen, valgte en annen vei: de genererte ideer skreddersydd for bestemte forskere og spurte deretter disse forskerne om ideene var verdt oppmerksomheten deres. Systemet deres, SciMuse, bygger på en kunnskapsgraf laget av 58 millioner vitenskapelige artikler. Det velger ut par av begreper knyttet til forskerens eget arbeid og gir dem til en stor språkmodell, som gjør dem om til et konkret forskningsforslag.

Det er evalueringen som gjør studien uvanlig. Mer enn 100 forskningsgruppeledere, fra naturvitenskapene til humaniora, vurderte over 4 400 personlig tilpassede ideer på en femdelt skala for hvor interessante de var. Dette ga et stort tverrfaglig datasett med ekspertvurderinger av KI-genererte ideer, noe feltet i stor grad har manglet.

Hovedresultatet er nøkternt. Ifølge Gu og Krenn (PNAS, 2026) var gjennomsnittsvurderingen 2,40 av 5, og den vanligste vurderingen var 1. Likevel fikk 24,9 % av ideene 4 eller 5, slik at en betydelig minoritet framsto som virkelig interessant for ekspertene. Kanskje enda mer overraskende: Når språkmodellen fikk begrepspar valgt ut ved hjelp av kunnskapsgrafen, økte ikke ekspertenes interesse sammenlignet med en enkel grunnlinje der GPT bare så titlene på forskerens artikler. Begrepspar som ble valgt fordi de var forventet å få mange siteringer, viste til og med en svak tendens (1,94 σ) til lavere interesse enn tilfeldig valgte par.

Kunnskapsgrafen var likevel ikke uten nytte. Forfatterne rapporterer at egenskaper ved grafen kan brukes til å styre egenskapene til de genererte ideene. Ved hjelp av evalueringsdatasettet viser de også at det kan forutsies hvor interessant en idé vil være, både med et veiledet nevralt nettverk trent på grafegenskaper og med en zero-shot-rangering der en språkmodell ordner ideene. I praksis peker dette mot å generere mange kandidater og filtrere dem, framfor å forvente at hvert resultat skal være sterkt.

Noen begrensninger følger av designet. Interesse er én enkelt subjektiv dimensjon, og artikkelen beskriver den som en kvalitet som er vanskelig å måle, ikke som et mål på gjennomførbarhet, korrekthet eller framtidig gjennomslag. Tendensen til at siteringsoptimaliserte par får lavere skår, rapporteres som svak, og bør derfor leses som et signal verdt å teste videre heller enn som en fast regel.

Hvorfor det betyr noe: For forskere som eksperimenterer med språkmodeller som idépartnere, gir denne studien et realistisk utgangspunkt: De fleste KI-genererte ideer vil ikke begeistre deg, men omtrent en fjerdedel kan gjøre det, og rangering kan få dem fram. Den advarer også mot å anta at mer avanserte arbeidsflyter eller heuristikker som jakter på siteringer, gir bedre ideer. For dem som studerer vitenskapen selv, åpner det ekspertvurderte datasettet for å måle vitenskapelig interessanthet direkte, en størrelse som har betydning for hvordan vi velger forskningsspørsmål, men som sjelden har blitt målt i stor skala.

Gu, X., & Krenn, M. (2026). Generating interesting scientific ideas using knowledge graphs and LLMs: Evaluations with 100 research group leaders. *Proceedings of the National Academy of Sciences*. Les originalartikkelen. Uavhengig redaksjonell oppsummering av tredjepartsforskning.