Er det greit å bruke store språkmodeller i fagfellevurdering?
april 2024 (oppdatert 8. mai 2024)
En studie av fagfellevurderinger identifiserer dusinvis av adjektiver som kan tyde på at teksten er skrevet med hjelp av chatboter.
En studie [preprint, ennå ikke fagfellevurdert] ledet av Weixin Liang fra Stanford University tyder på at opptil 17 % av fagfellevurderingene for informatikkonferanser kan ha blitt vesentlig endret av KI-chatboter som ChatGPT. Studien identifiserte bestemte adjektiver, som "commendable", "innovative" og "meticulous", som brukes oftere i KI-skrevet tekst. Analysen fant en betydelig økning i bruken av disse adjektivene i fagfellevurderinger etter lanseringen av ChatGPT. Studien undersøkte også fagfellevurderinger fra *Nature Portfolio*-tidsskrifter, men fant ingen tilsvarende økning i bruken av disse adjektivene. Forfatterne mener at åpenhet er viktig for å forstå hvordan KI-verktøy brukes i fagfellevurdering. En separat studie av Andrew Gray anslo samtidig at minst 60 000 artikler publisert i 2023 kan ha brukt chatboter i en viss grad. Mangelen på åpenhet gjør det imidlertid vanskelig å fastslå omfanget av KI-involveringen.
Kommentarer