NLP-ordbøker predikerer utvalgsresultater for 67 652 personer

Image: "Woman Conducting an Interview" by amtec_photos (CC BY-SA 2.0) via Wikimedia Commons, recoloured.

Kan enkle ordlister skåre fortellende søknadsmateriale godt nok til å støtte beslutninger om utvelgelse? Emily og Michael Campion (Journal of Applied Psychology, 2026) utviklet 17 ordbøker for naturlig språkbehandling og testet dem i 12 utvalg (N = 67 652). De fant stabil prediksjon, merverdi utover evne- og personlighetstester og små forskjeller etter kjønn og etnisitet.

Transparent tekstskåring for utvelgelsesforskning

Mye av teksten som organisasjoner samler inn under utvelgelse, som intervjusvar, søknadsessays og beskrivelser av tidligere jobber, leses én gang og blir deretter ikke brukt som data. Emily D. Campion (University of Iowa) og Michael A. Campion (Purdue University) undersøker om dette materialet kan skåres automatisk med et av de mest transparente verktøyene innen naturlig språkbehandling: ordbøker, det vil si kuraterte lister over ord og uttrykk som signaliserer et konstrukt. Artikkelen deres i Journal of Applied Psychology ser på passiv skåring, der teksten ble samlet inn for andre formål og skåres i etterkant.

Forfatterne utviklet 17 ordbøker som dekker kompetanse-, personlighets- og motivasjonsbasert språk. Deretter anvendte de ordbøkene på fortellende søknadsinformasjon i 12 utvalg fra seks studier, med til sammen 67 652 personer. Utvalgene omfatter arbeidsliv og skole, eksperimentelle og operative sammenhenger, samtidige og prediktive design og en rekke yrker. Dermed kan artikkelen teste om ordbøkene fungerer på tvers av sammenhenger, og ikke bare er tilpasset ett enkelt datasett.

Ifølge Campion og Campion (Journal of Applied Psychology, 2026) predikerte ordbøkene utvalgsvurderinger, utvalgsbeslutninger og senere arbeidsprestasjon på en stabil måte. Ukorrigerte samlede gjennomsnitt på tvers av ordbøker og studier lå i det lave .20-området for utvalgsvurderinger og nærmere .10 for prestasjonskriterier. Skårene ga også inkrementell prediksjon utover tester av mental evne og personlighet, fanget opp konstrukter som motivasjon og personlighet uten bruk av selvrapportering, og viste små forskjeller mellom undergrupper etter kjønn og etnisitet.

Leserne bør vurdere effektstørrelsene nøkternt. Korrelasjoner rundt .10 med arbeidsprestasjon er beskjedne, og forfatterne presenterer ordbøkene som et supplement til eksisterende mål, ikke som en erstatning. Tallene som rapporteres er ukorrigerte gjennomsnitt, og fordi materialet skåres passivt, avhenger verdien av hva kandidatene tilfeldigvis skrev for et annet formål. Forfatternes argument for metoden hviler mindre på rå treffsikkerhet enn på egenskaper som ugjennomsiktige maskinlæringsmodeller ofte mangler: ordbøker er forklarbare, enkle å innholdsvalidere og kan brukes av forskere med vanlige statistiske ferdigheter.

Hvorfor det betyr noe: For forskere innen ledelse, organisasjonspsykologi og markedsføring minner studien om at det mest nyttige verktøyet for tekstanalyse ikke alltid er den største modellen. En validert ordliste som kan inspiseres, kan gjøre eksisterende arkiver av essays, åpne spørreskjemasvar eller intervjutranskripsjoner om til mål på konstrukter som er vanskelige å fange opp, med et tydelig revisjonsspor for fagfeller og etikkomiteer. Artikkelen tar også opp den langvarige avveiningen mellom validitet og negativ effekt for enkelte grupper i utvelgelse, og antyder at transparent tekstskåring kan tilføre prediktiv informasjon samtidig som forskjellene mellom undergrupper holdes små. Andre forskningsgrupper kan nå teste denne påstanden i egne utvalg.

Campion, E. D., & Campion, M. A. (2026). Natural language processing word dictionaries for personnel selection: Achieving explainable, generalizable, and incremental prediction with low impact when passively scoring narrative application information. *Journal of Applied Psychology*. Advance online publication. https://doi.org/10.1037/apl0001438. Uavhengig redaksjonelt sammendrag av tredjepartsforskning.