To designregler hjelper LLM-baserte anbefalingssystemer med vage kunder

Image: "Shopper using smartphone while leaning on shopping cart in a supermark" by Shixart1985 (CC BY 2.0) via Wikimedia Commons, recoloured.

Hvordan kan et chatbasert anbefalingssystem gi gode forslag når brukerne sier lite om hva de vil ha? Wang, Zhao, Wu, Lv og Jia (Production and Operations Management, 2026) utformer et system basert på åpne store språkmodeller som bygger på to prinsipper: å lære av tidligere vellykkede konverteringer og å skille generering av svar fra egenkontroll. De finner at systemet gir bedre anbefalinger uten å gjøre dialogene lengre.

Lære av konverteringer, kontrollere før svaret

Samtalebaserte anbefalingssystemer stiller brukerne spørsmål over flere runder for å snevre inn hva de ønsker. Problemet oppstår når brukerne er vage: Systemet kan enten fortsette å spørre, noe som tærer på tålmodigheten, eller gjette tidlig, noe som går ut over treffsikkerheten. I en ny artikkel i Production and Operations Management behandler Jiahui Wang, Hongke Zhao, Likang Wu, Bing Lv og Ning Jia denne spenningen mellom treffsikkerhet og interaksjonskostnad som et designproblem for digitale plattformer.

Forfatterne følger en designvitenskapelig tilnærming og bygger og evaluerer en artefakt i stedet for å teste en atferdsteori. Artefakten hviler på to designprinsipper. Det første, retrospektiv resultatstyrt veiledning (retrospective outcome-guided supervision), bruker historiske samtaler som endte i en vellykket konvertering, som ankerpunkter: Modellen lærer hvilke svar i tidlige faser med lite informasjon som pleier å føre til gode utfall senere. Det andre, isolert refleksjon (isolated reflection), deler arbeidet i to roller, én som genererer en anbefaling og én som kontrollerer at den er forenlig med begrensninger brukeren allerede har oppgitt, slik at et motstridende svar kan diagnostiseres og genereres på nytt.

I praksis tilpasser systemet åpne store språkmodeller med parametereffektiv finjustering og veksler mellom rollene som genererer og kontrollerer, ved hjelp av isolerte ledetekster på én felles grunnmodell, i stedet for å kjøre separate modeller. Forfatterne evaluerer systemet på tre datasett for samtalebaserte anbefalinger fra film og netthandel. Evalueringen er bred: resultateffekt, interaksjonseffektivitet, analyse på prosessnivå, ablasjonsanalyser, robusthetstester og menneskelig vurdering. De måler interaksjonseffektivitet som antall dialogrunder brukeren ser, og rapporterer beregningsbyrden (trening, minne og forsinkelse) separat.

Ifølge Wang, Zhao, Wu, Lv og Jia (Production and Operations Management, 2026) forbedrer artefakten anbefalingenes effekt og opprettholder samtidig en gunstig balanse mellom interaksjonsbyrde og konverteringsutfall. Analysen på prosessnivå viser også hvordan systemets anbefalingsatferd endrer seg etter hvert som samtalen utvikler seg, noe som gir innsikt i dialogens dynamikk og ikke bare i sluttresultatene.

Forfatterne understreker at gevinstene gjelder under de testede betingelsene. Evidensen kommer fra referansedatasett i to domener, film og netthandel, så det er fortsatt et åpent spørsmål hvordan designprinsippene fungerer med ekte brukere på en plattform i drift, i andre produktkategorier, eller når historiske konverteringsdata er sparsomme.

Hvorfor det betyr noe: For forskere innen markedsføring og informasjonssystemer viser studien hvordan en velkjent ledelsesmessig avveining, å stille flere spørsmål eller anbefale tidligere, kan gjøres om til eksplisitte og testbare designprinsipper for LLM-systemer. Den gir også en grundig evalueringsmal for LLM-baserte artefakter som skiller mellom det brukeren opplever og det plattformen betaler i regnekraft. Atferdsforskere kan bygge videre på den ved å teste i felt om assistenter som kontrollerer seg selv, faktisk vinner mer tillit og gjentatt bruk hos kunder som i utgangspunktet er usikre på hva de vil ha.

Wang, J., Zhao, H., Wu, L., Lv, B., & Jia, N. (2026). From chit-chat to conversion: Cost-efficient conversational recommendation via retrospective learning and isolated reflection. *Production and Operations Management*. https://doi.org/10.1177/10591478261502836. Uavhengig redaksjonell oppsummering av tredjepartsforskning.