Validering av store språkmodeller for automatisert perseptuell analyse
april 2024 (oppdatert 8. mai 2024)
Forfattere: Peiyao Li, Noah Castelo, Zsolt Katona, Miklos Sarvary
Publisert på nett: 25. januar 2024, https://doi.org/10.1287/mksc.2023.0454
Sammendrag
Denne artikkelen undersøker potensialet store språkmodeller (LLMs) har til å erstatte menneskelige deltakere i markedsundersøkelser. Slike språkmodeller kan brukes til å generere tekst ut fra en instruksjon (prompt). Vi argumenterer for at perseptuell analyse er et særlig lovende bruksområde for slike automatiserte markedsundersøkelser innen visse produktkategorier. Den foreslåtte nye metoden gir resultater som samsvarer godt med resultater fra spørreundersøkelser blant mennesker: samsvarsraten mellom datasett generert av mennesker og av språkmodeller er over 75 %. Dette gjelder dessuten både for perseptuell analyse basert på mål for merkevarelikhet og for vurderinger av produktegenskaper. Artikkelen viser at denne nye metoden for helt eller delvis automatiserte markedsundersøkelser for enkelte kategorier vil øke effektiviteten ved å gjøre prosessen vesentlig raskere og potensielt redusere kostnadene. Ytterligere resultater tyder også på at stadig større treningskorpus for store språkmodeller vil gjøre språkmodellbaserte markedsundersøkelser egnet til å besvare mer nyanserte spørsmål basert på demografiske variabler eller kontekstuell variasjon, som ville vært uforholdsmessig dyrt eller umulig å undersøke med menneskelige respondenter.
Artikkelen "Frontiers: Determining the Validity of Large Language Models for Automated Perceptual Analysis" av Peiyao Li, Noah Castelo, Zsolt Katona og Miklos Sarvary drøfter potensialet for å bruke store språkmodeller (LLMs) i stedet for menneskelige deltakere i markedsundersøkelser. Forfatterne argumenterer for at perseptuell analyse er et lovende bruksområde for automatiserte markedsundersøkelser med språkmodeller, fordi modellene kan generere resultater som samsvarer godt med resultater fra spørreundersøkelser blant mennesker. Studien finner at samsvarsraten mellom datasett generert av mennesker og av språkmodeller er over 75 % for perseptuell analyse basert på mål for merkevarelikhet og vurderinger av produktegenskaper. Forfatterne mener at denne nye metoden for helt eller delvis automatiserte markedsundersøkelser vil øke effektiviteten ved å gjøre prosessen raskere og potensielt redusere kostnadene. Studien ble akseptert gjennom vurderingsprosessen for *Marketing Science*: Frontiers og ble finansiert av Social Sciences and Humanities Research Council of Canada.
Kommentarer