Workshop-oppsummering: Workshop om store språkmodeller (LLM-er) i samfunnsvitenskapelig forskning

1. juli 2024

Dato: 20. juni 2024

Foredragsholdere: Joshua Cova og Luuk Schmitz, Max Planck Institute for the Study of Societies

Denne workshopen, ledet av Joshua Cova og Luuk Schmitz fra Max Planck Institute for the Study of Societies, ga en innsiktsfull introduksjon til bruken av store språkmodeller (LLM-er) i samfunnsvitenskapelig forskning. Sesjonen dekket flere sentrale områder:

Fire hovedbruksområder for LLM-er i samfunnsvitenskapene:

a) Beregningsbasert modellering av menneskelig atferd (Aher, Arriaga, and Kalai, 2022; Dillion et al., 2023; Horton, 2023; Tjuatja et al., 2023)

b) Simulering av sosiale relasjoner (Park et al., 2023; Wang et al., 2024; Akata et al., 2023)

c) Interaksjon med menneskelige aktører (Chopra and Haaland, 2023)

d) Tekstannotering (Törnberg, 2023; Gilardi, Alizadeh, and Kubli, 2023; Leek, Bischl, and Freier, 2024; Laurer, 2024)

Validering og ytelsesmål: Cova understreket betydningen av validering ved bruk av LLM-er, med henvisning til prinsipper fra tidligere forskning innen kvantitativ tekstanalyse. Han fremhevet behovet for iterative prosesser i utformingen av instruksjoner (prompts) og bruk av ulike ytelsesmål som nøyaktighet (accuracy), presisjon (precision) og gjenkalling (recall).

Modellvalg: Schmitz drøftet betydningen av å velge riktig modell, med hensyn til faktorer som reproduserbarhet, etikk, åpenhet, språk, skalerbarhet og kompleksitet (Törnberg, 2024). Han presenterte også et beslutningstre for bruk av generative LLM-er i tekstannotering (Weber and Reichardt, 2024).

Praktiske hensyn: Foredragsholderne delte sine erfaringer med ulike LLM-plattformer og drøftet avvegningene mellom ytelse og hensynet til åpen forskning. De understreket at valget mellom LLM-er og klassifikasjonsmodeller bør baseres på de konkrete forskningsbehovene og tilgjengelige ressurser.

Etiske hensyn: Selv om temaet ikke ble grundig behandlet i denne sesjonen, nevnte foredragsholderne at forskningsetikk og debatten mellom lukkede og åpne modeller vil bli drøftet i en senere sesjon.

Workshopen ga en helhetlig oversikt over LLM-er i samfunnsvitenskapelig forskning, og fremhevet potensialet deres samtidig som den advarte mot ukritisk bruk. Foredragsholderne tok til orde for en gjennomtenkt tilnærming som vurderer alternativer og den konkrete verdien LLM-er kan tilføre forskningsprosjekter. Lysbildene finner du i Luuks innlegg på X:

https://x.com/Luukschmitz/status/1808083990529683510