人工智能中的回声：为什么大语言模型难以实现情节多样性
2025年9月2日
人工智能创造力与人类想象力的比较：大语言模型基于训练数据生成模式，而人类创造力则源于独特的经历与情感。
背景：人工智能与创造力
大语言模型（LLM）正以惊人的速度发展。从撰写故事和诗歌到头脑风暴，它们在创意工作中的存在已不容忽视。但这里存在一个根本性问题：这些模型能否真正支持集体创造力，还是仅仅在模仿创造力？
以往的研究呈现出复杂的图景。一方面，LLM在创意写作、诗歌、创意生成乃至创造性思维方面都展现出潜力。另一方面，研究也指出其创造力落后于人类，其生成的故事常被评价为"可预见的平庸"。
这种张力也延伸到集体情境中。虽然人工智能可能让个人感到更有创造力，但它可能降低群体之间的想法多样性（Doshi & Hauser, 2024; Padmakumar & He, 2024）。教师在实践中经常看到这一点：第一篇由人工智能生成的文章可能令人印象深刻，但到了第十篇，模式便开始重复。曾经看似"有创意"的内容，如今显得千篇一律。
当故事开始产生回声
本研究的作者将这些重复称为"回声"。
以弗朗茨·卡夫卡的短篇小说《*Give It Up*》（《算了吧》）为例。研究者让GPT-4生成100个续写版本，没有一个与卡夫卡真实而出人意料的结局相似。相反，其中50个建议主人公"在第二个路口左转"，18个说"在第二个路口右转"，另一些则让警察为叙述者指路，还有16个提到了一家面包店。这些回声既存在于措辞层面，也存在于叙事结构层面，表明模型在不同层次上进行着重复利用。
早期研究已经指出LLM存在词汇多样性降低的问题（Mohammadi, 2024）。本研究表明，这一问题更为深层：回声出现在情节层面，即整个故事元素都在重复。
衡量独特性：Sui Generis评分
为了量化原创性，研究者提出了Sui Generis评分（拉丁语，意为"独一无二的"）。其思路很直接：
将故事拆分为若干片段。
生成多个备选续写。
检查每个片段在各输出中重复出现的频率。
频繁重复的片段得分低，而独特的转折得分高。例如，在一篇人类撰写的故事中，人们收到写着"DUCK!"（鸭子/趴下！）的神秘纸条，而最后一张写着"Goose"（鹅）的转折纸条获得了高分。相比之下，可预见的中段情节得分较低。
实验设计
研究团队测试了来自两个数据集的100个故事：
Writing Prompts（Reddit）：人类根据写作提示创作的故事。
维基百科电视剧集摘要：真实叙事弧线的浓缩版本。
人类故事和人工智能故事都被切分为等长的片段。研究使用了两个最先进的模型：GPT-4（OpenAI, 2024）和LLaMA-3（Pandey et al., 2024）。这一设置使人类与机器创造力之间可以直接比较。
故事叙述的多样性凸显了两者的反差：人类叙事充满意想不到的转折，而人工智能生成的故事则常常呼应相似的情节结构。
数据说明了什么
人类故事的得分始终更高，表现出比LLM输出更强的原创性和不可预测性。此外，回声并不局限于某一个模型。GPT-4与LLaMA-3的输出存在显著重叠，揭示了跨系统的更广泛同质化模式。
节奏也使人类与模型区别开来。人类故事会逐步建立悬念，而LLM故事往往急于收尾。这体现为高点之后突然出现的"分数下降"，意味着结局仓促且令人不满意。
最后，人类评估证实了该指标的效度。惊奇程度评分与Sui Generis评分呈中等程度相关（ρ = 0.55），表明该指标与人类对新颖性的直觉相一致。
为何重要
BLEU、ROUGE或基于嵌入的指标等标准相似性度量，往往只能捕捉表层的重叠（Ghosal et al., 2022; Shaib et al., 2024）。Sui Generis评分挖掘得更深，与人类对创造力的判断更为一致。
评分模式还揭示了更多洞见。得分低的LLM故事往往平淡或落入俗套。得分高的故事，无论出自人类还是人工智能，都包含更丰富的细节和非常规的情节。但人类仍通过使用倒叙等非线性结构胜过模型，而LLM很少做到这一点。
评分还凸显了叙事转折点：惊喜和转折往往集中在分数峰值处，而可预见的填充内容得分较低。这表明该指标既可以作为评估工具，也可以用来描绘故事的结构。
尽管计算成本较高（每个故事约需910次模型调用，约7美元），但不断下降的推理价格使这一障碍随时间推移而减小。除评估之外，Sui Generis还可以指导生成本身：优先选择独特片段以创作更具原创性的故事，即便这需要额外的计算。
GPT-4和LLaMA等大语言模型（LLM）经常产生相互重叠的故事情节，这一现象在研究中被称为叙事"回声"。
需要注意的局限
有两点值得注意。一些数据集可能与LLM的训练数据重叠，不过在本研究中，记忆效应似乎并未驱动结果。此外，该方法依赖GPT-4进行语义判断；较弱的模型可能扭曲评分，因此其可靠性需要具有相当语言能力的模型。
展望
结论很明确：单独来看，LLM的输出可能显得新颖，但在大量样本中，回声占据主导。人类故事依然更加多样、更加丰富，也更难预测。
Sui Generis评分捕捉到了这一差距。它不仅量化了故事叙述中的独特性，还与人类对惊奇的感知相关。其潜力超越文本，提供了一个可以推广到音乐、图像或视频的框架。
在更宏观的层面上，这项研究引发了文化方面的担忧。同质化的人工智能输出可能收窄创意表达并降低多样性。然而，同一指标也带来了希望：它是一种诊断并抵消这些模式的工具，推动人工智能走向更多。
References:
Doshi, A. R., & Hauser, O. P. (2024). Generative AI enhances individual creativity but reduces the collective diversity of novel content. *Science Advances*, *10*(28), eadn5290. https://doi.org/10.1126/sciadv.adn5290
Ghosal, T., Saikh, T., Biswas, T., Ekbal, A., & Bhattacharyya, P. (2022). Novelty Detection: A Perspective from Natural Language Processing. *Computational Linguistics - Association for Computational Linguistics*, *48*(1), 77–117. https://doi.org/10.1162/coli_a_00429
Mohammadi, B. (2024). Creativity Has Left the Chat: The Price of Debiasing Language Models. *arXiv.Org*.
OpenAI, Adler, S., Agarwal, S., Ahmad, L., Almeida, D., Avila, R., Babuschkin, I., Suchir Balaji, Balcom, V., Baltescu, P., Bao, H., Berner, C., Anna-Luisa Brakman, Brundage, M., Cai, T., Campbell, R., Chan, B., Chantzis, F., Chen, S., … Zhao, S. (2024). GPT-4 Technical Report. *arXiv.Org*.
Padmakumar, V., & He, H. (2024). Does Writing with Language Models Reduce Content Diversity? *arXiv.Org*.
Pandey, A., Letman, A., Yang, A., Fan, A., Rao, A., Spataru, A., Marra, C., Wong, C., Song, D., Wyatt, D., Lakomkin, E., Radenovic, F., Synnaeve, G., Georgia Lewis Anderson, Zarov, I., Copet, J., Mahadeokar, J., van der Linde, J., Hong, J., … Rait, Z. (2024). The Llama 3 Herd of Models. *arXiv.Org*.
Shaib, C., Barrow, J., Sun, J., Siu, A. F., Wallace, B. C., & Nenkova, A. (2024). Standardizing the Measurement of Text Diversity: A Tool and a Comparative Analysis of Scores. *arXiv.Org*.
Xu, W., Jojic, N., Rao, S., Brockett, C., & Dolan, B. (2025). Echoes in ai: Quantifying lack of plot diversity in llm outputs. *Proceedings of the National Academy of Sciences*, *122*(35), e2504966122.
留言