top of page

自然语言处理词典在 67,652 人中预测人员甄选结果

5小时前
讀畢需時 3 分鐘

Image: "Woman Conducting an Interview" by amtec_photos (CC BY-SA 2.0) via Wikimedia Commons, recoloured.

简单的词语列表能否为叙述性申请材料打分,并达到足以支持甄选决策的水平?Emily Campion 与 Michael Campion(Journal of Applied Psychology,2026)构建了 17 部自然语言处理词典,并在 12 个样本(N = 67,652)中加以检验,发现其预测效果稳定,在能力测验和人格测验之外还具有增量预测力,且性别与种族族裔之间的差异较小。

面向甄选研究的透明文本评分

组织在甄选过程中收集的大量文本,例如面试回答、申请短文和过往工作描述,通常只被阅读一次,之后便不再作为数据使用。Emily D. Campion(爱荷华大学)与 Michael A. Campion(普渡大学)探讨的问题是:能否借助自然语言处理中最透明的工具之一,即词典(由能够反映某一构念的词语和短语组成的精选列表),对这些材料进行自动评分。他们发表在 Journal of Applied Psychology 上的文章聚焦于被动评分,即文本原本为其他目的而收集,事后再加以评分。

作者开发了 17 部词典,涵盖基于胜任力、人格和动机的语言。随后,他们将这些词典应用于来自六项研究、共 12 个样本中的叙述性申请信息,总计 67,652 人。这些样本涵盖就业与学校情境、实验与实际运营情境、同时效度与预测效度设计,以及多种职业,因此论文能够检验这些词典能否在不同情境之间推广,而非仅仅拟合某一个数据集。

根据 Campion 与 Campion(Journal of Applied Psychology,2026)的研究,这些词典能够稳定地预测甄选评分、甄选决策以及之后的工作绩效。跨词典和跨研究的未校正总平均值,对甄选评分而言处于 .20 出头的水平,对绩效效标而言则接近 .10。这些分数还在心理能力测验和人格测验之外提供了增量预测,能够在不依赖自我报告的情况下测量动机和人格等构念,并且显示出较小的性别与种族族裔亚群体差异。

读者应当恰当看待这些效应量。与绩效之间接近 .10 的相关属于中等偏小的水平,作者也将词典定位为对现有测量工具的补充,而非替代。所报告的数值是未经校正的平均值;此外,由于材料是被动评分的,其价值取决于候选人当初出于其他目的恰好写下了什么。作者为这一方法提出的论证,与其说在于原始准确率,不如说在于不透明的机器学习模型往往缺乏的特性:词典具有可解释性,便于进行内容效度检验,并且具备常规统计技能的研究者即可使用。

为何重要:对于管理学、组织心理学和营销领域的研究者而言,这项研究提醒我们,最有用的文本分析工具未必是规模最大的模型。一份经过验证、可供检查的词语列表,能够把现有的短文档案、开放式问卷回答或访谈转录文本转化为难以测量之构念的测量指标,并为审稿人和伦理委员会留下清晰的审计轨迹。论文还回应了甄选领域长期存在的效度与不利影响之间的权衡问题,表明透明的文本评分可以在保持较小亚群体差异的同时增加预测信息;其他团队如今可以在自己的样本中检验这一主张。

Campion, E. D., & Campion, M. A. (2026). Natural language processing word dictionaries for personnel selection: Achieving explainable, generalizable, and incremental prediction with low impact when passively scoring narrative application information. *Journal of Applied Psychology*. Advance online publication. https://doi.org/10.1037/apl0001438. 本文为对第三方研究的独立编辑摘要。

留言


这项倡议得到了以下组织的支持:

  • Twitter
  • LinkedIn
  • YouTube
logo_edited.png
bottom of page