top of page

如何为研究选择 AI 模型

9月13日
讀畢需時 2 分鐘

已更新:11月6日

Image: "A view of the server room at The National Archives" by The National Archives (UK) (CC BY 3.0) via Wikimedia Commons, recoloured.

更新于 2026 年 11 月 6 日。通过实际研究任务来选择模型。聊天窗口中令人信服的回答只是起点,研究还需要可追溯的证据、适当的数据处理方式和完整的过程记录。

从小规模的真实任务开始

明确输入、预期输出,以及哪些错误会使结果无法使用。文献综述中的任务可以是提取论文的样本、方法和局限,并提供页码。文本分类中的任务可以是分配编码,同时保留支持该判断的原文片段。

建立包含常见情形、模糊情形以及正确答案应为“证据不足”的试点样本。开发提示词时,预留部分样本用于后续检验。比较不同工具时,使用相同的材料和指令。

核实账号和部署方式

记录项目实际使用的供应商、产品、账号类型、已启用功能及适用协议。分别核实模型训练用途、保留期限、存储地点、删除机制、访问控制和分包处理方。付费订阅或退出模型训练本身,不能证明工作流程符合所在机构的要求。

例如,Anthropic 区分商业产品与消费者账号,其 API 数据保留文档还列明了不同功能的存储方式及例外。请查阅实际使用服务的政策:商业服务数据保留、API 数据保留。

试点应使用获准处理的样本数据。数据必须留在机构内部时,向 IT 或科研支持团队确认获批的部署方式。本地推理仍需检查连接的服务、日志和备份。硬件需求取决于具体模型、量化方式和工作负载。

根据研究需要评价输出

  • 证据准确性:每项提取的信息能否在原文中找到?

  • 覆盖程度:遗漏了哪些重要字段或困难情形?

  • 不确定性:工具能否识别缺失信息?

  • 一致性:重复运行是否改变重要判断?

  • 人工投入:每份输出需要多少人工纠正?

  • 资源消耗:试点的实际费用和耗时是多少?

上下文窗口大小表示输入容量限制。应检验工具能否在文档各处找到证据。处理文档集合时,保留文档标识,并在汇总前检查遗漏。

保留可复查的记录

保存服务显示的模型标识、日期、提示词、来源版本、参数设置、输出和审核决定。支持固定版本时应固定版本;某版本停止提供后,记录后续变更。低温度设置仍可能产生不同输出,因此应重复重要检查。

选择能够满足质量和数据治理要求的最低成本工作流程。记录选择依据,并在工具发生重要变化后重新进行试点。

留言


这项倡议得到了以下组织的支持:

  • Twitter
  • LinkedIn
  • YouTube
logo_edited.png
bottom of page