top of page

使用 AI 生成的数据分析结果前,先完成核查

41分钟前
讀畢需時 3 分鐘

能够查看代码、追溯数据转换,并从干净环境重新生成输出时,AI 生成的分析才具备实质审核的基础。先限定分析范围,再检验那些可能悄然改变结果的选择。

下载研究工作流程模板,其中包含证据提取、引文核查、质性编码审核和分析检查的可编辑 CSV 日志。可在电子表格或研究工作空间中使用。

本中级指南面向使用 AI 编写 R 或 Python 的研究者。需要准备分析问题、数据字典、获准使用的数据集,并具备判断模型设定的学科知识。初始设置可参阅编码代理工作流程。

请求代码前先明确分析方案

说明观察单位、结果变量、解释变量、纳入条件、缺失值处理和计划采用的分析。要求助手先列出歧义,再开始实现。在项目记录中区分预先计划的分析与后续探索。

例如:“每行代表一名参与者。估计培训时长与得分之间的关系,调整事先指定的基线变量。拟合模型前先描述缺失情况。更改排除规则、转换方式或模型设定前,请先询问。”

如果还在开发分析方案,可要求提出候选方法及其假设,再自行决定并记录理由。脚本可以运行,本身不能证明统计方法适合研究问题。

保护输入,分开保存输出

保持原始数据不变。分别保存来源数据、脚本、派生数据、图表和日志。记录包版本及运行说明。Turing Way 的研究资料包指南解释了如何通过区分输入、方法和生成结果,让研究更便于检查和复用。

开发代码时,先使用合成样本或获准数据。授予敏感数据访问权或文件修改权前,先审核代码。使用研究获批的数据环境。

用小例子检验数据转换

要求生成数据检查报告,列出行数、变量类型、缺失值、重复标识和超出预期范围的值。亲自检查结果,再用少量可手工核算的记录测试关键转换。

虚构示例:五点量表条目反向计分时,1 应变为 5,5 应变为 1。若规则要求保留缺失值,缺失得分应继续保持缺失。这些检查比询问助手“公式看起来是否正确”更有用。

合并数据时,比较前后行数并检查未匹配的键。多对多连接可能复制观察记录。重新编码时展示映射表,确认覆盖全部已出现的取值。计算组均值时,手工计算一个小组,并与代码输出对照。

审核统计设定

将代码与记录的方案逐项比较。按实际需要检查参照类别、变量转换、估计样本、权重、聚类和不确定性计算。查看适合模型的诊断结果。可以请助手结合研究设计解释某行代码,再自行验证解释。

核实结论是否恰当描述关联或因果识别。保留效应量与不确定性信息。避免只因某个设定达到期望显著性就选择它,应记录敏感性分析及各自理由。

从干净会话重新运行

重启语言会话或运行环境,再执行文档规定的入口。确认脚本仅读取声明的输入,并重新生成报告中的表格和图形。涉及随机性时,记录随机种子及环境细节;精确复现还可能依赖软件和硬件。

Turing Way 的可复现性定义区分使用相同数据与代码重复计算,以及使用新数据检验研究发现。报告时应明确两种目标。

保留审核记录

首次实现后,可以使用以下提示词:

“将脚本与分析方案比较,列出偏离、未声明输入、破坏性文件操作、未说明的行排除,以及需要研究者决定的假设。提出具有已知预期输出的小检查。不要改变模型设定或原始数据。说明仍未验证的部分。”

另一模型的审核可能提供额外检查思路,但模型之间一致并不能验证分析。同行审阅、适当诊断和手工核查例子提供不同类型的证据。

最终产出:未改动的原始输入、可读代码、环境记录、通过的检查、可复现的图表,以及研究团队决策的说明。

浏览研究学习路径。原创教程与虚构测试示例发布于 2026 年 11 月 6 日,Turing Way 来源于同日核查。

留言


这项倡议得到了以下组织的支持:

  • Twitter
  • LinkedIn
  • YouTube
logo_edited.png
bottom of page