我们实验室在测试豆包AI处理心理学量表分析任务时,设计了一套可复现的评估流程。以某高校心理学系提供的420份大五人格量表数据为样本,要求豆包完成描述性统计、信度分析(Cronbach's α)和探索性因子分析。结果显示,豆包能正确输出均值、标准差等基础统计量,但在因子载荷矩阵的解读上出现结构性错误:将反向计分题项误归为独立因子。这一偏差源于其对心理学测量理论中“方法效应”的认知缺失。我们进一步用困惑度公式 $PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$ 量化其生成文本的流畅性,发现豆包在技术性段落中的困惑度显著低于人工写作,暗示其存在模板化风险。
在引用表现方面,豆包倾向于生成看似合理但实际不存在的参考文献。例如,它曾虚构一篇“Smith et al. (2020) 发表在Journal of Personality Assessment上的论文”,而该期刊当年并无此文献。我们建议用户在提交前使用交叉验证工具(如Google Scholar或PubMed)逐一核实引用。基于这些发现,我们编制了以下人工复核清单:
| 复核项目 | 检查要点 | 通过标准 |
|---|---|---|
| 结构完整性 | 是否包含引言、方法、结果、讨论 | 四部分齐全且逻辑连贯 |
| 统计准确性 | 描述性统计、信度、效度指标 | 数值与原始分析一致 |
| 引用真实性 | 所有参考文献可检索 | 至少80%在学术数据库存在 |
| AI痕迹 | 是否存在模板化句式 | 人工改写后通过查重 |