我们设计了一个可复现的社会分层写作任务,要求豆包AI生成一篇关于“数字鸿沟与阶层固化”的2000字论文。任务明确要求包含:理论框架(布迪厄资本理论)、实证数据(至少3个近5年研究)、APA格式引用。我们实验室在分析豆包输出时发现,其结构完整但存在明显模式化痕迹。例如,豆包在引入部分使用了“随着数字技术的飞速发展”这一高频短语,在多个测试中重复出现。我们采用困惑度公式 $PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$ 评估文本流畅性,豆包的平均困惑度为12.3,低于人类论文的18.7,表明其语言过于平滑,缺乏自然波动。
在证据层面,豆包引用了2021年《社会学研究》中的一项研究,但该研究实际发表于2020年。我们抽查了420份科技企业员工的调查数据,发现豆包对“数字资本”变量的操作化定义与原始文献存在偏差。具体而言,豆包将“每周上网时长”作为数字资本的核心指标,而原始研究使用的是“数字技能自评量表”。这种简化可能导致测量效度问题。