我们实验室在分析豆包AI生成的碳捕集论文时,设计了一个可复现的测试任务:要求模型撰写一篇关于“胺基溶剂吸收CO₂”的综述性段落,包含技术原理、经济性分析和至少3篇参考文献。测试发现,豆包在结构上能自动生成引言、方法、结果和讨论的框架,但证据链存在明显断裂。例如,在描述“MEA溶剂再生能耗”时,模型直接给出“能耗降低30%”的结论,却未引用任何具体研究数据。我们进一步用$PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$公式计算了生成文本的困惑度,发现其值高达85.3,远高于人类撰写论文的典型值(约40-60),表明模型在局部连贯性上依赖高频短语拼接。
在引用表现上,豆包倾向于虚构参考文献。我们随机抽查了20条引用,其中12条在Google Scholar中无法找到对应文献,剩余8条虽存在但内容与生成文本不匹配。例如,模型引用“Smith et al. (2020)”声称“膜分离法成本低于吸收法”,但实际该文献讨论的是吸附法。这种“幻觉”现象在环境科学领域尤为危险,因为政策建议可能基于错误证据。