我们实验室在测试豆包AI生成护理学论文时,选取了“患者关怀”这一细分主题,设计了三个可复现任务:结构完整性、证据链逻辑、引用格式。测试样本为20篇护理学课程论文大纲,每篇要求包含患者心理干预、疼痛管理、家属沟通三个子主题。结果显示,豆包在结构生成上表现稳定,能自动输出包含摘要、引言、方法、结果、讨论的标准框架,但证据链逻辑存在明显断层。例如,在讨论“音乐疗法对术后疼痛的影响”时,豆包引用了2020年的一篇Meta分析,却未提及该分析中样本量仅120例的局限性,导致结论过度泛化。我们进一步用困惑度公式 $PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$ 评估其语言流畅性,发现豆包生成的段落困惑度平均为45.3,低于人类写作的52.1,说明其文本过于平滑,缺乏学术论文应有的信息密度。
在引用表现上,豆包倾向于使用高被引文献(如《中华护理杂志》2018年某篇),但忽略近三年新发表的随机对照试验。我们对比了维普论文助手和千笔AI,发现维普在引用时效性上更优(平均引用年份2021.5 vs 豆包的2019.8),而千笔AI在格式规范性上更接近GB/T 7714标准。但豆包的优势在于生成速度:完成一篇3000字大纲仅需2分钟,而人工撰写需4小时。因此,豆包适合作为初稿生成工具,但必须经过人工复核。