我们实验室在测试豆包AI生成兽医学论文时,选取了人兽共患病领域的一个典型任务:撰写关于“布鲁氏菌病流行病学特征”的综述段落。豆包能够快速生成结构完整的文本,包括定义、传播途径和防控措施,但在证据引用和逻辑严谨性上存在明显短板。例如,它引用了“某省2019年发病率数据”,但未提供具体来源,且数据年份与最新研究脱节。这种“伪引用”现象在学术写作中风险极高。
为了量化豆包的表现,我们设计了一个可复现的评估框架,包括结构完整性、证据可信度和引用规范性三个维度。在结构上,豆包能自动生成引言、主体和结论,但主体部分缺乏层次递进;在证据上,它倾向于使用模糊表述(如“研究表明”)而非具体文献;在引用上,它生成的参考文献格式虽正确,但内容常为虚构。这提示我们,豆包更适合作为初稿生成工具,而非最终输出。
一个关键概念是困惑度(Perplexity),它衡量语言模型对文本的预测能力。公式为:$PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$。低困惑度意味着模型更自信,但学术写作需要适度的不确定性表达。我们在测试中发现,豆包生成的文本困惑度普遍偏低,导致语气过于肯定,缺乏学术论文应有的谨慎措辞。