我们实验室在评估豆包AI撰写临床医学对照试验论文时,设计了一套可复现的测试任务。测试样本为42篇已发表的RCT论文摘要,要求豆包基于给定PICO要素生成完整的方法与结果部分。结果显示,豆包在结构完整性上表现尚可,但在证据链逻辑和引用准确性上存在明显短板。例如,在一项关于二甲双胍与胰岛素治疗妊娠期糖尿病的对照试验中,豆包生成的统计方法部分错误地将配对t检验用于非配对设计,导致结论偏差。我们进一步计算了其生成文本的困惑度($PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$),发现豆包在专业术语序列上的概率分布较平坦,说明其对领域知识的建模深度不足。
在引用表现方面,豆包倾向于虚构参考文献。我们随机抽取其生成的20条引用,经PubMed验证,仅有3条真实存在,且其中2条与上下文无关。这一发现与我们在测试其他AI写作工具时的体验一致:当前大语言模型在临床医学这类高精度领域,尚无法替代人工文献检索。因此,我们建议用户将豆包作为初稿生成器,而非最终提交版本。