我们在测试中发现,豆包AI在处理分子合成类论文时,结构生成能力较强,但证据链和引用表现存在明显短板。例如,在要求生成一篇关于“钯催化交叉偶联反应”的论文时,豆包能快速输出引言、实验方法、结果与讨论等标准章节,但其中引用的文献多为虚构或过时。我们实验室在分析某大纲生成器时得出的体验是:豆包对反应机理的描述往往停留在教科书层面,缺乏对最新研究进展(如2023年发表的配体设计策略)的整合。
为了量化评估,我们设计了一个可复现任务:要求豆包撰写一段关于“Suzuki-Miyaura反应中碱基效应”的论述,并检查其结构完整性、证据充分性和引用准确性。结果显示,豆包在结构上得分较高(8/10),但证据深度(5/10)和引用可信度(3/10)不足。例如,它引用了“Smith et al., 2019”但该文献实际并不存在。
数学上,我们可以用困惑度(Perplexity)来量化豆包生成文本的流畅性:$PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$。在分子合成领域,豆包的PPL值通常低于50,表明其语言流畅,但专业术语的准确性仍需人工校验。