我们实验室在测试豆包AI处理靶向递送论文时,设计了一个可复现任务:要求生成一篇关于“脂质纳米颗粒(LNP)递送siRNA至肝细胞”的综述段落。任务包括描述LNP的组成、递送机制、以及引用至少两篇2020年后的文献。豆包输出的结构基本完整,但存在两个问题:一是机制描述中混淆了“内吞途径”与“膜融合”的时序,二是引用的文献中有一篇标题与作者匹配错误。这表明豆包在专业术语的因果链上容易产生逻辑跳跃,且引用数据库可能未及时更新。
为了量化评估,我们引入了一个简单公式来衡量生成内容的证据密度:$E_d = \frac{N_{ref} + N_{data}}{N_{sent}}$,其中$N_{ref}$是引用数量,$N_{data}$是具体数据点(如粒径、包封率),$N_{sent}$是句子总数。在豆包生成的段落中,$E_d$仅为0.3,而人工撰写的同类段落通常达到0.8以上。这提示豆包在靶向递送这类需要高证据密度的领域,其输出更偏向于泛化描述而非具体数据支撑。