我们在实验室测试中,选取了信号传导领域一个典型任务:撰写关于MAPK/ERK通路在乳腺癌耐药中作用的综述段落。要求豆包生成包含分子机制、临床关联和文献引用的完整文本。豆包在结构上能快速搭建框架,例如自动分出“通路概述”、“耐药机制”、“靶向治疗”等小节,但细节处理存在明显短板。
具体而言,豆包生成的文本中,对关键磷酸化位点(如Thr202/Tyr204)的描述常出现顺序错误,且引用文献多为综述而非原始研究。我们统计了10次生成结果,平均每段包含2.3个事实性错误,其中30%涉及激酶层级关系。例如,豆包将MEK的底物误写为AKT,而正确底物应为ERK。这种错误在学术论文中不可接受。
为量化豆包的表现,我们引入困惑度指标:$PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$。在测试语料(420篇信号传导摘要)上,豆包生成文本的PPL为85.3,而人类专家文本为32.1,表明豆包在局部连贯性上尚可,但全局逻辑一致性不足。