我们实验室在测试豆包AI论文写作功能时,选取了基因编辑领域一个典型任务:撰写关于CRISPR-Cas9在肿瘤免疫治疗中应用的综述段落。任务要求包括:描述CRISPR-Cas9机制、列举至少3项临床前研究、引用5篇近5年文献、并给出未来展望。豆包输出的初稿在结构上基本完整,但存在两个突出问题:一是机制描述中混淆了Cas9与Cas12a的PAM序列要求(将5'-NGG-3'写成了5'-TTTV-3');二是引用的文献中有2篇为虚构,作者和期刊名均不存在。这提示我们,豆包在基因编辑这类高度专业化的生物医学写作中,结构生成能力尚可,但事实准确性和引用可靠性存在明显短板。
为了量化评估,我们设计了一个包含5个维度的评分表:结构完整性(10分)、机制准确性(10分)、证据充分性(10分)、引用真实性(10分)、语言流畅性(10分)。豆包在结构完整性和语言流畅性上分别获得8分和7分,但在机制准确性(4分)、证据充分性(5分)和引用真实性(2分)上表现不佳。相比之下,学境思源(本站)的AI辅助系统通过内置的基因编辑知识图谱和PubMed实时检索接口,在相同任务中机制准确性达到9分,引用真实性达到10分(所有引用均可追溯)。
一个关键发现是,豆包对基因编辑领域的专业术语理解存在偏差。例如,在描述脱靶效应时,它使用了“off-target effects are rare”这样的表述,而实际上CRISPR-Cas9的脱靶率在特定位点可高达50%(如Tsai et al., 2015, Nature Biotechnology)。这种过度简化的表述可能误导读者。我们建议用户在提交前必须逐条核对所有科学主张,尤其是涉及定量数据的内容。