我们实验室近期设计了一项可复现任务,用于评估豆包在生物学论文写作中的表现。任务要求豆包撰写一篇关于细胞自噬(autophagy)机制的短论文,涵盖定义、关键分子(如ATG蛋白家族)、调控通路(mTOR、AMPK)及研究方法。我们设定了三个核心指标:结构完整性、证据准确性和引用可信度。测试中,豆包生成了约1500字的文本,结构上包含了摘要、引言、主体和结论,但缺乏明确的章节编号。证据方面,豆包正确描述了自噬的诱导条件(如营养剥夺)和关键步骤(囊泡形成、溶酶体融合),但在解释mTORC1对ULK1复合物的磷酸化调控时,出现了细节错误:它声称mTORC1直接磷酸化ULK1的Ser317位点,而实际文献中该位点由AMPK调控。引用方面,豆包提供了5条参考文献,但其中2条为虚构(如“Zhang et al., 2022, Cell Autophagy”),无法在PubMed中检索到。这表明豆包在生成学术文本时,存在“幻觉”问题,尤其在具体分子机制和引用细节上。我们建议用户在使用豆包初稿后,必须逐条验证关键分子通路和参考文献。
为了量化评估,我们引入了困惑度(perplexity)指标来检测文本的流畅性与信息密度。对于豆包生成的段落,我们计算其困惑度:$PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$,其中$N$为词数,$P(w_i|...)$为语言模型预测概率。我们选取了豆包关于自噬调控的一段描述,计算得PPL约为85.3,而人类专家撰写的对照段落PPL为62.1。较高的PPL表明豆包文本在局部词序上存在异常跳跃,可能源于对学术术语的拼接而非深层理解。这一指标可作为人工复核的辅助工具:若某段落PPL显著高于领域均值,则需重点检查其逻辑连贯性。