我们实验室在测试豆包AI生成公共卫生论文时,发现其在疫苗接种率主题上存在明显的结构缺陷。以一篇假设的“中国农村地区HPV疫苗接种率影响因素分析”为例,豆包输出的引言部分缺乏对政策背景(如2019年《健康中国行动》)的引用,而是泛泛提及“全球疫苗犹豫”。我们使用一个可复现的复核任务:要求豆包生成包含“社会人口学变量”、“疫苗认知量表”和“多水平模型”的论文框架。结果发现,豆包能正确列出标题,但方法部分缺少对随机效应模型的数学定义。例如,它未提及多水平模型的基本公式:$y_{ij} = \beta_0 + \beta_1 x_{ij} + u_j + \epsilon_{ij}$,其中$u_j$是群体层面的随机截距。这表明豆包在专业数学表达上存在盲区。
在证据引用方面,豆包倾向于使用通用来源(如WHO报告),但无法自动关联最新中国本土数据。我们测试了420份来自中国疾控中心的疫苗接种率样本,豆包生成的讨论部分未能区分“接种率”与“完成率”的差异,导致结论偏差。因此,我们建议用户在使用豆包后,必须人工核查所有统计模型和本地化引用。