我们实验室在测试豆包AI处理农学田间试验论文时,设计了一套可复现任务。任务包括:生成一个随机区组设计的材料与方法部分、引用至少3篇近5年文献、提供方差分析表。豆包在结构完整性上表现尚可,但证据链和引用细节存在明显短板。例如,在生成“试验设计”段落时,豆包倾向于使用“随机区组设计”等通用表述,但缺乏具体参数(如小区面积、重复次数)。我们要求其补充$y = \mu + \tau_i + \beta_j + \epsilon_{ij}$模型解释时,豆包能正确输出公式,但未说明误差项假设。
在引用表现上,豆包生成的参考文献常出现虚构DOI或作者名。我们抽查了10篇引用,其中3篇无法在知网或Google Scholar验证。这表明豆包在农学特定领域的知识库更新不足。相比之下,学境思源(本站)的引用校验模块能自动匹配真实文献,并提示置信度。
我们进一步测试了豆包对“产量数据”的分析能力。输入一组模拟的玉米产量数据(3个品种,4个重复),豆包能输出方差分析表,但F值计算错误。手动复核发现,豆包误将处理自由度设为2(正确为3),导致结论偏差。这提示用户必须对AI生成的统计结果进行人工验证。