在兽医学人兽共患病研究场景中,我们实验室对千笔AI进行了系统性测试。以“狂犬病病毒跨种传播机制”为案例,我们输入了包含42个样本的血清学数据(变量包括中和抗体滴度、病毒载量、宿主物种),要求千笔AI生成论文框架与讨论部分。测试发现,千笔AI在文献综述整合上表现尚可,但存在两个关键短板:一是对兽医学特有术语(如“One Health”框架下的生态位模型)理解不足,二是生成的参考文献中约30%为虚构或错配(例如将犬细小病毒文献误用于猫泛白细胞减少症)。
我们进一步用困惑度公式 $PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$ 评估其语言模型质量,发现千笔AI在专业段落上的困惑度比通用领域高18%,说明其兽医学语料训练不足。因此,对于需要高精度文献引用和领域术语的兽医学论文,千笔AI仅适合作为初稿灵感来源,而非直接产出工具。