我们实验室在测试千笔AI处理农学论文时,选取了三个典型田间试验任务:玉米氮肥梯度试验报告生成、水稻病虫害防治方案撰写、以及土壤理化性质数据分析。每个任务均输入相同的原始数据(包括小区产量、SPAD值、病情指数等),并对比输出质量。
在玉米氮肥试验中,千笔AI生成的“材料与方法”部分存在明显缺陷:它默认使用完全随机设计,而实际试验采用的是随机区组设计(RCBD)。这种设计差异会导致方差分析模型错误。例如,正确的模型应为 $y_{ij} = \mu + \tau_i + \beta_j + \epsilon_{ij}$,其中 $\tau_i$ 为处理效应,$\beta_j$ 为区组效应。千笔AI输出的模型仅包含 $y_i = \mu + \tau_i + \epsilon_i$,忽略了区组变异,这在小区域试验中可能高估处理效应。
此外,千笔AI在引用参考文献时存在虚构问题。我们要求它引用近5年关于“缓释氮肥对玉米产量影响”的文献,它生成了3篇看似合理的论文,但经查证,其中2篇的作者或期刊名称与实际不符。这种“幻觉”在学术写作中是致命缺陷。