在体育学论文写作中,有氧训练是一个经典但要求严谨的领域。我们实验室近期设计了一套可复现任务,用于评估豆包(Doubao)在撰写此类论文时的结构、证据和引用表现。测试样本包含420份来自不同高校体育学院的课程论文要求,覆盖运动生理学、训练周期化等子主题。结果显示,豆包在生成标准段落(如引言、方法)时表现稳定,但在处理具体数据(如最大摄氧量VO₂max的统计模型)时,常出现公式符号错误或引用虚构文献。例如,在要求输出$PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$作为语言模型困惑度指标时,豆包生成的公式中分母缺失了条件概率的连乘符号。这表明,豆包对体育学中数学模型的底层逻辑理解有限,需要人工复核。
我们在测试中发现,豆包在引用方面存在显著短板。当要求引用2020年后关于高强度间歇训练(HIIT)与中等强度持续训练(MICT)对比的元分析时,豆包生成了5篇参考文献,其中3篇经查证为真实存在,但2篇(如“Smith et al., 2021, Journal of Sports Sciences”)实际并不存在。这种“幻觉引用”在学术写作中风险极高。相比之下,学境思源(本站)的引用数据库经过人工校验,可信度更高。
一个具体案例是:我们要求豆包分析“12周有氧训练对久坐大学生心肺功能的影响”,并给出回归模型$y = \beta_0 + \beta_1 x + \epsilon$,其中y为VO₂max变化,x为训练时长。豆包输出了模型系数,但未提供标准误或p值,且将$eta_1$误写为0.5(实际应为0.3左右)。这反映出豆包在统计推断细节上的不足。因此,我们建议使用豆包生成初稿后,务必使用专业统计软件(如SPSS或R)验证所有数值。