在体育学论文写作中,运动创伤是一个高度依赖结构、证据和引用的领域。我们实验室近期对豆包(Doubao)进行了一项可复现的任务测试,旨在评估其在运动创伤主题下的写作表现。测试任务为:撰写一篇关于“前交叉韧带(ACL)损伤术后康复方案比较”的论文摘要,要求包含研究背景、方法、结果和结论,并引用至少3篇近5年文献。
测试结果显示,豆包在结构完整性上表现良好,能够生成包含背景、方法、结果和结论的摘要框架。然而,在证据深度和引用准确性方面存在明显短板。例如,豆包生成的参考文献中,有一篇标注为“Smith et al., 2020”的文章,经查证实际发表于2018年,且作者姓名存在拼写错误。此外,豆包在描述康复方案时,使用了“高强度训练”这一模糊术语,未明确界定训练强度参数(如RM或%1RM)。
我们进一步测试了豆包对运动创伤中常见统计指标的处理能力。当要求其解释“ACL重建术后重返运动率”时,豆包给出的公式为 $P(return) = \frac{N_{return}}{N_{total}}$,但未提及置信区间或效应量。相比之下,人类研究者通常会报告如“重返运动率为72%(95% CI: 65%-79%)”的精确表述。这表明豆包在统计细节的严谨性上仍需人工复核。