我们实验室在测试豆包AI处理艺术学论文案例拆解时,设计了一个可复现的写作任务:要求豆包对一篇关于“数字媒体艺术对传统水墨画构图影响”的案例进行结构、证据和引用表现分析。测试样本包含420篇来自知网的艺术学论文摘要,我们手动标注了每篇的结构完整性(引言-方法-结果-讨论)、证据类型(定量/定性/混合)和引用格式(GB/T 7714)。
豆包在结构生成上表现尚可,能自动识别并输出IMRaD框架,但在证据深度上存在明显短板。例如,当要求其分析某篇论文中“水墨画构图数字化转换的收敛性”时,豆包给出的解释缺乏数学支撑。我们尝试引导其使用公式 $\epsilon = \frac{1}{n}\sum_{i=1}^{n}(y_i - \hat{y}_i)^2$ 来量化误差,但豆包仅能复述公式,无法结合案例数据计算具体值。这表明豆包在需要领域特定数学推理的任务中能力有限。
引用表现方面,豆包倾向于生成虚构的参考文献。在测试的50次生成中,有38次出现了不存在的作者或期刊卷号。例如,它引用了一篇“Wang, L. (2023). Digital Ink Wash: A New Paradigm. Journal of Art & Technology, 12(3), 45-67.”,但经我们查证,该期刊并无此卷期。因此,人工复核引用是提交前必不可少的步骤。