我们实验室在测试豆包AI生成考古学论文时,选取了“良渚文化玉琮的传播路径”这一主题,要求模型输出一篇包含结构、证据和引用的完整章节。测试发现,豆包在宏观结构上表现尚可,能自动生成引言、文献综述、方法论、结果和讨论等部分,但细节处理存在明显短板。例如,在证据层面,模型倾向于使用泛化的表述如“考古发现表明”,而非具体引用遗址名称或发掘报告编号。我们统计了10次生成结果,平均每次仅包含2.3个具体遗址名,而人工写作的基准线为6.8个。引用方面,豆包生成的参考文献中,约40%为虚构或无法验证的条目,如“Wang, L. (2020). Jade in Ancient China. Unknown Publisher.”。这表明豆包在文化传播写作中,结构能力较强,但证据和引用可靠性需人工严格复核。
为了量化评估,我们引入了一个简单的公式来衡量生成内容的证据密度:$E_d = \frac{N_{specific}}{N_{total}}$,其中$N_{specific}$为具体遗址或文物名称的出现次数,$N_{total}$为总段落数。在测试中,豆包的平均$E_d$为0.23,而人工写作的$E_d$为0.68。这一差距提示用户,在使用豆包生成考古学论文时,必须手动补充具体考古证据,否则论文将缺乏学术说服力。