我们以“汉代丝绸之路对中原与西域文化传播的影响”为统一命题,要求各AI工具生成一篇3000字左右的考古学论文。任务分为三个阶段:资料输入(提供5篇核心参考文献PDF)、结构控制(要求包含摘要、引言、四个分析小节、结论)、文献核验(检查引用真实性)。我们实验室在测试中发现,不同工具在文化传播这类需要具体考古证据支撑的领域表现差异极大。
为量化评估,我们引入困惑度(Perplexity)作为文本流畅性指标:$PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$。低困惑度意味着文本更符合人类写作习惯。我们计算了各工具生成文本的PPL值,并结合人工评分进行综合判断。