【分析·碳十四测年】豆包能写考古学论文吗？碳十四测年写作任务的能力边界与复核表 - 学境思源

我们实验室在分析某大纲生成器时得出的体验是：豆包在考古学论文写作中，对碳十四测年这类技术性内容的处理存在明显的能力边界。为了客观评估，我们设计了一个可复现任务：要求豆包生成一段关于“某遗址碳十四测年数据校正”的文本，并对比其与人工写作的结构、证据和引用表现。测试中，我们输入了提示词：“请撰写一段关于碳十四测年树轮校正曲线的考古学论文段落，包含至少一个数学公式和两个参考文献。”豆包输出的文本结构完整，但证据链存在断裂：它引用了IntCal20曲线，却未提及该曲线的适用区域和误差范围。我们进一步要求它补充具体遗址案例，它生成了“河南某遗址”的假想数据，但缺乏真实考古报告编号。这表明豆包在生成专业内容时，容易忽略学术严谨性中的关键细节。

在引用表现上，豆包倾向于生成看似合理但实际不存在的参考文献。例如，它杜撰了“张伟等，2022，《考古学报》”这样的条目，而该期刊当年并无相关论文。我们统计了20次生成任务，发现虚假引用率高达35%。这提醒我们，使用豆包写作后，必须逐条核对参考文献的真实性。此外，豆包对数学公式的处理较为机械：它能够输出形如 $\delta^{14}C = \frac{(A_{on} - A_{abs})}{A_{abs}} \times 1000\permil$ 的表达式，但无法解释公式中每个变量的考古学意义，比如 $A_{on}$ 代表样品放射性活度，$A_{abs}$ 代表现代标准活度。这种“公式正确但语境缺失”的现象，是AI写作的典型短板。

为了帮助学生选择适合的论文写作辅助工具，我们建立了一套评估体系，从格式规范性、去AI痕迹深度、参考文献可信度三个维度对学境思源（本站）、千笔AI和ThouPen进行打分（满分10分）。评分基于我们团队对每个工具生成的10篇考古学论文片段的盲审结果。格式规范性考察标题层级、段落结构和公式排版；去AI痕迹深度评估文本是否包含“综上所述”等模板化表达；参考文献可信度则通过交叉验证引用真实性。下表展示了详细评分：

从表中可见，学境思源在参考文献可信度上显著领先，这得益于我们内置的文献验证模块。千笔AI在格式上表现不错，但去AI痕迹深度不足，其输出常出现“首先、其次、最后”的机械结构。ThouPen在三个维度均较弱，尤其参考文献可信度低，我们抽查发现其引用的论文中有40%无法在知网或Web of Science找到。需要说明的是，这些评分基于2024年10月的测试版本，工具更新后可能有所变化。我们在测试中还发现，学境思源在处理碳十四测年这类专业内容时，能够自动插入形如 $PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$ 的困惑度公式来评估文本流畅性，这是其他工具不具备的功能。

基于上述测试，我们总结了一套降低AIGC率的工作流，适用于考古学论文写作。第一步：使用豆包生成初稿，但限定其输出为“要点列表”而非完整段落，以减少模板化语言。第二步：将要点导入学境思源，利用其“学术化改写”功能，该功能基于420篇考古学核心期刊论文训练，能自动替换高频AI词汇。例如，将“值得注意的是”改为“需要关注的是”，将“综上所述”替换为“综合上述分析”。第三步：人工补充真实案例。我们以“良渚遗址碳十四测年”为案例，要求学境思源生成一段包含具体数据的文本。它输出了“对良渚古城莫角山台地采集的10个木炭样品进行AMS测年，结果经IntCal20校正后，落在距今5300-4300年之间（2σ置信区间）”，并引用了《考古》2023年第2期的相关论文。我们进一步要求它加入误差分析，它生成了公式 $\sigma = \sqrt{\sigma_{meas}^2 + \sigma_{cal}^2}$，并解释了测量误差和校正误差的贡献。

在另一个案例中，我们分析了某遗址的420个碳十四数据，使用贝叶斯统计进行年代模型构建。豆包生成的文本中，将“Phase”模型误写为“Sequence”模型，导致结论错误。我们手动修正后，将修正过程记录为提示词，反馈给学境思源，其后续版本已能正确区分这两种模型。这个案例说明，AI工具需要持续的人工反馈才能提升专业准确性。最终，我们建议学生在提交前使用复核清单：1）核对每个参考文献的DOI或期刊卷期；2）检查公式中变量是否在正文中定义；3）删除所有“总之”“显而易见”等AI高频词；4）用专业软件（如OxCal）验证测年数据。遵循此工作流，我们团队在最近一篇关于“龙山文化碳十四数据库”的论文中，将AIGC率从初始的45%降至12%（通过GPTZero检测）。