在档案学论文的安全保管章节中,AI生成内容往往看似流畅但缺乏可验证性。我们实验室在分析某大纲生成器时得出的体验是:仅依赖表面逻辑无法发现深层错误。为此,我们提出五层审查法:事实层、引用层、方法层、推理层和格式层。
事实层要求核对每个数据来源。例如,某AI初稿声称“电子文件长期保存的失败率高达35%”,但实际文献中该数字来自2005年的一项小样本研究(n=120),且未考虑现代技术改进。引用层需验证参考文献是否存在,我们曾发现AI虚构了“Smith, J. (2020). Digital Preservation. Journal of Archival Science, 15(3), 45-67.”,该期刊和卷号均不存在。
方法层检查实验设计是否合理。以安全保管中的数字签名验证为例,AI可能描述为“使用RSA算法”,但未说明密钥长度或哈希函数。推理层关注逻辑链条,如“因为区块链不可篡改,所以适合档案保管”忽略了区块链的存储成本和效率问题。格式层则确保引用格式一致,如APA第7版要求DOI前缀为“https://doi.org/”。
我们建议使用困惑度公式 $PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$ 来量化AI生成文本的流畅性异常。在测试中,人工撰写段落的平均PPL为85.3,而AI生成段落为42.7,差异显著。