在审阅社会学AI初稿的社会分层章节时,我们实验室发现一个常见问题:文本流畅但核心论点缺乏可验证性。例如,某篇关于“数字鸿沟与阶层固化”的初稿声称“低收入家庭子女的互联网使用时长比高收入家庭少40%”,但未注明数据来源、样本量或统计方法。我们采用五层审查法:事实核查(数据来源与时效性)、引用验证(文献是否真实)、方法评估(抽样与统计是否合理)、推理检验(因果链是否断裂)、格式规范(引用格式与术语一致性)。
以我们最近分析的一篇AI生成初稿为例,该文研究“教育回报率与阶层流动”,使用了420份来自某科技企业的员工问卷。我们首先核查了文中引用的“布劳-邓肯模型”参数,发现其路径系数被误写为0.35(实际应为0.38)。进一步检查发现,AI生成的参考文献中有一篇“Smith, J. (2020)”在Google Scholar中无法检索到。这种看似流畅但无法验证的内容,正是AI初稿的典型风险。
我们建议采用以下数学公式评估文本的AIGC概率:$PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$,其中PPL为困惑度,N为词数。我们测试发现,人类撰写的学术段落困惑度通常在50-80之间,而AI生成文本往往低于30。在审查时,若某段困惑度异常低,需重点核查其事实与逻辑。