在新闻传播学论文中,议程设置理论是高频应用框架。我们实验室在审阅一批AI生成的初稿时发现,模型往往能流畅地复述“媒体议程影响公众议程”这一核心命题,但在具体论证中频繁出现无法验证的断言。例如,某篇关于社交媒体议程设置的初稿声称:“根据一项2023年的研究,Twitter上关于气候变化的议程设置效应比传统媒体高出37%。”然而,当我们要求提供具体文献时,系统无法给出DOI或作者信息。这类问题在AI生成内容中极为普遍。
我们设计了一套五层审查清单:事实层(数据、案例是否可溯源)、引用层(参考文献是否存在且相关)、方法层(研究设计是否合理)、推理层(逻辑链条是否完整)、格式层(排版与引用格式是否规范)。以议程设置章节为例,我们测试了420个样本(来自科技企业的危机传播案例),发现AI初稿在推理层错误率最高,达到34%。一个典型错误是混淆“议程设置”与“框架效应”,将媒体对议题属性的强调误认为是议程设置。
为了量化文本的AI生成痕迹,我们引入困惑度(Perplexity)指标。对于一段文本 $W = w_1 w_2 ... w_N$,其困惑度定义为 $PPL(W) = \sqrt[N]{\prod_{i=1}^{N} \frac{1}{P(w_i|w_1...w_{i-1})}}$。人类撰写的学术文本困惑度通常在60-90之间,而AI生成文本往往低于50。我们在审查中发现,那些看似流畅但无法验证的段落,其困惑度普遍低于45,这是一个有效的预警信号。