在图书情报AI论文初稿中,数据治理章节常出现看似流畅但无法验证的内容。我们基于五层审查框架——事实、引用、方法、推理和格式——对某高校信息管理系2024年提交的42篇AI辅助论文初稿进行了分析。其中,数据治理章节的平均事实错误率为每千字3.2处,引用不可追溯率达18%。
以一篇题为《基于知识图谱的科研数据治理框架》的初稿为例,文中声称“某机构采用LDA主题模型对420份政策文本进行聚类,得到5个主题”。我们核查后发现,该机构实际使用的是BERTopic模型,且样本量为398份。这种事实偏差在AI生成内容中极为常见,因为大语言模型倾向于虚构细节以增强说服力。
我们实验室在测试中发现,使用千笔AI生成的初稿中,数据治理章节的引用错误率高达27%,而万方数据辅助写作的引用可追溯性较好,但格式规范性不足。相比之下,本站(学境思源)通过嵌入领域知识图谱和逻辑校验模块,将事实错误率控制在每千字0.8处以下。