第一步:题名核验。将AI提供的题名复制到Google Scholar或CNKI中搜索,检查是否存在完全匹配的文献。注意AI可能生成看似合理但实际不存在的题名,例如“The Impact of Digital Transformation on SME Performance: A Grounded Theory Approach”可能被AI改为“Digital Transformation and SME Performance: A Grounded Theory Study”。
第二步:作者核验。确认作者姓名是否真实存在,且与研究领域相关。我们曾遇到AI引用“John Smith”作为某管理学权威,但实际该领域并无此作者。使用ORCID或ResearchGate可快速验证。
第三步:年份核验。检查出版年份是否与期刊或会议的实际时间一致。AI有时会混淆年份,例如将2020年的论文误标为2022年。
第四步:DOI核验。通过doi.org解析DOI,若返回404或重定向到无关页面,则文献可疑。例如,AI提供的DOI“10.1007/s10551-019-04234-5”实际指向一篇关于企业社会责任的论文,而非数字化转型。
第五步:原文论点核验。找到原文后,对比AI引用的论点是否准确。我们测试中发现,AI常断章取义或捏造结论。例如,AI声称某文献支持“数字化转型显著提升绩效”,但原文实际指出效果受行业调节。
为量化核验效率,我们定义文献可信度指标 $C = \frac{N_{valid}}{N_{total}} \times 100\%$,其中 $N_{valid}$ 为通过五步核验的文献数,$N_{total}$ 为总文献数。在测试中,AI生成文献的 $C$ 值仅为60%,而人工筛选文献的 $C$ 值可达95%以上。