在分子合成研究中,AI生成的参考文献常出现虚构或错引问题。我们实验室在测试某AI工具时发现,其引用的20篇文献中有3篇DOI无法解析,2篇作者姓名与原文不符。为此,我们提出五步核验法:题名、作者、年份、DOI和原文论点。例如,对于一篇声称报道了钯催化交叉偶联新方法的文献,我们通过DOI直接访问期刊页面,发现实际内容是关于镍催化的,从而避免了错引。
具体操作中,我们使用Python脚本批量提取参考文献的DOI,并通过Crossref API进行验证。对于无法验证的条目,手动检索PubMed或Google Scholar。在一次对420篇化学论文的抽样分析中,我们发现AI生成参考文献的错误率约为12%,其中DOI错误占60%。因此,建议在论文写作中至少核验关键引用的DOI。
数学上,我们可以用困惑度(Perplexity)来评估AI生成文本的可信度:$PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$。较低的困惑度通常意味着更可靠的引用,但需结合上下文判断。