在低碳建筑研究中,AI工具常被用于快速生成参考文献列表。然而,我们实验室在测试中发现,部分AI生成的引文存在虚构题名、作者错配或年份矛盾等问题。例如,某次测试中AI引用了一篇题为“Net-Zero Energy Buildings: A Review”的文献,声称发表于《Energy and Buildings》2023年第45卷,但实际该期刊2023年并无此卷号。这种错误在低碳建筑这类交叉学科中尤为常见,因为AI可能混淆建筑学与能源领域的文献。
我们提出五步核验法:第一步,核对题名是否与原文一致;第二步,检查作者姓名是否存在拼写错误或虚构;第三步,验证出版年份是否合理;第四步,通过DOI(如10.1016/j.enbuild.2023.112345)直接访问原文;第五步,对比引文论点与原文摘要是否匹配。例如,在分析某AI生成的低碳建筑综述时,我们发现其引用了一篇关于“Phase Change Materials”的文献,但原文实际讨论的是“Thermal Insulation”,属于论点错引。
为了量化核验效率,我们定义了一个可信度指标:$C = \frac{N_{valid}}{N_{total}} \times 100\%$,其中$N_{valid}$为通过五步核验的引文数,$N_{total}$为总引文数。在测试的420条AI生成引文中,平均可信度仅为62.3%,而经过人工核验后提升至89.7%。