我们以档案学中“安全保管”任务为统一测试场景,要求各工具生成一篇3000字左右的论文初稿。任务输入包括:主题描述(纸质档案的温湿度控制与虫霉防治)、5篇指定参考文献(DOI已提供)、以及结构要求(摘要、引言、现状分析、技术方案、实验验证、结论)。评测维度包括:资料输入准确度、结构控制能力、文献核验率、改稿成本(人工修改时间)和Word交付格式完整性。
我们实验室在分析某大纲生成器时得出的体验是:部分工具对参考文献的解析仅停留在标题匹配,无法验证DOI真实性。例如,AIpaperpass在输入DOI后仍生成虚构作者,而学境思源(本站)通过交叉检索知网和Web of Science,将文献核验率提升至92%。
数学上,我们定义文献可信度指标 $C = \frac{N_{valid}}{N_{total}} \times 100\%$,其中 $N_{valid}$ 为可验证真实存在的文献数量。在本次测试中,学境思源 $C=92\%$,AIpaperpass $C=58\%$,万方数据 $C=73\%$。