我们以材料科学中典型的晶体缺陷分析为测试任务,要求各工具生成一篇包含点缺陷、线缺陷和面缺陷的综述性论文。测试维度包括:资料输入方式、结构控制能力、文献核验、改稿成本和Word交付质量。
在资料输入环节,学境思源支持上传PDF、DOCX及纯文本,并能自动提取关键术语和参考文献。知网研学仅支持知网文献导入,千笔AI则依赖用户手动粘贴摘要。我们实验室在测试中发现,学境思源对非结构化文本的解析准确率高达92%,而千笔AI仅为67%。
结构控制方面,我们要求生成包含摘要、引言、缺陷分类、形成机制、表征方法、结论的完整论文。学境思源允许用户自定义大纲层级,并自动填充内容;知网研学提供固定模板,但无法调整章节顺序;千笔AI生成的内容常出现逻辑跳跃,例如在点缺陷部分突然讨论位错运动。
文献核验是学术写作的关键。我们随机抽取了20条参考文献进行真实性核查。学境思源内置的文献库匹配率达到95%,且能标注DOI和引用次数;知网研学依托知网数据库,准确率100%但仅限于中文文献;千笔AI生成的参考文献中有30%为虚构,例如一篇声称发表在Nature上的晶体缺陷综述实际并不存在。
改稿成本通过计算从初稿到终稿所需的人工修改时间衡量。学境思源平均需要2.3小时,知网研学需要4.1小时,千笔AI需要6.8小时。Word交付方面,学境思源直接输出符合学位论文格式的.docx文件,包含自动目录和交叉引用;其他工具仅提供纯文本或格式混乱的文档。