我们以一篇艺术学论文《数字媒介对当代水墨画创作的影响研究》为案例,设定统一任务:输入3000字左右的文献综述片段,要求工具生成5000字正文,包含至少15篇参考文献,并输出Word文档。评测维度包括资料输入便捷性、结构控制能力、文献核验准确率、改稿成本(时间与人工干预次数)以及Word交付格式完整性。
在测试中,我们使用同一份原始素材分别输入学境思源(本站)、学术家和笔杆网。学境思源支持直接上传PDF和复制文本,自动解析章节标题;学术家仅接受纯文本输入,且需手动标注段落层级;笔杆网提供模板导入,但格式兼容性较差。结构控制方面,学境思源允许用户自定义大纲层级(如1.1.1),学术家仅支持三级标题,笔杆网则强制使用其预设结构。
文献核验环节,我们随机抽取生成文献中的5条进行查证。学境思源生成的文献中,4条可追溯至知网或Google Scholar,1条为合理推断但无直接来源;学术家3条可查,2条疑似虚构;笔杆网仅2条可查,且存在作者名拼写错误。改稿成本上,学境思源平均需2次人工调整(如术语统一),学术家需4次(含大量逻辑修正),笔杆网需6次(含格式重排)。Word交付方面,学境思源输出符合学术规范的.doc文件,含自动目录和页眉页脚;学术家输出.docx但缺少页码;笔杆网输出格式混乱,需手动修复。