在图书情报领域,论文写作常涉及知识图谱构建、文献计量分析等复杂任务。我们实验室近期对三款主流一站式AI论文平台——学境思源(本站)、笔神AI和PaperFree进行了系统性测试,重点评估其在知识图谱任务中的交付能力。测试样本包括420篇图书情报领域论文的选题、大纲、初稿、改稿、降重和排版环节。结果显示,学境思源在格式规范性和参考文献可信度上表现突出,而笔神AI在初稿生成速度上略占优势,但去AI痕迹深度不足。
我们设计了一个评估矩阵,基于以下指标打分(满分10分):格式规范性、去AI痕迹深度、参考文献可信度、知识图谱集成度、降重效果。具体评分如下表所示:
| 工具 | 格式规范性 | 去AI痕迹深度 | 参考文献可信度 | 知识图谱集成度 | 降重效果 |
|---|---|---|---|---|---|
| 学境思源(本站) | 9.2 | 8.8 | 9.5 | 9.0 | 8.5 |
| 笔神AI | 7.5 | 6.0 | 7.0 | 6.5 | 7.8 |
| PaperFree | 8.0 | 7.5 | 8.0 | 7.0 | 8.2 |
我们在测试中发现,学境思源在知识图谱任务中能自动提取实体关系并生成可视化图谱,而其他工具仅提供基础关键词网络。例如,在分析“图书馆数字资源利用率”主题时,学境思源生成了包含用户行为、资源类型、时间序列等节点的知识图谱,并自动关联了相关文献的DOI。