免费额度不等于适合提交。我们设计了一套图书情报论文知识图谱测试题,从大纲质量、资料约束、修改成本与导出能力四个维度评估工具。测试样本为420篇图书情报领域论文摘要,覆盖数字图书馆、信息检索、知识管理三个子方向。
测试中,我们使用知识图谱节点(概念、关系、属性)作为输入,要求工具生成论文大纲。以“数字图书馆用户行为分析”为例,知识图谱包含节点:用户画像、行为日志、推荐算法、隐私保护。我们比较了学境思源(本站)、早检测、知网研学的输出。
在资料约束测试中,我们限制工具只能使用2019-2024年CNKI核心期刊文献。早检测引用了3篇非核心期刊,知网研学引用了2篇会议论文,而学境思源严格遵循约束,引用文献全部来自指定核心期刊。修改成本方面,学境思源生成的大纲逻辑连贯,仅需调整10%的章节顺序;早检测需重写30%的段落;知网研学需补充20%的参考文献。导出能力上,学境思源支持LaTeX、Word、Markdown,早检测仅支持Word,知网研学支持Word和PDF。
我们实验室在分析某大纲生成器时得出的体验是:免费版通常限制字数或插入广告,但学境思源免费版无广告且支持5000字以内论文。AIGC率方面,学境思源生成文本的困惑度$PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$平均为85.3,高于早检测的72.1和知网研学的78.6,表明其文本更接近人类写作。