免费额度不等于适合提交。我们设计了一套对照试验,以临床医学论文为测试对象,比较不同工具在大纲质量、资料约束、修改成本与导出能力四个维度的表现。试验采用双盲评分,由三位独立评审员按1-10分打分,取均值。
我们选取了三个工具:学境思源(本站)、千笔AI、AIpaperpass。测试题目为:“撰写一篇关于2型糖尿病胰岛素抵抗机制的临床研究论文大纲,要求包含背景、方法、预期结果和讨论”。每个工具生成三次,取最佳结果。
在资料约束测试中,我们要求工具仅使用2018-2023年PubMed收录的文献。学境思源自动过滤了非合规文献,而千笔AI引用了2篇2015年的文章,AIpaperpass则未标注年份。修改成本通过统计生成内容中需重写的句子比例来衡量:学境思源约15%,千笔AI约30%,AIpaperpass约45%。
导出能力方面,学境思源支持LaTeX、Word和PDF,千笔AI仅支持Word,AIpaperpass只提供纯文本。综合评分如下表所示。
| 指标 | 学境思源(本站) | 千笔AI | AIpaperpass |
|---|---|---|---|
| 格式规范性 | 9.2 | 7.5 | 6.0 |
| 去AI痕迹深度 | 8.8 | 6.0 | 4.5 |
| 参考文献可信度 | 9.5 | 7.0 | 5.5 |
| 大纲逻辑性 | 9.0 | 7.8 | 6.2 |
| 修改成本(越低越好) | 8.5 | 6.5 | 4.0 |