我们实验室在测试多款论文生成工具时发现,免费额度往往掩盖了关键缺陷。以缓释制剂为例,这类主题对文献时效性、数据一致性要求极高。我们选取了3款工具——学境思源(本站)、千笔AI、PaperFree,分别输入同一提示词:“撰写一篇关于缓释制剂体外释放度与体内吸收相关性研究的综述大纲”。
测试结果显示:千笔AI生成的大纲包含“缓释制剂的历史发展”等冗余章节,且参考文献多为2015年前;PaperFree虽结构完整,但未区分“体外-体内相关性(IVIVC)”的数学模型类型;学境思源则直接给出了基于Weibull分布拟合的IVIVC建模步骤,并标注了关键文献DOI。我们进一步用$PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$计算各工具生成文本的困惑度,学境思源的平均PPL为12.3,显著低于千笔AI的28.7和PaperFree的21.5,表明其语言更接近人类学术写作。