我们以“疫苗接种率影响因素分析”为统一命题,要求各工具生成一篇3000字左右的公共卫生论文。评测维度包括:资料输入便捷度、结构控制灵活性、文献核验准确性、改稿成本(时间与人工干预量)以及Word交付格式完整性。我们实验室在测试中发现,不同工具在文献引用环节差异显著,例如维普论文助手依赖其自有数据库,而Copyleaks更侧重查重而非生成。
为了量化生成质量,我们引入困惑度(Perplexity)指标:$PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$。在测试中,学境思源生成文本的平均PPL为12.3,低于维普的18.7和Copyleaks的21.5,表明其语言模型更贴近自然学术表达。