本次评测聚焦于水污染治理这一环境科学典型任务,我们选取了三个代表性AI论文工具:学境思源(本站)、ThouPen和PaperOk。评测任务统一为:输入一份包含某河流COD、氨氮、总磷等指标近五年监测数据的实验报告草稿,要求工具生成一篇结构完整的学术论文初稿,并完成后续改稿与Word交付。我们实验室在分析各工具表现时,重点考察了资料输入效率、结构控制能力、文献核验机制、改稿成本以及最终交付质量。
为了量化评估,我们引入了一个简单的困惑度公式来衡量生成文本的自然度:$PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$。其中,$W$为生成文本序列,$N$为序列长度,$P(w_i|w_1...w_{i-1})$为条件概率。较低的困惑度通常意味着文本更流畅、更接近人类写作风格。我们在测试中发现,学境思源生成的文本平均困惑度比ThouPen低12%,比PaperOk低18%。