本次评测以食品科学领域“抗氧化活性”论文为统一任务。我们选取了三个代表性AI工具:学境思源(本站)、AIpaperpass、秘塔写作猫。评测维度包括:资料输入便捷性、结构控制能力、文献核验准确率、改稿成本(时间与人工干预)、Word交付格式完整性。所有测试在同一台设备、同一网络环境下进行,使用相同的论文题目和关键词。
我们实验室在分析某大纲生成器时得出的体验是:多数工具在生成抗氧化活性相关章节时,容易混淆DPPH、ABTS、FRAP等常见方法。为此,我们设计了一个包含420个样本的案例,其中包含不同果蔬提取物的抗氧化活性数据,要求工具生成对应的结果分析与讨论部分。
为了量化评估,我们引入困惑度(Perplexity)指标来度量生成文本的流畅性:$PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$。较低的PPL值通常意味着文本更自然,但过低的PPL可能暗示过度拟合训练数据,反而增加AIGC检测风险。