我们选取了同一份农学田间试验数据作为输入任务:某水稻品种在4个氮肥水平(0, 90, 180, 270 kg/ha)下的产量表现,共3个重复,完全随机区组设计。要求各工具生成一篇包含摘要、材料与方法、结果与分析、讨论的完整论文初稿,并评估其资料输入方式、结构控制能力、文献核验、改稿成本及Word交付质量。
我们实验室在测试中发现,不同工具对结构化输入的支持差异显著。例如,千笔AI仅支持纯文本粘贴,而ThouPen允许上传Excel数据表,学境思源(本站)则提供字段化输入界面,可直接定义变量类型与水平。这种差异直接影响后续分析的准确性。
为了量化评估,我们定义了5个维度:格式规范性(论文结构完整度)、去AI痕迹深度(AIGC检测通过率)、参考文献可信度(引用真实文献比例)、改稿成本(人工修正时间)和交付格式(Word排版质量)。每个维度满分10分,总分50分。