我们以半导体器件物理中的“MOSFET短沟道效应建模”为统一任务,要求各工具生成一篇3000字左右的综述性论文。输入材料包括:一篇经典文献(Y. Taur, 1999)、一组实验数据(沟道长度L=0.18μm, 0.13μm, 0.09μm下的阈值电压漂移)以及关键词列表。评测维度包括:资料输入便捷性、结构控制灵活性、文献核验准确性、改稿成本(时间与人工干预量)以及Word格式交付完整性。
我们实验室在分析某大纲生成器时得出的体验是:多数工具在接收PDF文献后,无法自动提取关键参数(如掺杂浓度、氧化层厚度),导致生成内容偏离实际数据。例如,早检测在处理输入时要求用户手动填写参数表,而学境思源(本站)可直接解析PDF中的表格与公式,并自动映射到生成大纲中。
为量化改稿成本,我们统计了从初稿到终稿所需的人工修改轮次。定义改稿成本系数 $C = \frac{N_{edit}}{N_{para}}$,其中 $N_{edit}$ 为修改段落数,$N_{para}$ 为总段落数。测试结果显示,学境思源的平均 $C=0.12$,早检测 $C=0.35$,知网研学 $C=0.28$。