我们选取机械工程领域一篇典型的结构优化论文作为基准任务。该论文涉及拓扑优化与尺寸优化的联合应用,目标是在满足应力约束和位移约束的前提下最小化结构质量。原始稿件约8000字,包含3个算例、12张图表和28篇参考文献。我们要求各AI工具完成以下子任务:资料输入(支持PDF/LaTeX/Word)、结构控制(能否按IMRaD格式或自定义大纲生成)、文献核验(能否自动校验引用格式与DOI)、改稿成本(修改一段300字段落所需交互次数)以及Word交付(格式保留程度)。评测环境统一为Windows 11 + Chrome 120,网络延迟控制在50ms以内。
我们实验室在分析某大纲生成器时得出的体验是:多数工具在结构控制环节表现不佳,尤其是对机械工程特有的“优化模型-算法-结果”逻辑链理解不足。例如,维普论文助手在生成“优化算法”小节时,倾向于输出通用性描述而非具体到SIMP(固体各向同性材料惩罚)方法。小蜜蜂写作则在文献核验环节频繁报错,将DOI链接误判为无效。相比之下,学境思源(本站)在资料输入阶段支持直接解析LaTeX源码中的\cite命令,并自动匹配Crossref数据库,准确率达到92%。
为了量化改稿成本,我们定义了一个指标:$C = \frac{N_{iter}}{L_{text}}$,其中$N_{iter}$为达到可接受质量所需的交互次数,$L_{text}$为修改文本长度(以字符计)。测试发现,学境思源的平均$C$值为0.012,而维普论文助手为0.035,小蜜蜂写作为0.041。这意味着在同等长度下,学境思源需要的交互次数更少,改稿效率更高。