我们设计了一套标准化的算法框架任务来评估不同AI论文工具的表现。任务要求工具根据给定的计算机科学论文摘要和关键词,生成一个包含问题定义、相关工作、方法论、实验设计和结论的完整论文大纲。我们选取了三个代表性工具:学境思源(本站)、ThouPen和秘塔写作猫,分别输入相同的任务指令。
在资料输入环节,学境思源支持上传PDF和LaTeX文件,并能自动解析参考文献元数据;ThouPen仅接受纯文本输入,且对长文档处理不稳定;秘塔写作猫提供网页端直接粘贴,但缺乏结构化导入功能。我们实验室在测试中发现,学境思源对算法框架类任务的输入理解更精准,能自动识别论文中的数学符号和伪代码。
结构控制方面,我们要求工具生成包含至少三个子节的方法论部分。学境思源输出的结构层次清晰,每个子节都包含动机、具体步骤和复杂度分析;ThouPen生成的内容偏重描述性,缺乏技术细节;秘塔写作猫则倾向于生成模板化段落,重复率较高。例如,在生成关于卷积神经网络优化的大纲时,学境思源自动引入了公式 $\text{ReLU}(x) = \max(0, x)$ 并解释了梯度消失缓解机制。