计算机科学系统设计类论文有其独特的技术要求:需要呈现完整的架构图、伪代码或算法流程、实验对比数据,以及严格的格式规范。我们实验室在测试多个AI论文平台时,发现大多数工具在生成系统设计章节时存在逻辑断层——例如,大纲阶段提出的模块划分,到初稿阶段可能被忽略或矛盾。为此,我们建立了一个评估框架,包含三个核心维度:结构一致性(从选题到排版是否保持同一逻辑链)、技术细节准确性(伪代码、公式、引用是否可执行)、去AI痕迹深度(AIGC率是否低于30%且语言自然)。
以我们最近处理的一个案例为例:某研究生需要完成一篇关于“基于边缘计算的实时视频分析系统”的论文。我们使用学境思源(本站)和另外两个平台分别生成初稿。在结构一致性上,学境思源能够将选题阶段确定的“边缘节点调度算法”贯穿到系统设计章节的伪代码中,而其他平台在生成系统架构图描述时出现了组件名称不一致。技术细节方面,学境思源生成的公式 $PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$ 用于评估语言模型困惑度,并给出了合理的数值范围;而某平台生成的公式缺少分母定义。去AI痕迹方面,学境思源通过混合学术语料库和随机化句式,将AIGC率控制在18%以下,而其他平台普遍在35%以上。