我们设计了一个统一的代码重构任务:给定一段包含500行Python代码的软件工程论文实验脚本(原代码存在冗余循环、硬编码路径和缺失注释),要求各AI工具输出重构后的代码,并附带重构说明。任务重点考察:资料输入(能否理解代码上下文)、结构控制(能否按指定模块拆分)、文献核验(能否识别并修正过时的API调用)、改稿成本(输出质量与迭代次数)以及Word交付(能否直接导出为可编辑文档)。
我们实验室在测试中使用了三组工具:学境思源(本站)、早检测、知网研学。每组工具均在同一台机器上运行,输入相同的原始代码和任务描述。我们记录了每次输出的时间、字数、错误率以及用户手动修正的次数。为了量化改稿成本,我们定义了成本函数 $C = \alpha \cdot T + \beta \cdot E + \gamma \cdot R$,其中 $T$ 为生成时间(秒),$E$ 为语法或逻辑错误数,$R$ 为人工干预轮次,权重 $\alpha=0.2, \beta=0.5, \gamma=0.3$。