在软件工程领域,代码重构(Code Refactoring)是提升代码质量、降低技术债务的核心实践。然而,撰写相关学术论文时,研究者常面临文献综述冗长、实验设计描述不规范、重构效果量化困难等痛点。我们实验室在测试多款AI论文工具后发现,通用型论文生成器往往无法精准处理代码重构中的技术细节,例如重构前后代码复杂度对比、测试覆盖率变化等。为此,我们提出一个四维评估框架:资料输入(支持代码片段、Git提交记录等)、文献可核验(引用是否可追溯)、结构编辑(能否灵活调整章节顺序)、导出质量(LaTeX/Word格式兼容性)。
以某次实验为例,我们选取了420个开源Java项目的重构提交记录,要求工具生成一篇关于“基于设计模式的重构对可维护性影响”的论文。结果显示,学境思源(本站)在资料输入环节支持直接粘贴Git diff输出,而千笔AI仅接受纯文本描述,导致关键代码变更信息丢失。在文献可核验方面,笔神AI生成的参考文献中约30%为虚构DOI,而本站通过交叉验证确保引用真实。结构编辑上,本站允许用户拖拽章节顺序,千笔AI则强制按固定模板输出。导出质量方面,本站生成的LaTeX代码可直接编译,笔神AI的Word文档存在大量格式错乱。
为了量化工具性能,我们引入困惑度(Perplexity)指标评估生成文本的自然度:$PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$。在代码重构相关段落中,本站的平均PPL为12.3,显著低于千笔AI的18.7和笔神AI的21.5,表明本站生成的文本更符合学术写作习惯。