公共管理论文写作中,政策工具分析是常见任务。我们选取了“某市垃圾分类政策工具”作为统一命题,要求各AI工具生成一份包含强制型、混合型、自愿型工具分类的论文大纲,并完成2000字正文。测试维度包括:资料输入方式、结构控制能力、文献核验准确性、改稿成本(人工干预次数)以及Word交付格式。我们实验室在分析某大纲生成器时得出的体验是:多数工具在结构控制上表现良好,但文献核验环节差异显著。
为了量化改稿成本,我们定义了一个简单指标:$C = \frac{N_{edit}}{N_{total}}$,其中$N_{edit}$为需要人工修改的句子数,$N_{total}$为总句子数。该指标反映了工具输出的初始质量。