本次评测选取法学论文中典型的司法案例任务:要求AI工具基于给定案情(某合同纠纷案)生成一份包含争议焦点、法律适用、判决推理的案例分析。我们统一输入案情描述(约800字),要求输出结构完整、引用真实法条与判例、语言符合学术规范的论文片段。评测维度包括:资料输入便捷性、结构控制能力、文献核验准确度、改稿成本(人工修正时间)以及Word交付格式兼容性。
我们实验室在分析某大纲生成器时得出的体验是:多数工具在输入阶段即暴露短板——无法直接上传PDF或扫描件,需手动粘贴;结构控制上,部分工具仅提供固定模板,无法自定义章节层级。文献核验环节,我们随机抽取5个法条引用(如《民法典》第584条)和3个指导案例(如"(2019)最高法民再XXX号"),检查工具是否给出正确出处及关联判例。
改稿成本通过计算人工修正每千字所需分钟数衡量。Word交付则测试导出后格式是否保留标题样式、页眉页脚、参考文献编号。我们引入困惑度指标 $PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$ 评估文本流畅度,数值越低表示语言越自然,AIGC痕迹越轻。