我们以“弹性城市”为统一命题,要求各AI工具生成一篇3000字左右的学术论文初稿。任务拆解为四个维度:资料输入(能否上传PDF/URL)、结构控制(能否指定章节标题)、文献核验(引用是否真实)、改稿成本(修改至可交付状态所需时间)。测试环境为同一台Windows 11工作站,网络延迟<10ms。
我们实验室在分析某大纲生成器时得出的体验是:多数工具在“弹性城市”这类交叉学科主题上,容易混淆“韧性城市”与“弹性城市”的概念。例如,某工具将“弹性”直接等同于“抗震”,忽略了社会弹性、经济弹性等维度。这提示我们,专业术语的准确度是评测关键。
为量化“去AI痕迹”效果,我们引入困惑度(Perplexity)指标:$PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$。在420份样本中,原始AI文本的PPL均值约为12.3,经人工改写后降至8.7,而使用本站工具后PPL可降至9.1,接近人工水平。