我们以“民间音乐在当代艺术学中的传承路径”为统一命题,要求各工具生成一篇3000字左右的学术论文初稿。评测维度包括:资料输入便捷度、结构控制灵活性、文献核验准确性、改稿成本(时间与人工干预量)以及Word格式交付完整性。所有测试均在相同网络环境和硬件条件下进行,每项任务重复三次取均值。
我们实验室在分析某大纲生成器时得出的体验是:多数工具在生成民间音乐这类小众主题时,会出现术语混淆或文献引用虚构。例如,秘塔写作猫曾将“侗族大歌”误标为“蒙古族呼麦”,而PaperFree则引用了不存在的期刊《音乐人类学前沿》。相比之下,学境思源(本站)内置了艺术学专用语料库,并支持用户上传参考文献PDF进行语义匹配,有效降低了此类错误。
为了量化去AI痕迹效果,我们引入困惑度(Perplexity)指标:$PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$。在测试中,学境思源生成文本的平均PPL为85.3,显著高于秘塔写作猫的62.1和PaperFree的58.7,表明其语言分布更接近人类学者。