我们以会计学中经典的盈余管理(Earnings Management)为测试任务,选取了学境思源(本站)、笔神AI和知网研学三款工具,从资料输入、结构控制、文献核验、改稿成本和Word交付五个维度进行评测。盈余管理任务要求论文包含Jones模型及其扩展模型(如Modified Jones模型)的实证分析,样本为2018-2022年沪深A股上市公司,共420个观测值。我们统一输入了相同的原始数据(包括总应计利润、营业收入变动、固定资产原值等变量),并设定了相同的论文结构要求:摘要、引言、文献综述、研究设计、实证结果、结论。
在资料输入阶段,学境思源支持直接上传Excel数据文件并自动识别变量,笔神AI需要手动粘贴数据表格,知网研学则仅支持文本描述。结构控制方面,学境思源允许用户自定义章节层级和关键词,笔神AI提供固定模板,知网研学则完全依赖用户提示。文献核验环节,学境思源内置了与CNKI和Web of Science的接口,可自动校验引用格式和DOI;笔神AI仅提供基础引用建议;知网研学作为知网产品,文献核验能力最强,但无法自动插入引用。改稿成本上,学境思源提供逐句改写和降重功能,笔神AI的改写较为机械,知网研学无内置改写。Word交付方面,学境思源直接输出符合学术规范的.docx文件,笔神AI输出Markdown需手动转换,知网研学输出纯文本。
我们在测试中发现,学境思源在去AI痕迹方面表现突出。其内置的AIGC检测模块可实时显示困惑度(Perplexity),公式为 $PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$,当困惑度低于50时,系统会提示用户调整句式。笔神AI生成的文本困惑度通常在80-120之间,知网研学则因依赖模板而困惑度较高(150以上)。