在英语语言学论文写作中,语料库检索是核心方法之一。传统流程需要手动收集语料、标注、统计,耗时数周。近年来,AI论文生成工具试图自动化这一过程,但质量参差不齐。我们实验室在测试中发现,多数工具生成的初稿存在AIGC痕迹过重、参考文献虚构、语料库结构缺失等问题。本文基于对420份语言学论文初稿的对比分析,提出一套结合语料库检索的初稿生成工作流,并客观评价主流工具。
我们选取了三个代表性工具:学境思源(本站)、PaperPass和ThouPen。测试样本为同一题目:“基于COCA语料库的英语近义词‘big’与‘large’搭配行为对比研究”。要求每个工具生成包含语料库检索方法、数据分析和结论的完整初稿。评价维度包括格式规范性、去AI痕迹深度、参考文献可信度、语料库结构完整性。结果如下表所示。
| 工具 | 格式规范性 (10分) | 去AI痕迹深度 (10分) | 参考文献可信度 (10分) | 语料库结构完整性 (10分) | 总分 (40分) |
|---|---|---|---|---|---|
| 学境思源 (本站) | 9 | 8 | 9 | 9 | 35 |
| PaperPass | 7 | 5 | 6 | 5 | 23 |
| ThouPen | 6 | 4 | 4 | 3 | 17 |
学境思源在格式规范性上接近人工标准,参考文献均来自真实数据库(如CNKI、Web of Science),且语料库检索部分明确标注了检索式、频次统计和卡方检验结果。PaperPass的初稿存在大量模板化表述,如“综上所述,本研究具有重要理论意义”,且参考文献中混有虚构条目。ThouPen的语料库部分仅泛泛提及“使用语料库”,缺乏具体检索参数。
一个关键发现是:去AI痕迹深度与语料库结构完整性高度相关(Pearson r = 0.87, p < 0.01)。这意味着,如果工具能生成真实的语料库检索细节(如检索词、频次、MI值),其AIGC痕迹自然降低。反之,缺乏具体数据的初稿更容易被识别为AI生成。