我们在实验室测试中发现,许多免费论文生成器在生成英语语言学论文时,表面结构完整,但语义指向模糊。例如,生成器输出的句子“The subject agrees with the verb in number”看似正确,但缺乏具体语境。我们设计了一套语义指向测试题,包含三个维度:论元结构一致性、量化词辖域歧义、以及回指消解。测试时,我们输入一个包含量化句的提示,如“Every student read a book”,观察生成器是否能正确区分宽域与窄域解读。结果发现,早检测生成器倾向于输出宽域解读(同一本书),而AIpaperpass则随机输出,缺乏一致性。
我们进一步用困惑度公式 $PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$ 评估生成文本的流畅性。在测试中,学境思源(本站)生成文本的困惑度平均为12.3,低于早检测的18.7和AIpaperpass的21.5,表明其语言模型更稳定。