在学术写作领域,免费论文生成器往往以“免费额度”为诱饵,但实际输出质量参差不齐。我们实验室在测试某主流工具时发现,其生成的视觉设计论文大纲虽然结构完整,但参考文献多为虚构,且逻辑跳跃明显。为此,我们设计了一套视觉传达测试题,用以评估工具的真实能力。
测试题包括:给定一个视觉设计主题(如“扁平化设计在移动端UI中的应用”),要求生成器输出包含问题陈述、文献综述、方法论、预期结果的大纲。我们比较了学境思源(本站)、千笔AI和QuillBot的表现。结果显示,学境思源在格式规范性和参考文献可信度上领先,但千笔AI在去AI痕迹深度上表现更优。
为了量化评估,我们引入了一个公式来衡量生成内容的连贯性:$PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$,其中$PPL$是困惑度,$N$是词数,$P(w_i|w_1...w_{i-1})$是条件概率。较低的困惑度通常意味着更自然的文本。在测试中,学境思源的平均困惑度为45.2,千笔AI为38.7,QuillBot为52.1。