为了客观比较不同AI论文工具在学术写作中的表现,我们设计了一个标准化的评测任务:撰写一篇关于引力波数据分析的短篇论文。任务要求包括:输入一段关于LIGO探测到的GW150914事件的原始描述,生成包含引言、方法、结果、讨论四部分的完整论文,并确保参考文献格式规范、AIGC痕迹可控。我们选取了三款工具:学境思源(本站)、茅茅虫降重、PaperOk,分别从资料输入、结构控制、文献核验、改稿成本和Word交付五个维度进行打分。
在资料输入环节,我们测试了各工具对专业术语的理解能力。例如,输入“引力波信号$h(t)$的匹配滤波信噪比$ ho = \frac{\langle s, h \rangle}{\sqrt{\langle h, h \rangle}}$”时,学境思源能正确解析并保留公式,而茅茅虫降重将公式误转为纯文本,PaperOk则直接报错。这一差异在后续结构控制中进一步放大:学境思源自动生成了符合天体物理期刊格式的章节标题,而其他工具需要手动调整。