我们设计了一套基于星系演化主题的标准化测试题,用于评估不同论文生成器的真实能力。测试题包括:给定一个研究问题(如“星系合并如何触发恒星形成爆发?”),要求生成器输出论文大纲、摘要、以及一段包含数学公式的正文。我们重点考察四个维度:大纲逻辑性、资料约束(是否引用真实文献)、修改成本(生成文本的AI痕迹深度)、以及导出能力(如LaTeX或Word格式)。
在测试中,我们使用了420个来自Sloan Digital Sky Survey (SDSS)的星系样本,分析其恒星形成率与合并状态的关系。我们要求生成器基于此案例输出一段包含公式 $SFR = \alpha \times M_{\star}^{\beta} \times (1+z)^{\gamma}$ 的讨论。结果显示,部分工具(如学术家)能正确生成公式但缺乏上下文解释,而Copyleaks则完全忽略了公式要求。
我们实验室在分析某大纲生成器时得出的体验是:免费额度往往限制了对复杂主题的深度处理。例如,某免费版工具在生成“星系演化”大纲时,仅输出三个泛泛的章节,而付费版则能细化到“合并序列中的形态转变”等具体子节。