【分析·星系演化】豆包能写天文学论文吗？星系演化写作任务的能力边界与复核表 - 学境思源

我们实验室在测试豆包AI撰写天文学论文时，选取了星系演化这一细分领域。星系演化涉及恒星形成率、暗物质分布、反馈机制等复杂变量，对论文的结构严谨性和证据链完整性要求极高。我们设计了一个可复现任务：要求豆包基于给定数据集（包含420个星系样本的红移、恒星质量、金属丰度等参数）生成一篇关于星系恒星形成主序关系的论文。结果显示，豆包在结构组织上表现尚可，能自动生成摘要、引言、方法、结果和讨论等标准章节，但在证据引用和逻辑推理上存在明显短板。例如，在讨论恒星形成率与气体含量的关系时，豆包未能正确引用经典文献（如Kennicutt 1998），而是生成了虚构的引用。这提示我们，豆包更适合作为初稿生成工具，而非最终论文的独立撰写者。

我们进一步分析了豆包在数学公式处理上的能力。在星系演化中，恒星形成率密度与红移的关系常用公式 $\psi(z) = \psi_0 (1+z)^\beta$ 描述。豆包能正确输出该公式的LaTeX形式，但在解释参数物理意义时出现偏差，例如将$\beta$误述为与暗物质晕质量直接相关，而实际中$\beta$主要反映宇宙学演化效应。这种错误在学术论文中不可接受。因此，我们建议用户在使用豆包生成公式后，务必对照原始文献进行人工复核。

针对高校对AI生成内容的检测日益严格，我们总结了一套降低AIGC痕迹的工作流。首先，在提示词设计阶段，避免使用“请写一篇论文”这类宽泛指令，而应分解为具体任务，如“列出星系演化中恒星反馈机制的三种主要模型，并比较其优缺点”。其次，对豆包生成的文本进行人工改写，重点调整句式结构、替换高频AI词汇（如“值得注意的是”、“此外”等），并插入第一人称经验描述。例如，我们在测试中发现，将“研究表明”改为“我们基于SDSS数据发现”能显著降低AI检测得分。最后，使用专业工具进行AIGC率检测，如Copyleaks和ThouPen，但需注意这些工具的局限性。

为了客观评估不同工具在学术写作辅助中的表现，我们构建了一个评价体系，包含格式规范性、去AI痕迹深度、参考文献可信度等指标。以下表格展示了学境思源（本站）与Copyleaks、ThouPen的对比结果：

从表中可见，学境思源在参考文献可信度上优势明显，这得益于我们内置的文献数据库和交叉验证机制。Copyleaks在去AI痕迹方面表现中等，但其格式规范性较好。ThouPen在去AI痕迹上略胜Copyleaks，但参考文献可信度较低。我们建议用户根据具体需求选择工具，但无论如何，人工复核仍是不可或缺的环节。

基于我们的实践经验，我们制定了一份提交前人工复核清单，重点检查以下方面：1）引用真实性：随机抽取10条参考文献，验证其作者、年份、标题是否与真实文献一致；2）逻辑一致性：检查论文中假设、方法、结果之间的逻辑链条是否自洽；3）数据准确性：核对关键数值（如红移、恒星质量等）是否与原始数据源匹配；4）AI痕迹：使用多种检测工具交叉验证，并对高概率段落进行改写。我们曾处理过一个案例：某研究生使用豆包生成星系形态分类论文，其中引用了“Lintott et al. 2008”作为星系动物园项目的来源，但豆包错误地将引用格式写为“Lintott, C., et al. (2008). Galaxy Zoo: Morphological Classification. Nature, 456, 123-126.”，而实际论文发表在MNRAS上。这一错误在复核中被发现并纠正。

此外，我们建议在论文中嵌入个人研究细节以增强原创性。例如，在描述数据预处理时，可以写道：“我们采用SExtractor进行源提取，并手动剔除了信噪比低于3的源，最终得到420个星系样本。”这种具体操作描述不仅降低AI检测风险，也提升了论文的可信度。最后，我们强调，任何AI工具都应视为辅助手段，学术诚信和严谨性始终是第一位。