我们在处理天文学AI初稿时,发现星系演化章节最容易出现“流畅但空洞”的问题。例如,某次测试中AI生成了一段关于“星系并合触发恒星暴发”的描述,看似合理,但引用文献为虚构。为此,我们设计了一套五层审查流程:事实核查、引用验证、方法复现、逻辑推理、格式规范。以下以具体案例说明。
案例: 分析420个低红移星系样本(来自SDSS DR17),AI初稿声称“并合事件导致恒星形成率(SFR)提升2.3倍,置信度99%”。我们首先核查事实:原始论文(Smith et al. 2022, ApJ, 928, 45)实际报告的是1.8倍提升,且置信区间为95%。AI错误地放大了效应量。其次,引用验证发现该文献确实存在,但页码错误。方法复现时,我们尝试用原始代码(公开于GitHub)重新计算,发现AI未考虑尘埃消光修正,导致SFR高估。逻辑推理上,AI将相关性误认为因果性——并合可能只是触发,而非唯一原因。格式方面,表格缺少单位,参考文献格式不一致。
我们实验室在分析某大纲生成器时得出的体验是:AI对数值的“捏造”往往集中在$\beta$系数或$p$值上。例如,一个线性回归模型$y = \beta_0 + \beta_1 x + \epsilon$,AI可能随意赋予$\beta_1=0.73$,但实际数据拟合值为0.52。因此,我们建议逐项核对每个数字的来源。