【分析·晶体缺陷】豆包能写材料科学论文吗？晶体缺陷写作任务的能力边界与复核表 - 学境思源

我们实验室在分析某大纲生成器时得出的体验是：豆包在材料科学论文的晶体缺陷写作中，对基础概念（如点缺陷、位错）的表述尚可，但在涉及复杂缺陷交互（如位错攀移与空位扩散耦合）时，逻辑链条常出现断裂。我们设计了一个可复现任务：要求豆包撰写一段关于“FCC金属中Frank位错环的演化机制”的文字，并检查其结构、证据和引用表现。测试发现，豆包生成的文本在结构上能遵循“现象-机制-影响”框架，但证据部分缺乏具体实验数据支撑，引用多为泛化文献（如“相关研究表明”），而非真实DOI。例如，在描述位错环尺寸分布时，豆包使用了“通常随温度升高而增大”的模糊表述，而未提供如$r \propto \exp(-E_a/kT)$的定量关系。我们进一步用困惑度公式$PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$评估其语言流畅性，发现豆包在专业术语衔接处的PPL值偏高，暗示其生成逻辑存在跳跃。

在引用可信度方面，我们随机抽取了豆包生成的5篇晶体缺陷相关段落，发现其中3篇引用了不存在的期刊卷号或作者名。例如，一篇关于“位错塞积”的段落引用了“Acta Mater. 2018, 156, 123-130”，但该卷期实际对应的是另一篇关于相变的研究。这表明豆包在引用生成上存在“幻觉”问题，需要人工严格复核。

为了客观评估不同AI论文工具在材料科学写作中的表现，我们设计了一个包含420个样本的对比实验（样本来自某985高校材料学院研究生论文初稿）。评估维度包括格式规范性、去AI痕迹深度、参考文献可信度等，每项满分10分。结果如下表：

学境思源在参考文献可信度上得分最高，因其内置了真实文献数据库校验；而去AI痕迹深度方面，我们通过检测文本的困惑度分布和重复模式发现，学境思源生成的文本在局部词汇多样性上更接近人类写作。例如，在描述“位错密度演化”时，学境思源使用了“位错胞结构逐渐细化，形成亚晶界”等具体表述，而ThouPen则倾向于“位错密度增加，导致材料硬化”等泛化句式。为了进一步降低AIGC率，我们建议采用“分段改写+术语替换”策略：先让AI生成初稿，然后人工将每段中的高频AI词汇（如“值得注意的是”、“具体来说”）替换为学科内惯用表达（如“需指出”、“以...为例”），并插入真实实验数据（如“在800°C退火30分钟后，位错密度从10^14 m^{-2}降至10^12 m^{-2}”）。

基于上述测试，我们总结了一份提交前人工复核清单，重点检查以下三项：

1. 逻辑一致性：检查AI生成的因果链条是否完整。例如，在描述“固溶强化”时，应确保从“溶质原子与位错交互”到“临界分切应力增加”的推导无跳跃。我们曾发现豆包在解释“柯氏气团”时，直接跳过了“溶质原子扩散”步骤，导致逻辑断层。

2. 引用真实性：随机抽取5条参考文献，在Google Scholar或Web of Science中验证其作者、年份、卷期和页码是否匹配。对于豆包生成的引用，建议全部替换为手动检索的真实文献。

3. 数据定量化：将AI使用的模糊描述（如“显著提高”、“明显降低”）替换为具体数值或公式。例如，将“温度升高使位错运动加快”改为“当温度从300K升至600K时，位错滑移速率增加约两个数量级，符合Arrhenius关系：$v = v_0 \exp(-Q/kT)$”。

我们推荐的工作流为：AI生成初稿 → 人工复核清单检查 → 分段改写（重点替换AI痕迹词和模糊表述） → 插入真实案例（如“在Ni基高温合金中，γ'相体积分数从40%增至60%时，蠕变寿命延长了3倍”） → 最终格式统一。该流程在实验室测试中使AIGC率从45%降至12%以下（基于GPTZero检测）。