我们以催化机理论文为测试载体,因为该领域对反应路径、能垒计算和实验验证有严格逻辑要求。测试工具包括学境思源(本站)、秘塔写作猫和万方数据。我们设计了三项核心任务:生成一个关于“过渡金属氧化物催化CO氧化”的论文大纲、填充一段包含Arrhenius公式的机理描述、以及导出含参考文献的完整段落。
在测试中,我们要求工具生成包含以下变量的内容:催化剂为CuO/CeO2复合氧化物,反应温度区间为100-300°C,活化能Ea=45 kJ/mol。我们特别关注工具是否能正确嵌入公式 $k = A e^{-E_a / (RT)}$ 并解释指前因子A的物理意义。
我们实验室在分析某大纲生成器时得出的体验是:多数工具能生成结构完整的大纲,但在细节约束上差异显著。例如,秘塔写作猫的大纲包含“引言-实验-结果-讨论”标准结构,但未指定催化剂具体组成;万方数据则直接引用了一篇2019年的综述,但未更新至2023年文献。