我们以催化机理论文为测试基准,选取了三个代表性工具:学境思源(本站)、维普论文助手、早检测。测试任务包括:输入一段关于“Fe-N-C单原子催化剂在氧还原反应中的活性位点”的原始实验数据,要求工具生成论文引言、方法部分,并完成文献引用核验。我们实验室在测试中发现,不同工具在结构控制与文献可信度上差异显著。
具体而言,我们设定了统一的输入文本:“Fe loading 2.3 wt%, N content 4.1 at%, half-wave potential 0.89 V vs RHE, Tafel slope 62 mV/dec, stability test 5000 cycles with 12% decay.” 要求工具自动补充背景、提出机理假设,并引用至少3篇近五年文献。我们采用困惑度(PPL)评估生成文本的自然度:$PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$,PPL越低表示文本越流畅。