千笔AI作为一款通用型论文辅助工具,在化学领域的分子合成场景中表现如何?我们实验室在测试其生成有机合成路线时发现,千笔AI对常见反应(如酯化、酰胺化)的路线描述尚可,但涉及立体选择性控制或过渡金属催化等复杂机制时,其输出往往缺乏细节。例如,在分析某篇关于不对称氢化的论文时,千笔AI生成的实验步骤忽略了手性配体的关键作用,导致合成路径不可重复。这提示我们,千笔AI更适合作为初稿框架生成工具,而非专业合成细节的提供者。
从可复现任务角度看,我们选取了10篇近期《有机化学》期刊中的合成论文,要求千笔AI总结关键步骤。结果显示,对于涉及多步保护/脱保护策略的合成,千笔AI的准确率仅为60%,且常混淆试剂当量。相比之下,专业化学数据库(如Reaxys)的检索结果更可靠。因此,千笔AI在化学论文中的适用边界应限定于文献综述的初步整理,而非核心实验数据的生成。