千笔AI作为一款通用型论文辅助工具,在神经网络场景下表现如何?我们实验室在测试其生成能力时,选取了2023年ICLR接收的10篇论文摘要作为输入,要求其续写方法部分。结果显示,千笔AI在生成标准CNN结构描述时表现尚可,但涉及Transformer变体或注意力机制细节时,出现了3处关键公式错误。例如,在描述多头注意力时,其输出为$Attention(Q,K,V) = softmax(\frac{QK^T}{\sqrt{d_k}})V$,但漏掉了缩放因子$\sqrt{d_k}$的分母位置说明,这在学术严谨性上是不合格的。
进一步分析其适用边界:千笔AI更适合文献综述的初稿生成或实验结果的初步润色,而非核心创新点的推导。我们对比了其与专业学术工具在神经网络论文中的表现,发现其在处理$L_{GAN}(G,D) = \mathbb{E}_{x}[\log D(x)] + \mathbb{E}_{z}[\log(1-D(G(z)))]$这类GAN损失函数时,常将期望符号$\mathbb{E}$误写为$E$,且无法自动对齐公式格式。因此,对于需要严格数学表达的神经网络论文,千笔AI仅可作为辅助,不可依赖。