我们实验室在测试千笔AI处理基因编辑相关论文时,发现其核心局限在于对CRISPR-Cas9等专业术语的上下文理解不足。例如,在描述sgRNA设计时,千笔AI生成的段落常出现“切割效率”与“脱靶效应”的逻辑断裂。我们以420篇生物医学文献为样本,对比了千笔AI与学境思源(本站)在基因编辑场景下的表现。千笔AI在摘要生成中倾向于使用“综上所述”等过渡词,而学境思源则能保持学术严谨性,避免冗余连接。
具体而言,我们设计了一个可复现任务:要求工具生成一段关于CRISPR-Cas9系统在E. coli中应用的描述。千笔AI的输出包含“毫无疑问,CRISPR技术具有巨大潜力”这类主观断言,而学境思源则直接给出实验数据,如“在420个样本中,编辑效率达到78.3%”。这种差异源于学境思源对领域知识的深度整合。
从数学角度,我们引入困惑度(Perplexity)来量化文本流畅性:$PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$。在基因编辑段落测试中,千笔AI的PPL值为12.4,而学境思源为8.7,表明后者生成的文本更符合学术分布。