我们实验室在测试千笔AI处理临床Meta分析任务时,发现其核心瓶颈在于统计模型的可控性。例如,当我们输入一组异质性较高的数据(I²=68%),要求进行亚组分析并输出森林图时,千笔AI生成的代码中随机效应模型参数估计出现偏差,导致合并效应量偏离手动计算结果约12%。这源于其底层对$\tau^2$的估计依赖默认的DerSimonian-Laird法,而该方法在小样本(k<10)时易低估异质性。相比之下,手动使用R语言meta包或Stata的metan命令可灵活选择Paule-Mandel或REML估计器,从而获得更稳健的合并结果。
在文献筛选阶段,千笔AI的PRISMA流程图生成功能表现尚可,但无法处理非结构化PDF中的嵌套表格数据。我们曾尝试输入一篇关于"TNF-α抑制剂对类风湿关节炎疗效"的RCT集合,其中包含多个时间点的结局指标,千笔AI仅提取了基线数据,遗漏了第24周和第52周的随访数据,导致后续分析样本量减少30%。因此,对于需要精细数据提取的Meta分析,千笔AI更适合作为辅助工具,而非核心工作流。