我们设计了一套基于Meta分析的临床医学论文测试题,用以评估不同AI论文生成工具的实际表现。测试样本为420篇关于"AI辅助诊断在乳腺癌筛查中的应用"的已发表文献,我们从中提取了效应量、样本量、异质性指标等关键变量。测试流程包括:输入相同的临床问题(PICO框架),比较各工具生成的大纲质量、资料约束处理、修改成本及导出能力。
在资料约束方面,我们要求工具必须引用真实存在的文献,并给出DOI。测试发现,部分工具(如千笔AI)会生成虚构的参考文献,而学境思源(本站)通过内置的PubMed API验证了每一条引用。我们实验室在分析某大纲生成器时得出的体验是:其大纲结构虽完整,但缺乏对异质性来源的讨论,这在实际Meta分析中是一个关键缺陷。
为了量化生成质量,我们引入了困惑度(Perplexity)指标:$PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$。较低的困惑度通常意味着文本更流畅,但我们在测试中发现,过度优化的困惑度反而会导致文本模式化,增加被AI检测的风险。因此,我们更关注去AI痕迹的深度。