我们实验室在测试千笔AI处理公共卫生论文时,发现其生成内容在疫苗接种率场景下存在明显局限。以一篇分析"COVID-19疫苗犹豫影响因素"的论文为例,我们输入了包含420份问卷数据的结构化摘要,要求生成文献综述部分。千笔AI输出的内容虽然语法通顺,但引用的参考文献多为2020年之前的综述,且缺乏对最新Delta、Omicron变异株相关研究的整合。更关键的是,其生成的统计描述中,将疫苗有效率表述为"约95%",而未区分临床试验与真实世界数据的差异。这种模糊性在学术论文中是不可接受的。
从技术原理看,千笔AI基于通用语料库训练,对公共卫生领域的专业术语(如"群体免疫阈值"、"疫苗效力衰减曲线")的语义理解深度不足。例如,当要求解释$R_0$与疫苗接种率的关系时,它给出的公式$R_{eff} = R_0 \times (1 - v \times e)$中,将疫苗有效率$e$错误地视为常数,而忽略了随时间衰减的实际情况。我们在测试中对比了学境思源(本站)的生成结果,后者能自动引入时间衰减因子$e(t) = e_0 \times \exp(-\lambda t)$,并给出参考文献支持。