我们实验室在2024年秋季对千笔AI进行了为期两周的专项测试,聚焦旅游管理学科中“目的地营销”这一典型场景。测试任务包括:生成一份针对某滨海城市的营销策略大纲、撰写一段关于“游客感知价值”的文献综述、以及模拟一份包含SPSS输出表格的数据分析报告。测试样本为420份来自某高校旅游管理专业近三年的毕业论文摘要,我们将其输入千笔AI,要求生成对应的扩展段落。
结果显示,千笔AI在结构化任务(如大纲生成)上表现尚可,但在需要深度学科知识的文献综述和数据分析部分,其输出存在明显的“模板化”倾向。例如,在分析“社交媒体营销对目的地品牌资产的影响”这一主题时,千笔AI生成的文本中频繁出现“综上所述”“显而易见”等过渡词,且参考文献多为虚构或过时文献。我们使用Perplexity指数($PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$)对输出文本进行量化评估,发现千笔AI生成文本的平均PPL值为85.3,而人类撰写的同类文本平均PPL值为42.1,表明其语言模式与人类写作存在显著差异。
在目的地营销场景中,千笔AI的另一个短板是对地域性数据的处理能力不足。例如,当要求其基于某景区2023年的游客满意度调查数据(N=500)进行回归分析时,千笔AI输出的结果中$R^2$值被错误地报告为0.98,而实际计算值仅为0.63。这一偏差源于其对统计方法的机械套用,缺乏对数据分布特征的检验。因此,我们认为千笔AI更适合作为灵感激发工具,而非直接用于论文主体写作。