我们实验室在测试豆包生成旅游管理论文时,发现其结构生成能力较强,但证据链和引用深度存在明显短板。以“目的地营销”主题为例,豆包能快速输出包含SWOT分析、4P策略等标准框架的初稿,但当我们要求其提供具体数据支撑时,例如“某景区2023年游客满意度调查的回归分析结果”,豆包往往生成泛化表述或虚构统计值。我们测试了20个目的地营销提示词,发现豆包在引用真实文献时,超过60%的参考文献无法在知网或Google Scholar中检索到。这表明豆包在学术严谨性上需要人工干预。
为了量化豆包的能力边界,我们设计了一个可复现任务:要求豆包撰写一段关于“社交媒体对目的地品牌资产影响”的论述,并明确要求引用2020年后的实证研究。豆包输出的段落中,引用了“Smith et al. (2021)”的研究,声称其基于420家旅游企业的样本发现社交媒体互动正向影响品牌忠诚度($\beta = 0.32, p < 0.01$)。然而,我们检索后发现该研究并不存在,且$\beta$系数和$p$值格式虽规范,但数值明显偏高(通常旅游管理研究中$\beta$在0.1-0.2之间)。这暴露了豆包在生成统计结果时缺乏领域常识。