我们实验室在测试豆包撰写工商管理案例研究时,设计了一套可复现的任务流程。以“数字化转型对企业绩效的影响”为案例主题,我们要求豆包生成包含问题定义、文献综述、方法论、分析结果和结论的完整章节。测试发现,豆包在结构生成上表现良好,能自动输出标题层级,但证据链的深度不足。例如,在分析“技术采纳模型”时,豆包仅列举了TAM的三个核心变量(感知有用性、感知易用性、行为意向),而未引用具体实证研究中的系数估计值。我们手动补充了来自Davis (1989) 的原始回归结果:$y = \beta_0 + \beta_1 PU + \beta_2 PEU + \epsilon$,其中$\beta_1=0.52, \beta_2=0.34$,模型解释力$R^2=0.63$。这一缺失表明豆包在定量证据的精确引用上存在短板。
在引用表现方面,豆包倾向于生成虚构的参考文献。我们检查了其输出的10篇参考文献,发现其中3篇的期刊名称、作者或年份与实际不符。例如,一篇标注为“Journal of Management, 2020”的文章在Web of Science中无法检索到。这提示用户在使用豆包时,必须对参考文献进行人工验证。我们建议采用“引用可信度评分”来量化这一风险:$C = \frac{N_{valid}}{N_{total}} \times 10$,其中$N_{valid}$为可验证的引用数。在我们的测试中,豆包的$C$值仅为7.0,低于学术写作的合格线(通常要求≥8.5)。