我们实验室近期设计了一套标准化任务,用于评估豆包在传播学论文(尤其是媒介融合方向)中的结构、证据和引用表现。测试样本包含420篇摘要和30个完整大纲,覆盖了从“媒介融合对新闻生产的影响”到“算法推荐中的信息茧房效应”等典型议题。核心发现是:豆包在生成逻辑连贯的段落结构方面表现良好,但在证据深度和引用准确性上存在显著短板。
具体而言,我们要求豆包生成一段关于“媒介融合下新闻编辑室数字化转型”的论述。豆包输出的文本包含诸如“数字化转型提升了新闻生产效率”之类的泛化陈述,但缺乏具体案例或数据支撑。相比之下,人类研究者会引用类似“皮尤研究中心2023年报告显示,78%的美国新闻编辑室已采用AI辅助工具”这样的实证依据。这种差异可以用困惑度(Perplexity)指标量化:$PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$。在测试中,豆包生成文本的平均困惑度为45.2,而人类撰写文本的平均困惑度为28.7,表明豆包在词汇选择上更倾向于高概率(即常见)组合,导致信息密度不足。
在引用方面,豆包有时会编造看似合理但实际不存在的文献。例如,在一次测试中,它引用了“Smith, J. (2022). Media Convergence in the Digital Age. Journal of Communication, 72(3), 45-67.”,但经查证,该期刊该卷期并无此文。这种“幻觉”现象在涉及非英语文献时尤为严重。因此,我们建议用户将豆包视为“初稿生成器”,而非“事实核查员”。