我们实验室近期设计了一套可复现的评估任务,专门测试豆包在新闻传播论文中“舆论流变”主题下的写作表现。任务要求豆包生成一篇包含理论框架、案例分析和文献引用的短文,主题为“社交媒体舆情反转的动力学机制”。我们选取了2023年某科技公司裁员事件作为案例,该事件在48小时内经历了三次舆论反转,涉及420条微博样本的语义网络分析。
在结构层面,豆包能够自动生成包含引言、文献综述、方法、结果和讨论的完整框架,但文献综述部分倾向于堆砌经典理论(如沉默的螺旋、议程设置),缺乏对前沿研究(如情感极化与算法推荐耦合模型)的整合。证据层面,豆包引用了5篇中文期刊论文,但其中2篇的DOI无法在知网验证,存在虚构风险。引用格式上,豆包输出的参考文献符合GB/T 7714标准,但缺少页码和卷期号。
我们进一步用困惑度(PPL)指标量化豆包生成文本的流畅性。对于一段300字的舆论流变描述,豆包输出的PPL值为$PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}} \approx 12.3$,低于人类专家文本的8.7,说明其语言模式更可预测,AI痕迹较明显。这一发现提示,直接使用豆包生成的内容需要人工改写以降低AIGC检测风险。