在政治学论文写作中,公共政策分析常涉及制度设计、利益博弈与效果评估。我们实验室对豆包(Doubao)进行了结构化测试,选取了三个典型任务:政策问题界定、备选方案比较、以及政策建议撰写。测试样本为2023年发布的《数字政府建设政策》文本,要求豆包生成一份2000字左右的政策分析报告。
测试发现,豆包在结构完整性上表现尚可,能自动生成“背景-问题-方案-建议”框架。但在证据链构建上存在明显短板:当要求引用具体政策文件(如《国务院关于加强数字政府建设的指导意见》)时,豆包会虚构引用信息,例如生成一个不存在的“国发〔2023〕12号”文件。我们在测试中记录到,豆包在5次独立生成中,有3次出现了引用错误,错误率高达60%。
从学术严谨性角度看,豆包更适合作为灵感激发工具,而非直接产出可提交的论文。其能力边界可以用一个简单的公式描述:设论文质量 $Q = \alpha \cdot S + \beta \cdot E + \gamma \cdot R$,其中 $S$ 为结构得分,$E$ 为证据可靠性,$R$ 为引用准确度。豆包在 $S$ 上可达7分(满分10),但 $E$ 和 $R$ 分别仅为4分和3分,导致综合质量偏低。