我们实验室在测试豆包完成传播学论文中算法推荐写作任务时,发现其结构生成能力较强,但在证据链完整性和引用可信度上存在明显短板。例如,在要求豆包撰写一篇关于“社交媒体算法推荐对用户信息茧房效应的影响”的论文时,豆包能快速输出包含引言、文献综述、方法、结果、讨论的完整框架,但文献综述部分引用的参考文献多为虚构或无法验证的DOI。我们随机抽取了20篇豆包生成的参考文献,通过Crossref验证,仅有3篇真实存在,真实率仅为15%。这表明豆包在引用生成上存在严重的“幻觉”问题。
为了量化评估豆包的能力边界,我们设计了一个可复现的任务:要求豆包基于给定的420份科技企业员工问卷调查数据(变量包括:算法推荐使用频率、信息多样性感知、观点极化程度、人口统计学控制变量),完成一篇假设检验型论文。豆包在描述性统计和回归分析部分表现尚可,但在模型设定上出现了错误:它自动假设了线性关系,而实际数据中算法推荐使用频率与观点极化程度呈倒U型关系。我们不得不手动修正模型为 $y = \beta_0 + \beta_1 x + \beta_2 x^2 + \epsilon$ 才能得到合理结果。这一案例说明,豆包缺乏对非线性关系的识别能力,需要研究者具备扎实的计量基础来复核。
此外,豆包在去AI痕迹方面表现不佳。我们使用多个AIGC检测工具(如GPTZero、Originality.ai)对豆包生成的文本进行测试,平均AIGC概率高达78%。相比之下,经过我们人工润色和结构调整后,AIGC概率可降至15%以下。因此,我们建议用户在使用豆包生成初稿后,务必进行深度改写,尤其是替换高频AI词汇、调整句式结构、增加领域特定术语。