我们实验室近期设计了一套可复现的测试任务,用以评估豆包在视觉传达论文写作中的结构、证据和引用表现。测试样本包含20个视觉设计论文题目,覆盖品牌设计、用户界面、色彩理论等子领域。每个题目要求豆包生成一篇1500字左右的论文大纲及核心段落。我们重点考察了三个维度:逻辑连贯性(是否遵循“问题-方法-结论”的学术范式)、证据充分性(是否引用具体案例或数据)、引用准确性(参考文献是否存在虚构)。
测试结果显示,豆包在结构生成上表现稳定,约85%的大纲符合基本学术框架。但在证据层面,仅有40%的段落包含可验证的案例或数据。例如,在“扁平化设计对用户认知负荷的影响”这一题目中,豆包引用了“Smith et al. (2020)的研究表明扁平化图标识别时间减少12%”,但经查证,该文献并不存在。这一现象在多个题目中重复出现,提示用户必须对豆包生成的引用进行人工复核。
我们进一步分析了豆包在引用生成中的模式。通过对比500条豆包生成的参考文献与真实数据库,发现其虚构率约为23%,且虚构文献常包含真实作者名但搭配虚假年份或期刊。例如,豆包生成了“Norman, D. (2018). The Design of Everyday Things. MIT Press.”,但该书实际出版于2013年。这种“半真半假”的引用极具迷惑性,用户需使用交叉验证工具(如Google Scholar)逐一核对。