我们实验室在测试豆包AI处理弹性城市论文时,发现其结构生成能力较强,但证据链和引用深度存在明显短板。以“城市韧性评估模型”为例,豆包能输出标准的IMRaD结构(引言、方法、结果、讨论),但当我们要求其提供具体案例——比如分析420个中国地级市的面板数据,使用双重差分法评估海绵城市政策效果——豆包生成的统计结果常出现符号错误,例如将$\beta$系数符号写反。我们推测这是因为豆包缺乏对计量经济学假设(如同方差性、无自相关)的显式建模能力。
在引用方面,豆包倾向于引用高知名度期刊(如《Nature》《Science》),但忽略了城市规划领域的核心中文期刊(如《城市规划》《城市发展研究》)。我们随机抽取了10篇豆包生成的弹性城市论文,发现其参考文献中英文占比超过80%,且近30%的引用存在DOI缺失或年份错误。这表明豆包在领域特定知识库的覆盖上仍有不足。