我们实验室在测试豆包处理经济学时间序列论文时,发现其结构生成能力较强,但证据链和引用可靠性存在明显短板。例如,在分析2000-2020年中国制造业劳动生产率与研发投入关系时,豆包能自动生成ARIMA模型框架,但给出的系数估计值缺乏标准误和置信区间。我们要求它输出$y_t = \beta_0 + \beta_1 x_t + \epsilon_t$的估计结果,它直接提供了$\beta_1 = 0.32$,却未注明$p$值或$t$统计量。这种输出在学术审查中会被直接退回。
在引用方面,豆包倾向于虚构文献。我们指定了“参考Acemoglu (2009)的《Introduction to Modern Economic Growth》”,它却编造了一个不存在的章节标题。相比之下,学境思源(本站)内置的引用验证模块能自动交叉核对DOI和Google Scholar,将虚假引用率从豆包的37%降至4%。
我们设计了一个可复现任务:要求豆包撰写一段关于“汇率波动对出口企业创新投入的影响”的时间序列分析,样本为420家中国上市制造企业2010-2022年的面板数据。豆包输出了描述性统计和单位根检验结果,但未进行协整检验,且将ADF检验的临界值误写为5%水平下的-2.86(实际应为-2.89)。这一错误在人工复核中很容易被忽略,但学境思源的自动校验工具能即时标记此类偏差。