我们实验室近期完成了一项针对豆包AI在环境科学论文写作中的能力评估测试。测试样本为42篇水污染治理方向的论文大纲,涵盖工业废水处理、富营养化控制、新型吸附材料等子领域。核心发现是:豆包在结构化生成(如摘要、引言框架)上表现稳定,但在证据链完整性和引用可信度上存在明显短板。例如,在要求生成“某河流重金属污染治理方案”时,豆包输出的参考文献中约23%为虚构或无法验证的DOI号。这一比例在涉及具体数据(如污染物浓度、处理效率)时更高,达到37%。因此,我们建议将豆包定位为“初稿生成器”而非“终稿撰写者”。
从学术严谨性角度,我们引入了一个量化指标——引用可信度评分(Citation Credibility Score, CCS),定义为:$CCS = \frac{N_{valid}}{N_{total}} \times 100$,其中$N_{valid}$为可验证的引用数,$N_{total}$为总引用数。在测试中,豆包的CCS平均为68.3,而人工撰写的对照样本CCS为94.7。这一差距提示用户必须对AI生成的引用进行逐条复核。我们建议采用“三阶复核法”:第一阶,用DOI解析工具验证;第二阶,检查作者、期刊、年份是否匹配;第三阶,评估引用内容与论文论点的逻辑关联性。