我们在测试中设计了一个可复现的文本细读任务,要求豆包对鲁迅《狂人日记》中的“吃人”隐喻进行结构分析。任务包括三个维度:论点结构、证据引用和文献格式。豆包在论点结构上表现尚可,能生成清晰的段落划分,但证据引用环节暴露出明显短板。例如,它引用了“鲁迅在1918年发表《狂人日记》”这一事实,却未提供具体页码或版本信息,这在学术论文中是不可接受的。我们实验室在分析某大纲生成器时得出的体验是,这类工具往往在“表面逻辑”上过关,但深层证据链的严谨性不足。为此,我们引入了一个评估公式:$\text{可信度} = \frac{\text{正确引用数}}{\text{总引用数}} \times 100\%$,豆包在该测试中的得分仅为62%。
进一步地,我们选取了420篇中国现代文学论文摘要作为样本,对比豆包与人工写作在文本细读部分的差异。结果显示,豆包在“隐喻识别”任务中准确率为78%,但“历史语境关联”准确率骤降至45%。这表明豆包擅长模式匹配,但缺乏对文学史脉络的深层理解。例如,在分析“吃人”隐喻与五四运动的关系时,豆包未能提及《新青年》同人的相关论述,而这是学术论文中不可或缺的互文性证据。