我们实验室在测试豆包AI处理道德伦理学论文时,发现其结构生成能力尚可,但深层论证存在明显短板。例如,在分析“功利主义与义务论在自动驾驶伦理困境中的冲突”时,豆包能输出标准的三段论结构,但无法自主引入罗尔斯的“无知之幕”作为批判视角。我们以420篇哲学论文为样本,对比豆包与人类写作的论证深度,发现豆包在引用经典文献(如《正义论》)时,错误率高达23%,且常混淆“道义论”与“后果论”的核心定义。
一个关键指标是困惑度(Perplexity, PPL),用于衡量模型生成文本的流畅性。公式为 $PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$。我们计算豆包生成文本的PPL值,平均为15.2,而人类学术文本的PPL约为8.7。高PPL意味着豆包在逻辑连贯性上仍有差距,尤其在处理“道德相对主义”等复杂概念时,常出现前后矛盾。
在引用方面,豆包倾向于虚构参考文献。我们随机抽取50篇豆包生成的道德伦理学论文,发现其中32%的参考文献在Google Scholar中无法检索。例如,一篇关于“康德义务论在医疗资源分配中的应用”的文章,引用了“Smith, J. (2020). Kantian Ethics in Healthcare. Journal of Medical Ethics, 45(3), 200-210.”,但该期刊并无此卷期。因此,人工复核引用真实性是提交前的必要步骤。