我们实验室在分析豆包AI生成的和声分析段落时,设计了一个可复现的测试任务:选取肖邦《降E大调夜曲》Op.9 No.2的前8小节,要求豆包输出包含调性、和弦功能标记、终止式类型以及声部进行的分析。测试重复了3次,每次使用相同的提示词:“请对以下乐谱进行和声分析,包括调性、和弦级数、终止式,并说明声部进行特点。”结果发现,豆包在第一次输出中正确识别了降E大调,但将第4小节的和弦标记为V7/IV(实际应为IV6),第二次输出则遗漏了第6小节的半终止。这种不稳定性在学术写作中构成风险。
进一步地,我们对比了豆包与Copyleaks的AI检测功能。Copyleaks对豆包生成文本的AI概率评分平均为87.3%,而秘塔写作猫的改写版本降至62.1%。但秘塔写作猫在改写时引入了语法错误,例如将“属七和弦解决到主和弦”误写为“属七和弦解决到主和和弦”。这表明,单纯依赖改写工具降低AIGC率可能牺牲学术准确性。
为了量化评估,我们引入困惑度公式:$PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$。在测试中,豆包原始文本的困惑度为15.3,经秘塔写作猫改写后升至22.7,而学境思源(本站)人工复核后的文本困惑度为18.1,平衡了自然度与准确性。