我们实验室在测试豆包AI生成电子信息论文电路拓扑部分时,设计了一个可复现的基准任务:要求模型基于给定的Buck变换器参数(输入电压12V,输出电压5V,开关频率100kHz,负载电阻10Ω)生成完整的电路拓扑描述、元件选型依据和仿真验证步骤。测试发现,豆包在结构完整性上表现尚可,能输出包含工作原理、关键波形和设计公式的段落,但存在两个突出问题:一是对具体元件型号的引用缺乏真实来源,例如它推荐使用IRF540 MOSFET,却未提供数据手册中的关键参数(如Rds(on)=0.077Ω);二是对拓扑变体的边界判断模糊,当要求比较同步整流与异步整流时,豆包给出的效率计算公式中忽略了死区时间影响,导致理论效率偏高约3%。
为了量化评估,我们引入了困惑度(Perplexity)指标来衡量豆包生成文本的流畅性与信息密度。对于一段包含电路公式的文本,其困惑度定义为 $PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$ ,其中N为词序列长度。在测试中,豆包生成的电路描述文本困惑度约为45,而人工撰写的同类文本困惑度约为32,说明豆包在局部连贯性上尚可,但全局逻辑跳跃较大。例如,在描述电感电流连续模式(CCM)时,豆包突然插入一句“电容的ESR会影响纹波”,但未与前文建立因果联系,这种断裂在学术论文中需要人工修正。