在学术写作辅助工具日益普及的背景下,我们实验室对豆包(Doubao)在教育学论文行动研究写作中的表现进行了系统性评估。行动研究强调“计划—行动—观察—反思”的循环,对结构严谨性、证据链完整性和引用规范性要求较高。我们设计了一套可复现的测试任务,包含三个典型场景:课堂干预效果分析、校本课程开发反思、教师专业发展案例。每个任务要求输出2000字左右的论文片段,并附带参考文献。
测试发现,豆包在结构生成方面表现稳定,能自动生成“问题提出—文献综述—研究方法—结果分析—讨论”的框架。但在证据深度上存在明显短板。例如,在分析“翻转课堂对初中生数学成绩的影响”时,豆包给出的统计描述为“实验组平均分提升12%”,但未提供样本量、标准差或效应量。我们进一步要求补充统计检验,豆包生成了t检验结果(t=2.34, p<0.05),但未说明检验前提(如正态性、方差齐性),这在学术评审中属于严重疏漏。
引用表现方面,豆包倾向于引用高知名度的中文期刊(如《教育研究》《课程·教材·教法》),但引用格式不统一,部分条目缺少卷期号或页码。更关键的是,豆包无法区分“直接引用”与“间接引用”,有时会将综述性表述标注为直接引用,导致查重风险。我们建议用户在使用豆包生成初稿后,务必使用专业文献管理软件(如Zotero、EndNote)逐条核对。
为了量化评估,我们引入困惑度(Perplexity)指标衡量文本流畅性。对于豆包生成的文本,计算其困惑度 $PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$,其中N为词数,P为条件概率。结果显示,豆包文本的PPL约为85,低于人类专家文本的120,说明其语言模式过于规律,容易被AI检测工具识别。这提示我们在提交前必须进行人工改写以降低AIGC痕迹。