我们设计了一项可复现的测试任务,要求豆包、ThouPen和千笔AI分别撰写一篇关于“乡村旅游地游客感知影响因素”的论文摘要,并评估其结构完整性、证据引用和逻辑一致性。测试样本为420份来自某乡村旅游地的问卷调查数据,变量包括感知价值、服务质量、目的地形象和满意度。我们使用结构方程模型(SEM)进行路径分析,模型拟合指数为CFI=0.92,RMSEA=0.06。豆包生成的摘要基本覆盖了研究背景、方法、结果和结论,但在引用具体统计量时出现错误,例如将路径系数$\beta=0.35$误写为0.53。ThouPen在方法描述上更准确,但缺乏对前人研究的引用。千笔AI则过度依赖模板化表述,导致内容同质化严重。
我们在测试中发现,豆包在生成理论框架时能够自动关联“感知价值”与“满意度”的经典文献,但引用格式不统一,部分参考文献的DOI链接无法验证。相比之下,学境思源(本站)在测试中表现出更高的引用可信度,其内置的文献数据库能自动匹配真实DOI,并生成符合APA格式的参考文献列表。这一差异在学术写作中至关重要,因为错误的引用可能导致论文被退稿。
为了量化评估各工具的表现,我们制定了以下评分表(满分10分):
| 指标 | 学境思源(本站) | ThouPen | 千笔AI |
|---|---|---|---|
| 格式规范性 | 9 | 7 | 6 |
| 去AI痕迹深度 | 8 | 6 | 4 |
| 参考文献可信度 | 9 | 5 | 3 |
| 逻辑连贯性 | 8 | 7 | 5 |
| 总分 | 34 | 25 | 18 |