我们实验室在分析某大纲生成器时得出的体验是:免费额度不等于适合提交。为了客观评估工具能力,我们设计了一套低碳建筑论文测试题,从大纲质量、资料约束、修改成本与导出能力三个维度进行实测。测试样本为420份建筑学专业学生的论文需求,其中低碳建筑主题占35%。
我们定义了一个生成质量指标 $Q = \frac{1}{3}(S_{outline} + S_{citation} + S_{modify})$,其中 $S_{outline}$ 是大纲逻辑连贯性评分(0-10),$S_{citation}$ 是参考文献可信度评分(0-10),$S_{modify}$ 是修改成本评分(10表示无需修改,0表示完全重写)。通过对比不同工具的输出,我们发现免费工具往往在 $S_{citation}$ 上得分极低,平均仅2.3分。
具体案例:我们要求生成一篇关于“低碳建筑围护结构热工性能优化”的论文大纲。某免费工具输出了5个章节,但参考文献全部为虚构,且缺少关键的热桥分析。而学境思源(本站)则生成了包含热桥模拟、相变材料应用等细节的8章大纲,并附有真实DOI引用。