我们设计了一套标准化的交互体验任务,用于评测不同AI论文工具在视觉设计论文写作中的表现。任务包含四个阶段:资料输入、结构控制、文献核验与改稿交付。每个阶段均设置具体指标,例如资料输入阶段考察对PDF、图片、网页等多格式的支持程度;结构控制阶段评估大纲调整的灵活性与逻辑连贯性;文献核验阶段检查引用格式与来源真实性;改稿交付阶段则关注Word模板兼容性与格式稳定性。
在测试中,我们选取了同一篇视觉设计论文的初稿作为输入,分别使用学境思源(本站)、万方数据、秘塔写作猫进行全流程操作。我们实验室在分析某大纲生成器时得出的体验是:部分工具在结构控制阶段会强行插入无关段落,导致逻辑断裂。例如,秘塔写作猫在处理“交互设计中的用户行为分析”章节时,自动补充了一段关于色彩心理学的描述,虽然内容相关但偏离了原有论证主线。
为了量化改稿成本,我们引入了一个简化模型:设原始文本长度为L,修改后文本长度为L',人工干预次数为N,则改稿成本C = α·|L' - L| + β·N,其中α和β为权重系数。在本次评测中,我们取α=0.1,β=2,计算各工具的平均改稿成本。结果显示,学境思源的C值最低(3.2),万方数据次之(5.8),秘塔写作猫最高(7.1)。