在人工智能研究中,问卷数据的质量直接决定模型训练与结论的可靠性。我们实验室在分析某智能教育平台用户行为时,曾因问卷量表设计不当导致回收的420份样本中近30%无法通过信度检验。以下从量表构建、样本量估算到信效度检验,梳理一套可复用的规范流程。
1. 量表设计技巧:首先明确构念的操作化定义。例如,测量“AI工具使用意愿”时,可参考技术接受模型(TAM),将感知有用性、感知易用性、使用态度作为子维度。每个维度至少设计3-5个题项,采用李克特5点或7点量表。我们建议在正式发放前进行小范围预测试(n≥30),通过项目分析删除区分度低的题项。
2. 样本数要求:根据经验法则,样本量至少为题项数的10倍,且总体不低于200。对于结构方程模型,样本量需达到300-500。例如,我们在一项关于深度学习框架采纳的研究中,量表共24题,最终收集有效问卷420份,满足分析需求。
3. 信度检验:克隆巴赫系数:信度反映量表内部一致性。通常要求克隆巴赫系数α≥0.7。计算公式为:$\alpha = \frac{k}{k-1}\left(1-\frac{\sum_{i=1}^{k} \sigma_{i}^{2}}{\sigma_{T}^{2}}\right)$,其中k为题项数,$\sigma_{i}^{2}$为第i题方差,$\sigma_{T}^{2}$为总分方差。我们建议对每个子维度分别计算α,若某维度α<0.6,需考虑删除或修改题项。
4. 效度检验:探索性与验证性因子分析:效度包括内容效度、结构效度和效标关联效度。结构效度常用因子分析检验。例如,使用SPSS进行探索性因子分析(EFA),KMO值应>0.6,Bartlett球形检验显著。随后用AMOS进行验证性因子分析(CFA),要求CFI>0.9,RMSEA<0.08。我们在某研究中通过CFA确认了四因子模型拟合良好(χ²/df=2.34, CFI=0.92, RMSEA=0.06)。