TOP JOURNAL上的效度
• 如果是新的测量方法或者是简版的测量方 法需要测量其聚合效度。
TOP JOURNAL上的效度
一般使用CFA来测量区分效度，具体方法是：采用竞争模型比较，一个模型中各 变量由估计，另几个模型中根据实际情况把各变量组合成若干个新变量，比较几 个模型的模型配适度。
TOP JOURNAL上的效度
• 我们用测量分数和效标之间的相关系数来估计效 标关联效度。用SPSS的操作：
分析——相关——双变量
构念效度
• 构念效度：指一个测量实际测到所要测量 的理论结构和特质的程度，或者说测量能 够说明测量的理论结构或特质的程度。（ 构念是理论上的、抽象的、无形的。）
构念效度的测量
• 没有一个单一的证据足以完成这样的测量，我们需要进行 大量的实证研究才能找到测量工具的构念效度实证研究的 具体方法如下：
效度的概念和组成
• 效度：指测试能够测量到我们想要测量的概念 的程度。
• 效度的组成： 1、内容效度(Content Validity) 2、效标关联效度（Criterion-related Validity） 3、构念效度(Construct Validity)
有关表面效度（Face Validity）
1、考察测量工具的条目或者分量表是否具有同质性，测量的是否是一个 单一的构念。 2、考察随着个体的发展变化，检验分数是否与这个构念的理论预期相吻 合。 3、考察不同群体之间测验分数的差异，是否与理论相吻合。 4、分析对测量分数进行干预的效果，是否与理论预期相吻合。 5、将测验的分数与相关概念和不相关概念的测量进行相关分析。 6、对测量进行因素分析，看构念的构成是否符合理论。 7、分析测量的得分是否可以用来正确区分受测者。
如何测量区分效度
测量方法 • 3、采用竞争模型比较，一个模型两个因素
自由估计，另一个模型把所有item放到一个 潜变量中，比较模型配适度。
如何测量区分效度
测量方法
• 4、平均变异萃取量比较方法，看两个变量 平均变异萃取量的平均值是否大于两个潜 在变量相关系数平方。或者在SEM模型估计
中,在OUTPUT勾选ALL IMPLIED MOMENT,再重 新执行在报表的ESTEIMATE下会看到MATRIX的 ALL IMPLIED CORRELATION,就会看到潜变量 相关值将对角线的1改成AVE根号值,只要所相关 值小于AVE根号值就表示有区别效度。
聚合效度和区分效度
• 将测验的分数与相关概念和不相关概念的 测量进行相关分析。涉及聚合效度和区分 效度。
聚合效度
• 聚合效度（Convergent validity）： 两个测量工具如果在构念上是有重合的，那 么这两个测验得分之间应该有较高相关。（ 也有翻译为“会聚效度”）
测量方法：两种测量结果之间的相关系数。 SPSS——分析——相关——双变量
用spss的操作如下： 分析——度量——可靠性分析——分半 根据所放题项的顺序可以控制如何进行分半
α系数
• α系数是考虑了所有分半系数的可能性，然 后经过斯皮曼-布朗公式的校正得到的。
• 用spss的操作如下： 分析——度量——可靠性分析——α
评价者间一致性信度
• 不同评分者评价之间的相关系数。 用spss操作如下： 分析——非参数检验——旧对话框——k个相关样本 选择统计类别： F test：适用于题目分值为连续性测量尺度。 Kendall’s：适用于分值不呈正态或为有序分类时。 Cochran chi-square：适用于题目分值为二分类／无序分类时。
• 计算公式
– AVE=Σ(因素负荷量2)/((Σ因素负荷量)2+ (Σ各测量变项的测量误差)) (Jöreskog and Sörbom , 1996)
选择哪一种信度
1、如果测试在编制时就可以允许个体测量多次，
对于这样的测试，重测信度当然是首选的信度估计 方法。 2、如果测量是单因素的，使用α系数就是很好的指 标。能用CR或AVE就更好了。 3、如果测验编排的顺序是根据难度的分布由易到难 进行编排的，分半效度就比较合适。 4、如果测试包含了主观判断成分，评分者间一致性 信度就比较重要。
• 测量方法：由专家进行逻辑分析 ，即请有 关专家对测验题目与原来的内容范围是否 符合进行分析 , 作出判断 , 看测验题目是否 较好地代表了原来的内容。
效标关联效度
• 效标关联效度：
当使用一个测验的分数去预测一些结果变量（效标 ）的时候是有效的，我们就认为测验具备了效标关 联效度。
• 根据效标是否与测验分数同时获得，效标关联效 度又分为：同时效度和预测效度。
若p值大于0.05表示不同评价者评价之间没有显著差异
用结构方程测量信度
• 在信度分析时α系数是使用最广泛的。但是,α系数假设潜 在变量到所有指标项目的负载值都相等, 这明显与现实不 相符 。在结构方程模式出现后, 我们更倾向于使用克服了 上述缺陷的组合信度CR和平均变异数萃取量（AVE）。
• 具体方法都是把各item的标准化负荷指数带入 excel
内部一致性信度
• 1、分半信度（Split-half Reliability）: • 2、α系数（Cronbach α）： • 3、评价者间一致性信度：
分半信度
• 1、分半信度（Split-half Reliability）: 找到一个有代表性样本进行一次施测之后，我们将题目分成 对等的两部分（通常按奇偶数分），将这两部分的得分进行 相关分析，所得的相关系数。（需要通过斯皮曼-布朗公式的 校正）
同时测量区分效度和聚合效度
• 多质多特法（MTMM）可以同时测度聚合 效度和区分效度。就是用不同的方法测量 不同的构念，再列出各组组合之间的相关 系数。
信度和效度的关系
• 信度高，效度不一定高，效度高，信度一 定高
TOP JOURNAL上的信度
• TJ上的信度大多还是用α系数（用CR与 AVE的还不多），在Measure部分标出各变 量的α，并在相关系数表中也列出α。
• 为了增强效度检验，经常会辅以AVE法。看两个变量AVE 的平均值是否大于两个潜在变量相关系数平方。或者将潜 变量相关矩阵中对角线的1改成AVE根号值,只要所相关值 小于AVE根号值就表示有区别效度。
• 2、复本信度：
针对同一组样本，将他们完成两个版本测量 之后的得分进行相关系数计算之后的所得。 （在同一时间点测的为复本信度，不同时间 点测的为重测复本信度）
如何测量时间稳定性信度？
• 将两组数据进行相关性分析。 用SPSS的操作如下： 分析——相关——双变量 若相关系数大于0.8表示此类信度可接受。
信度系数
• 理论上信度系数为真是分数的方差除以实 得分数的方差。
信度的测量
估计信度的两种主要方法： • 1、估计测验在时间上的稳定性。 • 2、考察测验的内部一致性。
一般来说可接受的信度为0.8以上。
时间稳定性的信度
• 1、重测信度：
针对一组具有代表性的样本，用目标测验让 他们测量两侧。两次结果的相关系数就是所 要估计的信度。
组成信度(composite reliability; CR)
• CR值是所有测量变项信度的组合，表示构念指针
的内部一致性，雷同于cronbach α，CR愈高表示
构念的内部一致性愈高，0.7是可接受的门坎 ( Hair,1997) ,Fornell and Larcker (1981)建议值 为0.6以上。 • 计算公式 – 构念的组成信度＝(Σ标准化因素负荷量)2/ ((Σ标
• 如果一个测试让测试使用者、施测者，尤 其是受测者觉得测试是一个有效的测试， 我们就认为这个测试具有表面效度。
• 表面效度和其他效度不一样，不是测验效 度的一种技术形式，它是一个社会接受度 的问题，所以我们一般不认为表面效度是 测验效度的一种。
内容效度
• 内容效度：主要是指测验中所包含的问题 、任务、条目是否是针对测量对象的有代 表性的行为样本。
如何测量区分效度
测量方法
• 2、采用竞争模型比较法，一个模型两因素 相关自由估计，另一模型则相关设置为1， 接着进行两个模型的卡方值差异比较，若 卡方值差异量愈大且达到显著水平（ p=0.05时卡方值差异量为3.841，p=0.01时 卡方值差异量为6.635，p=0.001时卡方值 差异量为7.879）时，表两模型间有显著的 差异，其区别效度越高。
Reliability & validity
信度的概念
• 信度指的是测量中的一致性属性。
测量误差的来源
• 1、测验的实施。 • 2、测验条目的选择。 • 3、测验的计分。 • 4、测验中的系统误差。
测量误差与信度
• 测量误差会对实得分数的一致性产生影响 ，如果对这个测验重新进行一次测量，得 到的结果是不能保持不变的。
因素分析
• SPSS——分析——降维——因子分析
• KMO统计量越接近1，变量来自的偏相关越高，因子分析的效果越好， 大于0.7比较好。
• Bartlett球形检验是用来判断相关阵是否是单位阵。 • 变量共同度Communalities表示各变量中所含原始信息能被提取公因
子所表示的程度。
• 看Rotated Component Matrix的结果是否符合理论
准化因素负荷量)2+(Σ各测量变项的测量误差)) (Jöreskog and Sörbom, 1996) 。
平均变异抽取量 (Average of variance extracted，AVE)
• AVE是计算潜在变量之测量变量的变异数解释力， 若AVE愈高，则表示构念有愈高的信度与收敛效 度。理想上标准值须大于0.5 Fornell and Larcker(1981) ，0.36~0.5为可接受门坎。
区分效度
• 区分效度（Discriminant validity）： 指两个不同的测验之间应该不存在相关。