同时效度：诊断现状； 预测效度：预测将来。
4、都是用简便的测验去预测个体行为，因 此也成为效标预测效度。 5、效标污染：效标评定受到评定者知道测 验分数的“污染”，即测验分数影响效标 成绩。
效标污染会人为提高测验分数与效标之间的相关 。
2012/5/28 效度：基本概念、测量和解释 16
6、效标度量 一个测验有多少种具体用途，就可以 根据多少种效标进行效度分析。评定任何 情境中行为的任何方法，都为某种特定的 目的提供一种效标度量。 （1）智力测验的常用效标是学业成就。 （2）能力倾向测验的常用效标是训练课程 的成绩。
效度：基本概念、测量和解释
9
2、统计分析法（克伦巴赫相关法） （1）从统一教学内容总体中抽取两套独立 的平行测验，用这两个测验来测同一批 被试，求其相关。 （2）若相关低，则两个测验中至少有一个 缺乏内容效度；若相关高，则测验可能 有较高的内容效度。
2012/5/28
效度：基本概念、测量和解释
10
（三）应用
1、内容效度能让我们回答教育成就测验效 度的两个基本问题： （1）该测验覆盖了规定的知识和技能的代 表性样本吗？ （2）测验成绩不受无关变量影响吗？
2012/5/28
效度：基本概念、测量和解释
12
2、内容效度主要应用于成就测验 （1）成就测验主要测量被试掌握某种技能 或学习某门课程所达到的程度。题目取样 的代表性是内容效度的主要考察方面。 （2）使用语某些对员工进行选拔和分类的 职业测验。 （3）不适用于能力测验和人格测验。
效度：基本概念、测量和解释
18
（二）具体方法
1、相关法 计算测验分数与效标测量之间的相关系数 ，包括积差相关、等级相关、二列相关、 四分相关等。 2、区分法 对照组、高分组&低分组 3、命中率
用测验做取舍决策使用：
正命中率：测验选中的人中合格者所占比例 总命中率：选中的合格人数与淘汰的不合格人数 之和与总人数之比
2012/5/28 效度：基本概念、测量和解释 28
五、总结和整合
（一）各种效度分析方法比较 “这个测验效果如何？”
例如，一个由50道算术题组成的测验，适用于 不同目的，使用不同的效度分析方法。
测验目的 小学算术成就测验 预测中学数学成绩的 能力倾向测验 诊断学习无能的技术 数量推理的度量
2012/5/28
2012/5/28
效度：基本概念、测量和解释
26
4、多种方法—多种特质矩阵法
2012/5/28
效度：基本概念、测量和解释
27
主对角线上的数值，使用相同方法测量相 同特质所得的相关，及信度指标； 实线三角形内的数值是用相同方法测量不 同特质所得相关。此相关高，说明方法间 共同点较多； 虚线三角形内的数值，用不同方法测量不 同特质所得相关，一般较低； 虚线三角形之间的两条对角线上的数值， 是用不同方法测量相同特质的相关，是效 度的指标。
2012/5/28
效度：基本概念、测量和解释
21
四、结构效度
（一）定义 1、一个测验实际测到所要测量的理论结果 和特质的程度，或者说是指测验分数能够 说明心理学理论的某种结构或特质的程度 。 2、结构效度具有如下特点： （1）取决于实现假定的心理特质理论； （2）主要用于智力测验和人格测验。
2012/5/28 效度：基本概念、测量和解释 22
解说性的问题 迪克在过去学会了多 少？ 珍妮在将来会学得好 吗？ 比尔的成绩说明具体 的学习无能吗？
效度的证据 内容描述 时间效标预测 同时效标预测 结构鉴定
29
海伦的分数与她的推 理能力其他指标的关 系如何？ 效度：基本概念、测量和解释
（二）结构效度的含义 Messick（1989）证明，“效度”一词，就 它指出一个测验的解释意义而言，应该用 结构效度代替。 内容效度• “内容恰当”&“内容范围”：领域细目表和 领域代表性
• Sy-效标分数的标准差；Sx-测验分数的标准差 • Y、X分部为效标分数与测验分数的平均值
（三）预测效度指数
• 无关系数K表明预测元分数与效标分数无关的 程度 • K= SEest/SDy= • （1-K）可作为预测效率的指数，用E表示。 • E=100（1-K），表示使用测验比盲目猜测能 减少多少误差
效度：基本概念、测量和解释
首都师范大学 Anthea
一、基本概念
（一）效度 效度指一个测验测量什么东西，已 经它在什么程度上测量到所要测量的东 西。
从心理测量理论的角度看，效度是与测量目标 有关的真实分数方差与实得分数的方差的比例 公式为：rxy=sv2/st2
2012/5/28
效度：基本概念、测量和解释
2012/5/28 效度：基本概念、测量和解释 19
测验成绩 工作成绩 合格 不合格
合格 正确录取（A） 错误接受（C）
不合格 错误拒绝（B） 正确拒绝（D）
1 总命中率PCT=(A+D)/N 2 正命中率PPC=A/(A+C)
2012/5/28 效度：基本概念、测量和解释 20
4、功利率 Bt=B-C-S B-正确地录取一个成功的人所产生的平均 利润 C-录用一个不合格的人所造成的经济损失 S-整个测验的费用
• 跨时间滞差实验设计（cross-lagged experimental designs） • 使用偏相关得出回归系数
2012/5/28
效度：基本概念、测量和解释
25
3、效标关联效度 （1）高分组&低分组 （2）一些被认为是较稳定的特质，若在短 期内两次施测的结果差异不太大，则说明 该测验符合理论构想
2012/5/28 效度：基本概念、测量和解释 8
（二）具体方法
1、逻辑分析（专家评定） 请有关专家对测验题目与原定内容的 吻合程度做出判断；
测验细目表（test specification）：能力层次、权 重 专家的数目和专业资格，评定的时间、所研究材 料的性质及出版时间。
2012/5/28
3、再测法 （1）在学习某种知识之前做一次测验，在 学过该知识后再做同样的测验。 （2）若后测成绩显著优于前测成绩，则说 明所测内容正是被试新近所学内容，进而 证明该测验对这部分内容而言具有较高的 内容效度。 4、经验法 检查每个项目上的分数和总分随年级 升高的进步程度。
2012/5/28 效度：基本概念、测量和解释 11
成就测验的成绩、评定的等级、教师评定、 成功完成训练或中途淘汰。 中间效标和最后效标 对照组
2012/5/28 效度：基本概念、测量和解释 17
（3）其它常用效标 临床诊断 实际工作表现 先前有效的测验 7、效度概化
一个测验适用于指定目的时的实12/5/28
效度：基本概念、测量和解释
4
3、对结构的兴趣导致引进第三种测验效度 ，即结构效度。
在说明测验测量什么东西而言，结构效度被认为 是基本的、包括一切的效度概念。 许多资料来源有助于界定和理解一个测验所评价 的结构，其中包括内容效度和预测效度的方法。 同时在评价测验的某种用途时，这两种方法本身 也提供有价值的资料。
效度：基本概念、测量和解释
6
二、内容效度
（一）内容效度的定义 1、指测验题目对有关内容或行为范围取样 的适当性。
2012/5/28
效度：基本概念、测量和解释
7
2、有较高内容效度的测验必须具备的条件 （1）要有定义完好的内容范围； （2）测验题目是所界定的内容范围的系统 取样
一个测验很容易偏重于行为领域中比较适合编制 客观性项目的部分； 内容效度取决于个体的测验反应于所考虑的行为 领域的关系，而不是取决于项目内容的表面适当 性； 避免把所取样的行为领域过于概化； 测验分数中包含无关因素。
2012/5/28
效度：基本概念、测量和解释
32
（二）提高测量效度的方法
1、精心编制测验量表，避免出现较大的系 统误差； 2、妥善组织测验、控制随机误差； 3、创设标准的应试情境，让每个被试都能 发挥正常的水平； 4、选好正确的效标、定好恰当的效标测量 ，正确使用有关公式
2012/5/28
效度：基本概念、测量和解释
2012/5/28
效度：基本概念、测量和解释
14
三、效标关联效度（实证效度）
（一）定义 1. 效标关联效度是指一个测验对处于特定情 境中的个体的行为进行估计的有效性。 2. 被估计的行为时检验测验效度的标准，简 称效标。
2012/5/28
效度：基本概念、测量和解释
15
3、根据效标资料搜集的时间差异，效标效 度又可以分为：
（二）具体方法
1、测验内部寻找证据 （1）内容效度：内容效度高，结构效度好 ； （2）分析答题过程：外来影响因素少，结 构效度好； （3）同质性信度：测验不同质，结构效度 不高。
2012/5/28
效度：基本概念、测量和解释
23
2、测验之间寻找证据： （1）相容效度/会聚效度/幅合效度： 考察新编测验与某个已知能有效测量 相同特质的旧测验之间的相关。相关越 高，说明新测验有较高的效度。 （2）区分效度
考察新编测验与某个已知能有效测量不同 特质的旧测验之间的相关。 两测验相关不高只是说明新测验效度高的必 要非充分条件
2012/5/28
效度：基本概念、测量和解释
24
（3）因素分析 通过对一组测验进行因素分析，找 出影响测验的共同因素，每个测验在共 同因素上的负荷量就是测验的因素效度 ，测验分数总变异中来自有关因素的比 例就是该测验结构效度的指标。 （4）结构方程建模
不是根据指定的教学课程或统一的先前经验抽取 测验内容 对相同测验项目做反应时，方法或心理过程可能 不太相同。
2012/5/28 效度：基本概念、测量和解释 13
4、内容效度与表面效度（face validity） 表面效度指受测者、测验的使用者、以及 其他没有经过专门训练的人旁观者来说， 某个测验从表面上看是否有效。 最佳行为测验表面效度高，其它测验则希 望表面效度低。 表面效度主要涉及友好关系和公众关系。 表面效度不是一种客观标准，但会影响被 试动机