04-测验质量(效度)
双向细返回目表举例
高中化学标准测验双向细目表
第一章 第二章 第三章 第四章
合计
识记 了解 应用 分析 综合 评价
82 10 6 2 10 3 62 4 7 2 9 12 6 5 6 5 25 28 14 22 6
合计 10 28 22 40 100
04-测验质量(效度)
效标关联效度
效标关联效度（Criteria validity）又称准则 关联效度、经验效度或统计效度或实证效度。
用测验分数和效标（准则）分数之间的相关 系数ryy来表示，它实质上是指测验对某一行为表 现的预测的高低。所谓效标是指足以显示测验所 欲测量的特性的变量，作为检定效度的参照尺度。
04-测验质量(效度)
效标关联效度及其估计方法
(3) 命中率
当用测验作取舍决策时，决策的正命中率和总命中率 是测验有效性的较好指标。其中，总命中率是指根据测 验选出的人当中工作合格的人数 ，以及根据测验淘汰的 人当中工作不合格的人数之和与总人数之比。若总命中 率高，则说明该测验的效度高。这种测验在区别合格与 不合格方面是有效的。此外，有些测验只关心被选者中 合格者有多少，而不关心被淘汰者中是否有合格者。这 时测验的效度应该用测验的正命中率来评价。所谓正命 中率的指用测验选出的人中合格者所占的比例。这个比 例越高，测验越有效。
现来进行推测
效度是测量的随机误差和系统误差的综合反映。 判断一个测验是否有效，要从多方面收集证据
rxy v2 /x2
从理论上讲，效度应该是测验分数中反应被试特质的变异 占测验总变异的比例：
04-测验质量(效度)
测验效度的估计方法
返回
• 信度高是效度高的必要而非充分条件 当随机误差的变异数减小时，真实分数的变异数 增加，测量信度随之提高；然而信度的提高只给 有效变异数提供了增加的可能性。
返回
（3）用测题与教材内容比较的方法
这需要先制两个表,一个是测验的双向细目表。 分别列出所要测验的各单元教材内容在考题中的 百分比和所要求的各种行为反应在全部反应中的 百分比。第二个表是测验试题分类表，根据各单 元教材内容列出试题，并注明该题所要求的行为 反应及其应占的百分比。然后对照这两个表，根 据各个部分相符合的程度，判断内容效度的高低。 （双项细目表举例）
04-测验质量(效度)
内容效度的估计
（1）专家评估
专家评定是一种确定内容效度的典型 程序，它要求让一组独立的专家判断测 题对所研究的领域的取样是否具有代表 性，通过这些评定资料来确定一个测验 的内容效度。
04-测验质量(效度)
内容效度的估计
这种确定过程是对测验的测题与内容范围的符合性程度的 判断。没有数量化的指标可用于描述题目与内容范围的符 合程度；并且，各专家不同的教育思想或心理学观点，对 同一内容范围侧重点的不同都会影响到对内容效度的判断， 这就涉及到评分者的信度的问题上。有时，也可以把评分 者的信度作为内容效度，因此，有时也把评分者信度称为 内容效度的一个指标。
04-测验质量(效度)
效标关联效度及其估计方法
(2) 区分法
该方法的思路是，被试接受测验后，让他们工作一段时间， 再根据工作成绩(效标测量)的好坏分成两组。这时再回过头 来分析这两组被试原先接受测验的分数差异，若这两种人的 测验分数差异显著，则说明该测验有较高的效度。
04-测验质量(效度)
效标关联效度及其估计方法
04-测验质量(效度)
内容效度及其估计方法
（2）逻辑分析法
据教育学和心理学的理论，根据教学大纲的要求， 勾画出学生应掌握知识内容的范围和深度，提出应形成 的技能名称等。然后以逻辑分析的方法估计测验在多大 程度上代表了这些内容，在多大程度上能够测量出所要 测量的特性和功能。
04-测验质量(效度)
内容效度及其评估方法续2
考察测验分数与效标分数的关系。
04-测验质量(效度)
效标关联效度及其估计方法
(1)相关法 积差相关、二列相关、或点二列相关、 四格相关和多元相关系数等。
如张厚粲教授在主持修订瑞文标准推理测验(SPM) 时，她报告的同时效度就是北京一所普通中学45名 12—15岁学生同时接受SPM和韦氏儿童智力测验得分 的相关系数，预测效度则是对北京市两所中学69名高 三学生先施测SPM，再搜集这批学生3个月后的高考 成绩，最后计算SPM成绩与高考语文、数学和总分的 积差相关。
04-测验质量(效度)
• 测验的效度受它的信度制约 当随机误差的变异数减小时，真实分数的变异数 增加，测量信度随之提高；然而信度的提高只给 有效变异数提供了增加的可能性。
04-测验质量(效度)
测验的效度估计方法 返回 一、内容效度 二、效标关联效度 三、结构效度
04-测验质量(效度)
内容效度及其估计方法
内容效度：
就是测验用的测题对整个测验内容范围的代表 性程度。或者说是指所选的条目是否能代表所要 测量的内容或主题。成就测验特别注重内容效度。
• 同时效度（concurrent validity）是指测验与当前效标之间的关联 程度。
• 预测效度 (predictive validity)是指测验将来的效标之间的关联程 度。
• 例如，用全国高考的成绩作为效标来检验高中毕业会考的成绩，计算两 者之间的相关系数就是会考的同时效度；而用大学一年级的成绩作为效 标来检验高考的成绩，计算两者之间的相关系数就是高考的预测效度
第五章
测量效度
04-测验质量(效度)
测验的效度鉴定
一 测验的效度概述 二 测验的效度估计方法 三 测验效度的有关问题04-Leabharlann 验质量(效度)测验的效度概述
定义：效度是指一个测验或量表能测出其所要 测的心理特质的程度。
效度是一个相对的概念
效度是相对于一定测验目的而言的 心理特质是较隐蔽的特性，只能通过它的行为表
04-测验质量(效度)
效标关联效度及其估计方法
效标的选择：
能力倾向测验：可以采用特殊课程或特殊训练的成等； 职业兴趣测验：可采用从业人员实际工作成绩或记录； 人 格 测 验：很难找到，只能按编制者的主观的标准来评
判，或以被试以后的行为或临床资料作为效 标。
效标关联效度的计算方法：
明确观念效标；
确定效标测量；