心理测量学第五章-效度
一、内容效度
(一)内容效度的含义 1.内容效度: ♪ 指测验实际测到的内容与所要测量的内容之间的吻合程度,也
就是对测量工具本身的具体内容进行系统性的查验,以确定这 些内容是不是测量目标特质或行为领域的一个有代表性的样本。 2.内容效度的关键问题是测验题目的代表性程度。 ♪ 没有代表性表现:覆盖面不够、偏题、超纲。 3.具备高内容效度的两个基本条件: ♪ (1)所要测量的内容范围必须定义清楚,界限分明,重点突出。 ♪ (2)测验题目应是所界定的内容范围的代表性取样。
2.统计分析法
相关法——复本信度
♪ r高:内容效度高(冒风险:都低)
♪ r低:至少一个缺乏内容效度
再测法
♪ 被试学习某知识前做一次测验, 在学过该知识后再做同样地测 验,如后测成绩显著优于前测 成绩,说明所测内容是被试新 进学习的内容,从而证明测验 效度高。
相关
复本1
复本2
被试团体
知识 学习
比较 前后测
3.结构效度的特点:
♪ 其大小取决于事先假定的心理特质理论。
♪ 实际资料不证明理论不代表结构效度一定就不高。
♪ 主要用于智力测验、人格测验。
(二)验证结构效度的步骤
♪ 1.寻找测验依据的理论定义。 ♪ 2.提出理论假设,并把这一假设分解成一些细小的纲目,以
解释被试在测验上的表现。 ♪ 3.依据理论框架,推演出有关测验成绩的假设。 ♪ 4.搜集资料,用逻辑的和实证的方法来验证假设。
一个测验要有效必须具备以下几点:
♪ 1.效度系数显著地大于0,即同一特质的各种不同测量应 有正相关;
♪ 2.以不同方法测量同一特质的相关必须高于不同的特质用 同一方法来测的相关。也就是说,特质的差异必须比方法 的差异更重要;
(1)表面效度是由外行对测验做表面上的检查确定的,而 内容效度是由够资格的判断者(专家)详尽地、系统地对 测验评价而建立的。
♪ 例如,MMPI中有这样的题目:“我的喉咙里总好象有一 块东西堵着似的。”
(2)表面效度不是效度的客观指标,但能对受测者的动机 产生影响,因而也会影响到效度。
♪ 最高行为测验要求有较高的表面效度,典型行为测验却 要求较低的表面效度。
SV2
SI2
SE2
♪ 2.效度高,S²V占较大比重,S²T↑,S²E↓,rxx↑。效度高,信度必高
♪ 3.图解信效度的关系
信度不高,效度 也不高
信度高,效度也 高
信度高,效度却 不高
信度不高,效度 也不高
(二)测验的效度受它的信度制约
♪ 信度系数永远大于效度系数的最高界限。 ♪ 根据效度和信度的定义
♪ 它的主要缺点是缺乏理想的数量指标,因而妨碍了信息交 流和各测验间的相互比较。
二、结构效度
(一)含义、特点与应用范围:
1.结构效度:是指一个测验实际测出某种心理特质或 特质结构的程度。实验与理论之间的一致性,即实 验是否真正测量到假设(构造)的理论。
2.结构(构想):是心理学理论所涉及的抽象而属假设性 的概念或特质,例如:智力、创造力、动机以及焦 虑等。
(三)搜集结构效度资料的方法
♪ 1.测验内部寻找证据法 ♪ 2.测验之间寻找证据法 ♪ 3.考察测验的实证效度法 ♪ 4.多种特质——多种方法矩阵 ♪ 5.因素分析法 ♪ 6.其他方法
1、测验内部寻找证据法
(1)确定内容效度作为结构效度的证据
♪ 例如,编制语文能力测验时,编制者将总体内容描述 为对词汇下定义、对语言做类比推理、以及在句子中 正确运用文字的能力,这在实际上就是给“语文能力” 的构想下了定义。
关很高,则说明测量效度较高(相容效度即属此 类)。
♪ 从理论上看,测验的结果应与其所要测的特质有显 著相关而与其他不相干的特质无关。
♪ 以相同方法测量相同特质所得的分数之间应具有最 大的相关,
♪ 以不同方法测量相同特质所得的分数之间应具有次 大的相关,
♪ 以相同方法测量不同特质所得的分数之间的相关应 较低,
.93 .50 .96 .53 .51 .92
方 A4 .58 .21 .11 法 B4 .18 .61 .09 4 C4 .20 .15 .71
.66 .11 .19 .30 .68 .18 .22 .18 .70
.70 .13 .14 .22 .68 .20 .23 .19 .71
.89 .51 .90 .52 .50 .91
r2xy= S²V/ S²X rxx= S²T/S²X ♪ 再由公式S²T= S²V + S²I ♪ 可得 r2xy= (S²T - S²I )/ S²X= rxx- S²I/S²X ♪ 因为 S²I>0 r2xy< rxx ♪ 注意:r2xy的表示存在不同的观点,建议用rxy 。
第二节 效度的评估
(2)区分效度
含义:
♪ 新编测验的分数与已知测量不同结构的测验分数 的相关。如相关高则说明测验有问题。
方式:
♪ 求一个新编测验与另一已知结构测验间的相关。
♪ 例:例如新编一套道德感测验,用它与瑞文推理 测验作比较,如果相关高,便说明新编测验有问 题。
3.考查测验的实证效度法
(1)根据效标把人分成两类,考查其得分。 ♪ 例:一组公认为外向的人在测试中的外向性得分
(二)内容效度的评估方法
1.逻辑分析法 2.统计分析法 ♪ 相关法 ♪ 再测法 3.经验推测法
1.逻辑分析法
(1)含义 ♪ 专家按测题和假设内容范围作出的符合度判断 (2)作法与程序 ♪ 明确欲测内容的范围及权重;如双向细目表; ♪ 与双向细目表对比,分析题目的代表性及被试作答的心理过
程; ♪ 制定评定量表; (3)局限 ♪ 无良好的数量指标描述这种符合性的程度; ♪ 不同专家对同一测验内容效度判断可能不一致; ♪ 不同专家对内容范围会有不同的理解
第五章 测量效度
本章学习目标: 1、理解效度的概念和统计学含义。 2、掌握信度和效度之间的关系。 3、掌握三种效度的概念及其估算方法。 4、了解提高测量效度的途径。
本章提要
第一节 效度概述 第二节 效度的估计 第三节 提高测量效度的方法 第四节 效度的应用
第一节 效度概述
一、什么是效度 (一)效度(validity): ♪ 是一个测验实际能测出其所要测量的心理特质的程度。指测
量结果的有效性、准确性程度。 (二)效度回答两个基本问题: ♪ 其一,心理测验所测查的“心理特质”是什么(测验目的); ♪ 其二,该测验对欲测量的心理特质测查到了什么程度?测量
的准确性和有效性如何?
(三)效度检验的实质: ♪ 实质:实际测量结果和测量目标的一致性程度。
实际测量结果
测量目标(心理特质)
♪ 以不同方法测量不同特质所得的分数之间的相关应 最低
多种特质——多种方法矩阵图
方 法1 特 质 A1 B1 C1
方法2 A2 B2 C2
方 法3 A3 B3 C3
方 法4 A4 B4 C4
方 A1 .90
法 B1 .50 .89
聚合 效度或相容效度
信
1 C1 .35 .41 .81
度
方 A2 .58 .25 .10
能力
积极的行为指标
1.同情心及敏感性 形成使病人安全的气氛;
严肃地对待病人,对其医疗保密;
快速理解病人的情绪和心情;
医 生 2.沟通技巧 职 业 要 求
…… 显示主动倾听的技能; 不是以恩人的态度出现; 在方法上有信心; ……
3.临床专业技术 相信你的临床判断;
临床能力;
提供预想的照顾;
……
内容效度与表面效度的区别
(三)内容效度的适用范围及评价
♪ 内容效度主要用于学绩测验和职业测验(基于工作任务分 析),也就是测量知识或技能掌握程度的测验。
♪ 人格测验、能力倾向测验、智力测验不适合采用内容效度, 这类测验很难预先确定测试的内容范围。
♪ 内容效度不但是评价学绩测验的最适合的方法,而且编制 任何测验都要加以考虑的方面。
(2)分析被试的答题过程
♪ 例如,在人格测验上有这样一些题目:“当事情不顺 我意时,我时常动怒。”“我总避免批评别人的言 行。”
(3)计算测验的同质性信度来检验结构效度:其一,求 取每个题目与测验总分之间的相关系数;其二,根据 测验总分将被试分为高分组和低分组,再比较这两组 被试在每个题目上的通过率。证明题目与总测验是测 量的同意结构。
弗兰西与米西贝(French & Michbel)1966提出,并被 APA《教育与心理测验及诊断技术标准》所采用的效度分类 法: ♪ 一、内容效度(Content Validity) ♪ 二、结构效度(Construct Validity) ♪ 三、实证效度(Criterion related Validity) 效度是一个整合的概念,不同类型的效度只是寻求证据的方式 不同,收集大量资料和证据来检验测验效度的工作过程就叫 做效度验证 。
一测
再测
3.经验推测法
通过实践过程系统的观察来检验效度
♪ 例如儿童发展量表是否有效,经过对不同年龄阶段 的儿童进行调查,然后分析其结果,观察不同年龄 阶段的儿童对每个题目的反应是否依据年龄的发展 而有所不同,如果通过率是随着年龄的增加而增加 的,就可以推测该测验的内容效度高低。
♪ 实际上看结果是不是证明年龄大的孩子比年龄小的 孩子在得分上要高,高就符合常理,那测验的效度 就高,反之亦然。
一致性程度
♪ 注意:与信度的“一致性”做区别,信度的一致性指的是两 次实际测量的结果的一致性。
实际测量结果1 一致性程度
实际测量结果2
二、效度的概念理解 (一)效度是一个相对的概念。 ♪ 效度是相对于一定的测量目的而言的。 ♪ 效度是相对于一定时间和空间的。 ♪ 效度不是一个全或无的概念。 (二)效度是随机误差和系统误差的综合反映。 (三)判断一个测验是否有效要从多方面搜集证据。 ♪ 心理特质不可直接观测,不能直接与结果比较,