第五章效度
3、效标和效标测量:
效标,即衡量测验有效性的参照标准,指的是 可以直接而且独立测量的我们感兴趣的行为。
效标可以分为两个层次,其一是理论水平的观 念效标,其二是操作定义水平的效标测量。
4、常用的效标
(1)学业成就; (2)实际工作表现 (3)特殊训练成绩 (4)精神病诊断 (5)等级评定 (6)效标团体的比较 (7)先前有效的测验
(二)构想效度(construct Validity)
1954年提出,有人翻译为构思效度,也有叫结 构效度。它是指测验能够测量到理论上的构想 和特质的程度,即测验的结果是否能证实或解 释某一理论的假设、术语或构想,解释的程度 如何。
(三)效标效度
1、定义:又称实证效度,反映的是测验预测个 体在某种情境下行为表现的有效性程度。
空间想象能力 67 1 2 4 6 4 6 1 2 2 3 1 35 23
测验成绩
00403106308
一年后几何测 65 7 6 5 4 6 7 3 6 5 4 6 70 62
验成绩
02588282088
1 110011010011 1
5、效标效度的表示方法 (1)相关法:
(2)命中率法
是当测验用来做取舍的依据时,用其正确决定 的比例作为效度指标的一种方法。命中率的计 算有两种方法,一是计算总命中率,另一种是 计算正命中率。
(3)命中率法
效标成绩 测验预测
成功(+)
失败(-) A(失误)
成功(+) B(命中)
失败(-) C(命中) D(失误)
总命中率:PCT
命中 命中 失误 100%
A
CB BC
100% D
正命中率 : PCP
成功人数 选择人数 100%
B A B
100%
三、提高测量效度的方法
学生序号 1 2 3 4 5 6 7 8 9 10 11 12
测验成绩 28 35 36 24 38 23 44 32 16 22 43 38
高考成绩 录 未 录 未 录 未 录 未 未 未 录 录
素描成绩 68 75
80
85
78 76
(3)判断一个测量是否有效要从多方面收集证 据.
2、在测验理论中,效度被定义为在一组测量 中,与测量目标有关的真实方差(或称有效方 差,由所要测量的变因引起的有效变异)与总 方差(实得变异数)的比率,即
二、效度和信度的关系
SX2=SV2+SI2+SE2
一组测验分数的总方差等于真实方差与误差方 差之和,而真实方差又可分为两部分,即与测 量目的有关的方差和与测量目的无关的但稳定 的方差,后者也就是所谓系统误差带来的方差 由于有效方差是一个理论值,无法测量,所以 效度和信度一样是一个理论上的概念。
被预测的行为是检验效度的标准,简称效标。 由于这种效度是看测验对效标预测如何,所以 叫效标效度。这种效度需在实践中检验,所以 又称为实证效标。
2、效标效度分类
根据效标资料是否与测验分数同时获得,又可 分为同时效度和预测效度两类。同时效度即测 验所得分数可与效标同时验证,通常与心理特 征的评估及诊断有关。
式中 是测验x增长至原来的K倍后,新测验与 效标(y)的相关(效度系数);K为测验增长的 倍数; 原测验的效度系数; 为原测验的信
度系数。
1、影响测量效度的因素
(2)测验的实施过程 一个测验在实施过程中,如不遵从指导语的要求、
或出现以外干扰、或评分计分出现差错等等,都会降低 测量效度。 (3)接受测验的被试
1、影响测量效度的因素
(1)测验的构成 当组成测验的试题样本没有较好地代表欲测内容或
结构时,测量的内容效度或结构效度就必然会不高。 同时若题目语义不清、指导语不明、题目太难或太
易、题目太少或安排不当等等,都会降低测量效度。 一般而言,增加测验的长度可以提高测量信度,进
而为提高测量效度提供了可能。于是,一些研究者便得 出了测量长度与效度的公式如下:
(1)精心编制测验量表,避免出现系统误差。 这就要求题目样本要能较好说代表欲测内容或结构,
要避免出现题目偏倚。 同时,题目的难易程度、区分读也要恰当,题目的
数量也要适中。太难、太易、太多、太少都是有损测量 效度的。
此外,测验试卷的印刷,题目作答的要求,评分计 分的标准,题目意思的表述等等,都必须严格检查,避 免一切可避免的误差的出现。
一般情况下,被试的应试动机、情绪、态度、身体 状态等等,都会影响测量信度,造成较大的随机误差, 进而影响测量的效度。
就整个被试团体而言,如果缺乏必要的同质性,则 很可能会得到不恰当的效度资料。
Hale Waihona Puke 1、影响测量效度的因素(4)所选效标的性质
由于同一个测验可以有不同的效标,同一 个观念效标也可以有不同的效标测量,所以在 评价测量效度时,所选效标的性质是很重要的 考虑因素。
1、影响测量效度的因素
(5)测量的信度
测量信度是测量的随机误差的反映,而任 何误差的增加都会降低测量的效度,所以在考 察测量效度时,一定要注意测量信度。信度不 高的测验不可能具有很高的测量效度。
2、提高测量效度的方法
要想提高测量效度,必须设法控制随机误差、减小 系统误差,同时,还要选择好特别恰当的效标,把效度 系数准确地计算出来。
说明:下面两图中,其一为名画原本,另一为 修改后在艺术上较差者,让被试选择出原本。
一组美术专业学生在高考前的梅尔美术能力测 验中的成绩(假定30分以上及格),他们高考的 录取情况,以及考上大学的这些学生在入学后的 某一次美术素描成绩如下。试问梅尔美术能力 测验作为预测学生美术能力的效标关联效度如 何?
2、提高测量效度的方法
(4)选好正确的效标、定好恰当的效标测量, 正确地使用有关公式。
在评价一个测验是否有效时,效标的选择 是一个重要方面。假若所选效标不当,或所选 效标无法量化,则很难正确地估计出测量的实 证效度。如果效标及效标测量都合乎要求,则 公式的选择也是影响效度估计的重要方面。
作业:
利用测验结果材料从多角度对测验的效度进行 评估.
2、提高测量效度的方法
(2)妥善组织测验,控制随机误差。
在测验实施过程中,系统误差一般不太明显, 但随机误差却有可能失控。这就要求测验实施 者一定要严格按手册指导语进行操作,要尽量 减少无关因素的干扰。
2、提高测量效度的方法
(3)创设标准的应试情境,让每个被试都能发挥正常 的水平。
在各种测验中,有些被试往往因各种原因而发挥不 出应有水平(比如过分焦虑致使水平失常等),因此, 我们应让被试调整好应试心态,让他们从生理上、心理 上、学识上等做好应有的准备。否则,焦虑因素和其他 无关影响过大,必然会降低测量效度,测不到欲测的内 容或结构效度。
5、效标效度的表示方法
(1)相关法:
效度系数是最常用的效度指标,尤其是效标效 度。它是以皮尔逊积差相关系数来表示的,主 要反映测验分数与效标测量的相关。当测验成 绩是连续变量,而效标资料是二分变量时,计 算效度系数可用点二列相关公式或二列相关公 式。
学生
1 2 3 4 5 6 7 8 9 1 1 1 13 14 012
二、效度和信度的关系
(一)信度是效度的必要而非充分条件。
rxx=ST2/SX2
rx2y
sv2 sx2
二、效度和信度的关系 (二)效度是受信度制约的:信度系数的平方 根是效度系数的最高限度,
可见,一个测验的效度总是受它的信度所制约。
三、效度的类型及评估方法
(一)内容效度
1、定义:指的是项目对欲测的内容或行为范围 的取样的适当程度。也即测验题目对有关内容 或行为取样的适用性,从而确定测验是否是所 欲测量的行为领域的代表性取样。
1、影响测量效度的因素
(4)所选效标的性质 有的学者认为,智力测验分数与教师对学生等级评定之 间的效度系数只要在0.30~0.50之间就可以了,因为 教师的评价会受到与智力无关的其他因素的影响。与此 类似,相同科目的标准化测验成绩与教师评价之间的相 关应达到0.60~0.70,两种不同智力测验或标准化测验 之间的相关应达到0.60~0.80等等。 所有这些不同的要求,主要是因为所用效标的不同而提 出来的。
第五章 效度
[内容提示] 一、效度的含义 二、效度估计的方法
一、效度(validity)
(一)定义:
效度是指所测量的与所要测量的心理特点之间 符合的程度,或者简单地说是指一个心理测验 的有效性和准确性。或是指一个测验或量表实 际能测出其所要测的心理特质的程度。
1、关于效度的概念,我们要特别注意以下几点:
(1)效度是一个相对的概念。这种相对性表现在两个方面:
①效度是相对于一定的测量目的而言的。
②心理特质是较隐蔽的特性,只能通过他的行为表现来进 行推测,因此,心理测量不可能达到百分之百的准确,而只 能达到某种程度的准确。
(2)效度是测量的随机误差和系统误差的综合 反映。任一误差的存在,测量的效度都会受到 影响.