效度
二、效度的性质
效度是一个相对的概念。(目的和功能) 效度具有连续性
(程度上的不同;高效或低效;针对测验结果)
三、信度与效度的关系
S S S S
2 X 2 V 2 I 2 E
ST2
信度高,给 S² V 增加提供可能
能否提高效度,再看S² I大小 信度高不一定效度高 效度高,信度必高
越同质,分数分布越窄,效度越低。
注意两种情况:
只以选择的受测者团体参加效度的研究 选择标准太高,样本团体同质性增加,降低效度。
2、干涉变量
对不同性质的团体,相同测验的效度会有很大的不同。 干涉变量
因性质不同(性别、兴趣、职业、年龄等)使测验对 不同团体具有不同的预测能力。
干涉变量的确定方法(P392)
③因素分析法
含义
通过对一组测验进行因素分析,找到影响测验分 数的共同因素,这种因素可能就是我们要测量的 心理特质(构想)。
(美)霍尔津格(Holzinger)和斯温 福德(Swineford)的因素分析
取样:芝加哥校区 被试:145名7~8年级学生 内容:实施24个心理测验 结果:
2)统计分析法
信度指标
评分者信度 越高越能反映内容效度。 复本信度
r高:内容效度高(也可能两个都低) r低:至少一个缺乏内容效度
再测信度 首测---训练---再测---成绩提高
3)经验推测法
检查不同年级被试总分与每题分数变化情况
若随年级增高总分和每题通过率也升高,可
推论该测验基本测量了教学内容和目标。
含义:测验所得分数可与效标同时获得。
例:智力测验以学生当时的学业成绩为效标。
度量指标:测验分与效标分的相关系数
②预测效度
定义:测验分与效标分不能同时得到,需要一段时
间才能得到。 例:大学入学考试可用学生入学后的学业成绩作效标。
度量指标:测验分与效标分的相关系数 。
2、良好效标的选择依据
含义:检验测验分数能否有效区分 由效标所定义的团体的一种方法。
该方法的思路是:分析高低分组分 布的重叠量(或共同区的百分比), 重叠量越大,说明两组分数差异越 小,即测验的效度越差。
3)命中率
含义:当测验用来做取舍的依据时,用其正确 决定的比例作为效度指标的一种方法。
方法
正确决策的结果 (命中)
效度要高,S² V须占较大比重,S²T↑
三、信度与效度的关系
信度是效度的必要而非充分条件; 效度受信度的制约。
第二单元 效度评估的方法
根据人们对测验目的解释的不同: 内容效度 结构效度 效标效度
(一)内容效度 (content validity)
概念 评估方法 特性
(一)内容效度
内容效度法 内部一致性法
分析受测者对题目的反应特点
①内容效度法
确定取样内容范围后,利用这些资料定义 测验欲测的结构性质
韦氏智力测验
言语:常识、理解、算术、相似性、词汇、 记忆广度
操作:译码、填图、积木图案、图片排列、 图形拼凑
②内部一致性法
目的
推断测验是否测量单一特质
方法
检查不同年龄儿童测验分数的变化情况
是否随年龄增长而增加。
3、内容效度的特性
特定性: 测验编制者与使用者的关系;时间上的特定性。 例 1:当个人利益与团体利益发生矛盾时,你 A维护个人利益 B不确定 C维护集体利益 避免与表面效度( face validity )混淆
一个测验看上去适合欲测目的的程度,而非实 A当场指出 B装做不知道 C会后吿知 际适合欲测目的的程度。 测验在使用者或被试主观上感觉有效的程度。 编制测验应适当考虑表面效度。 最高作为测验表面效度可高些 其他测验则希望表面效度低些
题目间是否一致 分测验与总分的相关
③分析受测者对题目的反应特点
例1:当事情不顺利时我时常发怒。 例2:我总避免对别人的言行提出批评。 表面效度高,会增加掩饰(伪装 ),不真实, 构想效度会低。
2)测验间的相互比较——测验间方法
含义
同时考虑几个测验间的关联,考察是否测同一结构。
作法与程序
中学生物细目表
测验内容 生物特点分类 生命历程 环境生态 生物实验 合 计 知识 理解 9 12 6 3 30 12 16 8 4 40 应用 9 12 6 3 30 合计 30 40 20 10 100
局限
不同专家对内容范围会有不同的理解。 不同专家对同一测验内容效度的判断可能不 一致; 无良好的数量指标描述这种符合性的程度;
例2:当你发现领导在讲话时明显出现了错误时,你
பைடு நூலகம்
(二)构想效度 (construct validity)
定义 确定步骤 估计方法
(二)构想效度(构思效度,结构效度)
1、定义
构想(结构)
解释行为的理论框架或心理特质的抽象概念。
构想效度
主要涉及心理学理论概念问题,是指测验在多大程度上测量了所要 测的理论构想,即测验结果是否能证实或解释某一理论,解释程度如 何?
各类测验的可用效标
测验类型 常 见 效 标 学年平均分,教师评定结果,学习量,知 识应用力,评判知识的批判力,自学能 力…
成就
智力 学科成绩,教师评定结果,学生总成绩 能力倾向 特殊课程或训练成绩,工作或学习成绩 职业兴趣 从业者的实际成绩或工作表现 人格 主试主观标准,被试以后行为,临床资料
效标效度的类型 ①同时效度
反映测验的目标;
较高的信度,稳定,可靠。
可客观地测量;
测量方法简单,省时省力,经济实用。
3、效标效度的估计方法
相关法
区分法
命中率
1)相关法
效度系数
测验分(新编)与效标分的相关系数。
积差相关法 二列相关、 点二列相关, JUSPEN多系列相关等
计算方法
2)区分法
正命中率 总命中率
表:命中表
效标成绩 测验成绩
失败(-)
成功(+)
成功(+) 失败(-)
A(失误) B(命中) C(命中) D(失误)
总命中率=命中/(命中+失误)
=(B+C)/(A+B+C+D)
正命中率=成功人数/选择人数 =B/(A+B)
第三单元 效度的功能
一、预测误差
效度系数的实际意义常以决定系数表示,即相 关系数的平方。它表示测验正确预测或解释的 效标的方差占总方差的比例。 例:测验的效度是0.80,决定系数就是0.64,则 测验分数正确预测效标的比例是64%. 效度系数的另一种表示方法就是估计标准误.
1、概念
定义:测验对于应测内容的代表性程度。 内容效度高的条件:
所测的心理特性有一个明确的概念及范围 题目应是所界定内容范围的代表性取样
成就测验 职业选择测验
应用:
2、评估方法
1)专家判断法(逻辑分析法)
含义
专家按测题和假设内容范围作出的符合度判断。 确定总体范围; 编制双向细目表; 制定评定量表。
测题的排列按先易后难排列
(二)测验实施中的干扰因素
主试 按测验手册各项规定实施测验(指导语、时间等)。 施测过程 场地布置 材料准备 其它干扰等
被试
人格特点:兴趣、动机、情绪等 身心健康状况 合作态度
(三)样本团体的性质
1、异质性
越异质,分数分布越广,效度越高;
二、预测效标分数 三、预测效率指数
第四单元、影响效度的因素
测验本身 测验实施中的干扰 样本团体的性质 效标的性质
(一)测验本身
测验取材的代表性、长度、试题难度区 分度及编排方式等因素都会影响效度。
因此:
测验材料具有代表性 测题设计避免引起误差 测题难度适中,较高的区分度 测验长度恰当
定义 效标 估计方法
1、定义
效标效度是指一个测验对处于特定情境中的个 体行为进行估计的有效性。
被预测的行为是检验效度的标准叫效标。
由于这种效度是看测验对效标预测的如何,所
以叫效标效度。这种效度需要在实践中检验,
又叫实证效度。
思考?
能够考上大学的学生是否是能力强、素 质好、有发展前途的人? 我们可以通过他们的哪些方面来衡量? 可见,一个测验的效标是不唯一的。具 有多样性、复杂性、特殊性和时间性。
信、效度小结
良好的测验必须具备信、效度。
与信度比,效度更重要。
成就测验和职业选拔测验多用内容效度。
智力和人格测验多用结构效度。
常用方法
相容效度 因素效度 区分效度
①相容效度
concurrent validity
含义
测相同结构的各种测验间应有较高的相关。
求一个新编测验与另一已知结构测验间的相关。