当前位置:文档之家› 第二章 教育测验信度和效度

第二章 教育测验信度和效度


1 2 3 4 5 6 7 8 9 10
二、非0,1记分测验的内部一致性信度 主要采用克伦巴赫(Cronbach) 1.主要采用克伦巴赫(Cronbach)信度系 系数。 数,即α系数。 计算方法: 2.计算方法: k ∑σ i2 ) rtt= σ 2 :表示每个测题分数的方差 ·(1k −1
σ t2
27225 2025 7425 298525 23609 83891
复本信度(alternate-form reliability) alternatereliability)
(1)定义:复本信度是指同一组被试在复本测验上所得结 定义:复本信度是指同一组被试在复本测验 复本测验上所得结 果的相关系数。 果的相关系数。 复本测验,又称等值测验,是指在性质、内容、 复本测验,又称等值测验,是指在性质、内容、题 题数、难度等方面都一致的两份或多份测验。 型、题数、难度等方面都一致的两份或多份测验。 计算方法: (2)计算方法:积差相关系数 说明: (3)说明: 1.两个测验必须是等值的,这点比较困难。 两个测验必须是等值的,这点比较困难。 测验时间间隔的确定,应综合考虑练习效应、 2.测验时间间隔的确定,应综合考虑练习效应、 迁移效应来确定,应尽可能短;如果有适当时间间隔, 迁移效应来确定,应尽可能短;如果有适当时间间隔,也 可称作等值稳定性系数 可称作等值稳定性系数。 等值稳定性系数。 适用于速度测验,也适用于难度测验, 3.适用于速度测验,也适用于难度测验,是考察 信度最可靠、使用最广泛的方法。 信度最可靠、使用最广泛的方法。 有高估信度系数的倾向。 4.有高估信度系数的倾向。
积差相关系数的求法
◆对数据的要求: 对数据的要求: 1.成对数据 2.两列数据要呈正态分布 3.定距量表获得的数据 4.两列变量之间的关系的是线性的
◆计算公式——用原始观测值计算 计算公式—— ——用原始观测值计算 皮尔逊相关系数(Pearson) 皮尔逊相关系数(Pearson)
例1:下表是10名中学生身高和体重的测量结果,问 10名中学生身高和体重的测量结果 下表是10名中学生身高和体重的测量结果, 身高与体重的关系如何? 身高与体重的关系如何?
评分者信度(Scorer
目标参照性测验的信度系数 前面提到的几个信度系数都用于常模参照性测验 前面提到的几个信度系数都用于常模参照性测验 (1)估计测题组的信度 测题组根据所考察的目标进行划分;然后, 测题组根据所考察的目标进行划分;然后,对 每个测题组采取常模参照性测验的信度估计方法。 每个测题组采取常模参照性测验的信度估计方法。 (2)阶段比较法 第一次测验 第二次测验 经过学习训练后, 经过学习训练后,第一次测验中通过的学生在第 二次测验中通过率较高,则说明信度高。 二次测验中通过率较高,则说明信度高。 甲测验 (3)复本信度估计法 通过 未通过 通过 a b rtt=(a+d)/n 乙
x ( k − xt ) k ) ·(一年级学生进行地理成绩测验,每答 对初中一年级学生进行地理成绩测验, 对一题得1 答错1题得0 对一题得1分,答错1题得0分,试估计该测验的折 半信度。 半信度。
1题 1 0 1 1 1 1 1 0 1 1 2题 0 0 0 1 1 1 1 1 1 0 3题 0 0 1 0 1 1 0 1 1 0 4题 0 1 0 0 0 1 1 0 1 1 5题 0 0 0 1 1 0 1 0 1 0 6题 0 0 0 0 1 1 0 1 1 0
本章内容概览
第一节 第二节 测验的误差 信度 再测信度(稳定性信度) 1.再测信度(稳定性信度) 2.复本信度 3.内部一致性信度 4.评分者信度 5.目标参照性测验的信度系数 效度 1.内容效度 2.结构效度 3.效标关联效度
第三节
第一节 测验的误差
一、定义:测验误差是指由与测量目标无关的变因 定义: 所引起的不准确和不一致的效应。 所引起的不准确和不一致的效应。 测验误差包括: 测验误差包括: 随机误差: 1.随机误差:由偶然因素引起的无规律的误 差 系统误差: 2.系统误差:由某些常定因素引起的有规律 的变化,是对测量结果的一种偏差。 的变化,是对测量结果的一种偏差。 系统误差的出现是不应该的, 系统误差的出现是不应该的,是测验编制中出现 的错误;而随机误差则是不可避免的, 的错误;而随机误差则是不可避免的,受一些偶 然的、不可预见因素的影响产生, 然的、不可预见因素的影响产生,是我们本节内 容所关注的。 容所关注的。
内部一致性信度
一、二分记分法的测验(0,1,对错,有无等) 二分记分法的测验( 对错,有无等) 折半信度(splitreliability), ),将每 (1)折半信度(split-half reliability),将每 一个被试的测验分数按测题分成两部分记分, 一个被试的测验分数按测题分成两部分记分,然 后用每个被试在两半测验上的得分求整个测验的 信度。 信度。 一般分成奇数项-偶数项;前一半-后一半。 一般分成奇数项-偶数项;前一半-后一半。 计算方法: 计算方法: 1.折半 求出两半的积差相关系数r 2.求出两半的积差相关系数rhh 用斯皮尔曼-布朗(Spearman-Brown)公 3.用斯皮尔曼-布朗(Spearman-Brown)公 式进行校正: 式进行校正:rtt=2rhh/(1+rhh)
K-R20 公式:rtt= 公式:
k 2 pq ·(1- 2 ) k −1 σt
k:测题数目 : p:表示每个测题做对人数的比率 q=1-p :
k k pq K-R21 公式:rtt= 公式: ·(1- 2 ) k −1 σt
p :表示答对人数比率的平均数 q :表示各题答错人数比率的平均数
rtt=
1 2 3 4 5 6 7 8 9 10 ∑ 身高X 身高X 170 173 160 155 173 188 178 183 180 165 体重 Y 50 45 47 44 50 53 50 49 52 45 X2 Y2 XY
1 2 3 4 5 6 7 8 9 10 ∑
身高X 身高X 170 173 160 155 173 188 178 183 180 165 1725
二、信度的估计方法
再测信度(test-retest test-
reliability) reliability)
(1)定义:又称为稳定性系数,是指以同一个测验 定义:又称为稳定性系数, 对同一组被试先后施测两次, 对同一组被试先后施测两次,所得结果的相关系 这是计算相关系数最方便的方法。 数,这是计算相关系数最方便的方法。 计算方法: (2)计算方法:积差相关系数 说明: (3)说明: 重测时间间隔的确定, 时间间隔的确定 1.重测时间间隔的确定,应综合考虑练习效 记忆效应、个体成长等因素;对于任何个体, 应、记忆效应、个体成长等因素;对于任何个体, 重测的时间间隔一般不应超过6个月。 重测的时间间隔一般不应超过6个月。 适用于速度测验, 2.适用于速度测验,而不适用于难度测验 应注意提高被试对重测的积极性和兴趣。 3.应注意提高被试对重测的积极性和兴趣。
(2)库德-理查德(Kuder-Richardson)信度:根 库德-理查德(Kuder-Richardson)信度: 据各个问题的正确反应数为基础, 据各个问题的正确反应数为基础,或根据各人总 分的均值和标准差来计算信度系数。 分的均值和标准差来计算信度系数。 计算方法: R20和 计算方法:K-R20和K-R21
reliability):是指 reliability):是指 ): 评分者所评分数之间的相关系数。 评分者所评分数之间的相关系数。 常用于无法以客观方法记分的测验, (1)常用于无法以客观方法记分的测验,如人格 投射测验、创造力测验以及主观题等。 投射测验、创造力测验以及主观题等。 记分方法: (2)记分方法: • 对于定距量表: 两个评分者: 1.两个评分者:积差相关系数 多个评分者: 2.多个评分者:α系数 • 对于顺序量表: 对于顺序量表: 两个评分者: 1.两个评分者:二列等级相关 2.多个评分者:肯德尔(Kandall)和谐 多个评分者:肯德尔(Kandall) 系数(又叫多列等级相关) 系数(又叫多列等级相关)
二、引起测验误差的因素 测验本身的误差: (1)测验本身的误差: 如测验题目选择是否有代表性; 如测验题目选择是否有代表性;被试对测验 题目的熟悉程度和知识范围;测验是否限定时间; 题目的熟悉程度和知识范围;测验是否限定时间; 指导与是否清晰;测验材料是否标准;所用仪器是 指导与是否清晰;测验材料是否标准; 否精确; 否精确;题目用词是否准确等等 (2)测验施测过程的误差 物理环境:施测现场的温度、光线、噪音、 1.物理环境:施测现场的温度、光线、噪音、 通风等; 外界环境的干扰: 通风等;2.外界环境的干扰:卷子印刷质量差或 发错、有人作弊、 发错、有人作弊、天气陡变等 (3)测验记分过程的误差 如评分不客观(评分者的偏好、心境、 如评分不客观(评分者的偏好、心境、疲劳 );计算 计算、 等);计算、登分中的错误
(4)主试方面的误差 主试者效应, 主试者效应,也叫罗森塔尔效应 (5)被试方面的误差 被试的应试技巧及稳定的反应倾向; 1.被试的应试技巧及稳定的反应倾向; 2.被试的应试动机和情绪的紧张焦虑状 态 被试对特定测验任务的理解, 3.被试对特定测验任务的理解,在所测 特定知识技能上的练习水平, 特定知识技能上的练习水平,在记忆或注意力上 的波动等 被试的健康状态、 4.被试的健康状态、疲劳因素等 (6)机遇引起的测验误差 猜测或意外干扰
测 验 未通过
c
d
三、提高信度的方法
◆信度系数以多大为宜 学科测验:0.9以上 智力测验:0.8以上 以上; 以上; 学科测验:0.9以上;智力测验:0.8以上; 品德测验:0.6以上 品德测验:0.6以上 ◆提高测验信度的方法 1.适当增加测题的数量 2.测验的难度要适中 3.测验的内容应尽量同质 4.测验的程序应统一 5.测验时间要充分 评分要尽量做到客观化、 6.评分要尽量做到客观化、减少评分误差
相关主题