第六章 项目分析
第六章 项目分析
定性分析 主要由专家对项目的内容和形式进行分析,包括考察 主要由专家对项目的内容和形式进行分析, 内容效度、题目编写的恰当性和有效性等。 内容效度、题目编写的恰当性和有效性等。 定量分析 主要计算项目的难度、区分度等。 主要计算项目的难度、区分度等。 目的 对项目进行筛选和修订,提高测验的信度和效度。 对项目进行筛选和修订,提高测验的信度和效度。
四、难度对测验分布的影响
常态分布:平均难度在0.5左右 常态分布:平均难度在0.5左右
A
负偏态分布:测验容易,P值大 负偏态分布:测验容易,
B
正偏态分布:测验过难,P值小 正偏态分布:测验过难,
C
第二节
一、定义 二、估计方法
项目的鉴别力
一、定义
项目的鉴别力(Item discrimination),又称项 discrimination), ),又称项 项目的鉴别力( 目的区分度。 目的区分度。 指项目得分对被试实际水平 指项目得分对被试实际水平的区分能力或鉴别 实际水平的区分能力或鉴别 能力。 能力。
例题
学生 总分 1 90 2 87 35 1 3 83 33 1 4 80 28 1 5 80 24 1 6 77 26 1 7 71 21 0 8 68 22 0
作文得分 36 通过与否 1
积差相关
项目和总分均为正态连续变量
r= ∑ x − x ⋅ y − y
(
)(
)
∑( x − x) ⋅ ∑ ( y − y)
本章提要
测验项目难度的定义、计算 测验项目难度的定义、 测验项目难度对测验的影响 测验项目区分度的定义、计算 测验项目区分度的定义、 测验项目区分度对测验的影响 猜测率的计算
第一节
项目的难度
项目的难度(difficulty)是指测验项目( 项目的难度(difficulty)是指测验项目(或试 的难易程度。 题)的难易程度。 在能力测验中就是指试题的难度水平。 在能力测验中就是指试题的难度水平。 人格测验不存在难度问题,与此相应的指标称 人格测验不存在难度问题, 通俗性或流行性( level), ),即总 为通俗性或流行性(popularity level),即总 体中在答案方向上回答的人数比率。 体中在答案方向上回答的人数比率。
例题
一个五择一的项目,其通过率为0.50, 一个五择一的项目,其通过率为0.50,则排 除猜测的影响, 多少? 除猜测的影响,矫正后的难度为 多少?
三、难度的等距量表
用百分比表示的难度值是等级数 据。 P值越大,项目越容易。 值越大,项目越容易。 将以等级量表表示的P 将以等级量表表示的P值转换为 具有相等单位的等距量表Z 具有相等单位的等距量表Z值: 将某题的通过率P 将某题的通过率P视为正态分布 曲线下的面积; 曲线下的面积;查正态分布表找 出正态曲线右侧面积所对应的Z 右侧面积所对应的 出正态曲线右侧面积所对应的Z 分数。 分数。 Z值越大,项目越难。 值越大,项目越难。 美国教育测验服务社 ETS): (ETS): △ = 13 + 4Z 取值范围为1 △取值范围为1—25
1 13
2 15
3 10
4 10
5 9
6 11
7 10
8 9
9 11
10 10
二、二级评分法项目难度的矫正
排除由于被试猜测而答对某些 题目致使P值增大的可能性。 题目致使P值增大的可能性。 比较答案选项数不同的题目的 难度。 难度。 矫正公式为: 矫正公式为: CP=矫正后的难度 CP=矫正后的难度 P=未矫正的难度 P=未矫正的难度 K=测题的选项数目 K=测题的选项数目
KP − 1 CP = K −1
难度矫正公式的推导
N =总 数 K = 选 数 人 , 项 R = 得 为的 数 W = 得 为 的 数 分 1 人 , 分 0 人 X =真 会 的 , - X =真 不 做 人 正 做 人 N 正 会 的 N- X R= X + K KR - N X= K -1 R K −1 X KR - N KP −1 N CP = = = = N N K -1 ( ) K −1 K −1
组别
选择各项答案的人数 A B C D 未答 8 36 34 21 4 30 46 20 1 0
正确答案
高分组 低分组
B
鉴别指数与项目的优劣
D 0.4以上 0.4以上 0.3019以下 测题评鉴 优良 良好,如能修改更好 良好, 尚可,仍需修改 尚可, 劣,必须淘汰
二、估计方法
极端组法 相关分析法 因素分析法
1.鉴别指数(极端组法) 鉴别指数(极端组法)
► 高分组与低分组在某一项目上的通过率之差 高分组与低分组在某一项目上的通过率之差
D = PH-PL
D=鉴别指数 PH=高分组通过率 PL=低分组通过率
例题
选取有代表性的试卷370份 按照总分高低排序, 选取有代表性的试卷370份,按照总分高低排序,将从最 高分向下的27%(100人 作为高分组, 高分向下的27%(100人)作为高分组,将从最低分向上 27%(100人 作为低分组。某题的答题情况如下表。 的27%(100人)作为低分组。某题的答题情况如下表。 试计算该题的鉴别指数。 试计算该题的鉴别指数。
第三节
项目分析的相关问题
一、难度、区分度与测验信度和效度 难度、 二、依据项目统计量挑选项目 三、选择题的选答项分析 四、标准参照测验的项目分析
一、难度、区分度与测验信度和效度 难度、
难度与区分度的关系 难度与测验的信度和效度 区分度与测验的信度和效度
1.难度与区分度的关系
测题难度对其区分度的影响可以通过不同难度的 测题提供了多少次被试间相互比较的机会而得到 说明。 说明。 如果通过某题的有R 如果通过某题的有R人,未通过的有W人,则该 未通过的有W 题鉴别出的差别是R 人次。 题鉴别出的差别是R×W人次。 当P=0.50时,题目鉴别出的差异次数最多,即该 P=0.50时 题目鉴别出的差异次数最多, 项目的鉴别力最大。 项目的鉴别力最大。
1 1
2 1
3 0
4 0
5 1
6 1
7 0
8 1
9 1
10 0
极端分组法
将被试按总分高低依次排序; 将被试按总分高低依次排序; 划出人数相等的高分组和低分组(例如比例为27% 27%); 划出人数相等的高分组和低分组(例如比例为27%); 计算高分组和低分组在该题上的通过率 计算高分组和低分组在该题上的通过率PH和 PL ; 通过率P 该题的难度计算公式为: 该题的难度计算公式为:
区分度与信度的关系
区分度(D) 区分度( 0.1225 0.16 0.20 0.30 0.40 0.50 信度 0.00 0.42 0.63 0.84 0.915 0.949
4 .区分度的相对性
不同的计算方法所得的区分度不同 样本容量的大小影响相关法区分度值的大小 分组标准影响鉴别指数值(D) 分组标准影响鉴别指数值( 被试样本的同质性程度影响区分度值的大小
二、依据项目统计量挑选项目
根据难度挑选项目 根据区分度挑选项目
1.根据难度挑选项目
对大规模群体的个体水平进行区分和鉴别: 对大规模群体的个体水平进行区分和鉴别: 所有项目平均难度为0.50左右 左右, 所有项目平均难度为0.50左右,难度值在 0.20~0.80之间( 0.35~0.65之间) 0.20~0.80之间(或0.35~0.65之间) 之间 之间 选拔或筛选测验:难度P=优秀人员的录取率 选拔或筛选测验:难度P=优秀人员的录取率 或筛选测验 选择题: 选择题:难度一般应大于猜测概率
组别 高分组 低分组
选择各项答案的人数 A B C D 未答 8 4 36 34 21 30 46 20 1 0
正确答案
B
2、多级评分法项目的难度计算
P =试题的难度
X =全体被试在该题上的
平均分数
X P= Xmax
Xmax =该题的满分分数
例题
问答题满分为15分 10名被试在该题的得分如下 问答题满分为15分,10名被试在该题的得分如下。 名被试在该题的得分如下。 试计算该题的难度。 试计算该题的难度。 被 试 得 分
例题
学生 总分 项目得分 1 90 1 2 87 1 3 83 1 4 80 0 5 80 1 6 77 0 7 71 0 8 68 0
二列相关
项目和总分都是正态连续变量,但项目得分被 项目和总分都是正态连续变量, 人为地分为两个类别
rb =
X p −X q St
⋅
pq Y
X p = 等距(等比)变量中与p对应的那部分数据的平均值 X q = 等距(等比)变量中与q对应的那部分数据的平均值 St = 全部等距(等比)变量的标准差 p = 二分变量中取某一值的变量比例 q = 二分变量中取某一值的变量比例 Y = 标准正态曲线下p与q交界点的Y 轴高度
2.相关分析法
项目得分与总分的相关 项目间的相互相关 项目得分与效标的相关
(1)项目与总分的相关
点二列相关 二列相关 积差相关
点二列相关
项目是0 项目是0、1记分,总分是连续变量 记分,
rpbi
X p−X q = St
pq
rpbi = 点二列相关系数 X p = 答对该题的被试在总分上的平均得分 X q = 答错该题的被试在总分上的平均得分 St = 全体被试的总分标准差 p = 该题的难度 q = 1− p
难度与区分度最大值的关系
难度P 难度P 1.00 0.90 0.80 0.70 0.60 0.50 区分度最大值 0.00 0.20 0.40 0.60 0.80 1.00
2.难度与测验的信度和效度
当测验题目的难度呈正态分布,且平均难 当测验题目的难度呈正态分布, 0.50时 度为0.50时: 测验的方差最大,信度也就最高; 测验的方差最大,信度也就最高; 与心理特质的正态分布吻合, 与心理特质的正态分布吻合,测验具有最 大的鉴别力,测验的效度才能达到最高。 大的鉴别力,测验的效度才能达到最高。