第九章区分度
rb
p
q
St
y
rb
st
y
例:下表有20个学生语文测验总分以及在作文 题和一个选择题上的得分情况,假设作文37分 (包括37分)算通过,试计算作文题的区分度。
1 86 47 2 52 37 3 94 55 4 72 27 5 65 22 6 22 10 7 76 35 8 83 42 9 80 46 10 75 39 11 76 40 12 73 41 13 62 38 14 91 52 15 47 21 16 74 39 17 81 42 18 88 48 19 62 29 20 58 27
back
(一)多重选择题的项目分析
1、步骤 2、对选择项的反应模式注意从
以下几方面进行分析 3、项目分析实例
back
1、步骤
1)选取有代表性的样本370人,按规定的程序,进 行预测工作; 2)把370份试卷按测验总分的高低次序排列,然后 从最高分数的人开始向下取足27%(100人)为高 分组,再从最低分数的人开始向上取足27%(100 人)为低分组; 3)计算高分组与低分组通过每一题的比率,分别以 Ph和Pl表示; 4)按照区分度与难度的公式,分别求出每一测题的 难度与鉴别力指数; 5)比较高分组、低分组在测题不同答案上的反应; 6)根据测题统计分析的结果,修改测题或选择适当 的测题。 back
rt co s(
bc π) ad bc
rφ =
ad bc ( a b ) ( c d ) ( a c) ( b d )
rp b
Xp Xq pq St Xp Xq pq · y St
rb
(1)二列相关
二列相关适用于两个连续变量,但其中 一个变量被人为分成两类。公式为: 或 Xp Xt p X X pq
back
测验的作用
一般能力测验和成就测验的平均难度在0.50 左右比较合适。 筛选性测验(选拔性,竞争性测验)则要采 用难度接近录取率的项目。
back
项目的形式
对于选择题而言,P值一般应大于概率水平
K 1 P 2K
对于是非题而言,其难度值应该为0.75最为 合适 2 1 P 0.75
p 13 20 0.65
q 1 - p 1 - 0.65 0.35
查表 y 0.3704
X 1417
2 X 105947
2 X X 2 105947 1417 2 2 st ( ) ( ) 277.63 N N 20 20
s t 16.66
2、对选择项的反应模式注意从 以下几方面进行分析
1.如果正确的备选答案被所有的受测者选择,说 明该项目太容易,或者可能是项目中提供某种 暗示,使正确答案过于明显。 2.如果某个错误答案没有任何被试选择,说明该 选项不具有迷惑性,错得过于明显,除了增加 阅读时间外,不起任何作用。 3.如果所有被试都选择了同一个错误答案,可能 是编制测验时把正确答案搞错了,也可能是在 教学中发生了错误。
1、鉴别指数法
比较测验总分高和总分低的两组被试 在项目通过率上的差别
D Ph PL
ห้องสมุดไป่ตู้
例如:某高中物理测验,高分组在第 5 题上的 通过率为0.75,低分组的通过率为0.35,则该 项目的鉴别指数为:
D=0.75-0.35=0.40
续上 1965年,美国测验专家伊贝尔(L.Ebel)根据 长期的经验提出用鉴别指数评价项目性能的标 准,如下表所示。
鉴别指数(D) 0.40 以上 0.30~0.39 0.20~0.29 0.19 以下 很好 良好,修改后会更佳 尚可,但需修改 差,必须淘汰 项目评价
区分度与难度有密切关系
D 的最大值与项目难度的关系
项目通过率(P) 1.00 0.90 0.70 0.60 0.50 0.40 0.30 0.10 0.00 D 的最大值 0.00 0.20 0.60 0.80 1.00 0.80 0.60 0.20 0.00
back
3、项目分析实例
选答人数 题号 1 组别 高分组 低分组 2 高分组 低分组 3 . 4 高分组 低分组 高分组 低分组 A 5 B 92 C 1 D 2 未答 0 0 1 2 12 11 5 5 C 0.12 0.08 0.04 D 0.31 -0.04 -0.06 A 0.42 0.33 0.32 B 正确答案 难度 P 0.71 鉴别力
back
2、方差法 (x s
2
i
x )2
n
2
当n<30时,属于统计上的小样本,改用
s
2
(x x)
i
n 1
实际进行项目分析时,被试不能少于30 人,提到该公式是由于练习的需要。
back
3、相关法
以项目分数与效标分数或测验总分 的相关作为项目区分度的指标
相关系数的主要种类
2 2
对于四择一题目,其难度值约为0.63时最为 合适
P 4 1 0.63 2 4
back
r pb
r b
0.71 0.42 0.79 0.29 0.25 0.59
1 2 3 4 5 6
1 1 2
0.65 0.30 0.68 0.20 0.19 0.45
3
4 5 6
back
r b
0.52
D 0.42
22 50 58 10 26 21 17 15 25 11 1 1 44 56
12 16 15 16 15 36 28 28 19 34 14 36 10 28
1)区分度 取舍题目时,首先看区分度,低区分度的题目 不能有效鉴别被试。 2)难度 P值一般在0.35到0.65之间为好,但就整个测 验而言,难度为0.5的测题应占多数,同时也需 要一些难度较大或者较小的题目。 3)选项 第一题:正误答案配比较好。第二题:除C答 案缺乏鉴别能力外,其余都不错。第三题:未答 的人数比例过大,且答案B、C、D均属于负向的 。 第四题:A项选答的人数较少, D项也有负向性 。
接上
4.如果高分组被试的选择集中在两个答案上,二 者选择率相近,说明该题可能 、本来就有两 种正确答案,或者在某种意义上另一个选择项 也有一定道理。 5.如果高分组对正确答案的选择率与低分组相等 或低于后者,说明该题所考查的东西与被试水 平无关,即不具有鉴别力。 6.如果一个题目被试未作答的人数较多(速度性 测验除外),或者选择各个备选答案的人数相 等,说明该项目可能过难或题意不清,被试无 法作答或凭猜测作答。
相关种类 第一变量 第二变量 公 式
积差相关
连续变量 正态分布
连续变量, 正态分布 等级数据
r=
Y XY N X Sx S y
斯皮尔曼 等级相关
等级数据
rR =1-
6 D2 N( N2 1 )
肯德尔 和谐系数
多系列等级数据
W= 1
S K 2 ( N3 N)
2
12
S=
( R R)
( R )2 = R N
2
续表
四分相关 常态分布的连 续变量,人为 地分为两个系 列 φ 相关 真正的二分变 量,类别数据 点二列相 关 二列相关 常态分布的 连续变量 常态分布的 连续变量 真正的二分变 量,类别数据 真正的二分变 量,类别数据 常态分布的连 续变量,人为地 分为两个系列 常态分布的连续 变量,人为地 分为两个系列
等级量表
无
无
等距量表
有
无
还有 等距性
比率量表
有
有
还有 等比性
可以加减 乘除
长度
GO
测验目的
教育工作中,若测验的目的是为了了解 被试在某方面知识技能掌握的情况,可 以不必过多的考虑难度。 大多数测验希望能较准确地测量个体之 间的差别,选择题目时,最好使试题的 平均难度接近0.50,而各题难度在 0.50±0.20之间。
4)找出原因,对各题进行修改 不要丢弃不符合要求的项目,因为 用内部一致性分析所求得的鉴别力不一定能代 表试题的效度。 鉴别力指数低的试题不一定表示该试题有缺点。 课堂测验的项目分析资料的有效性是随时空而 变化的,并非固定不变。 有研究表明,编制新的项目需要的时间几乎比 修订现存项目长5倍。
第九章 区分度
主讲人:林克松
博士
西南大学教育学部
(一)区分度的定义
项目区分度(item discrimination)
是指测验项目对于所测量的心理属 性的鉴别能力和区分程度,也称鉴 别力。
(二)区分度的估计方法
1、鉴别指数法 2、方差法 3、相关法
基本概念 : 难度 通过率 区分度 项目鉴别指数 练习与思考 : 1、测验项目分析的作用是什么? 2、设受测者在某题上的通过率为10%,试求 该题的常态化等距难度 指标Δ。
得 1 分 92 100 100 94 88 84 93 98 80 82 81 80 86 者 得 0 分 93 者 90 94 72 82 81 79 85 78 78 87 84 93 78 84 62 69
推荐阅读
大学生艾滋病知识问卷的难度和区分度分析. 中国学校卫生,2004,01 画人智力测验评分项目的再确定.应用心理学, 1998,4(2):9-14
X p X q pq 78.08 57.43 0.65 0.35 rb · 0.76 St y 16.66 0.3704
(2)点二列相关
点二列相关适用于一个变量为连续变量, 另一个变量为二分变量的数据资料。公 式为:
rp b Xp Xq St pq