第六章 项目分析
r pb X
p
X S
t
q
pq
r pb
Xp X St
t
p q
例如:根据上例的资料,计算选择题的区分度。 解:
X
p
(86 72 65 83 80 75
76 62 91 74 81) 11 76.82
X
q
(5 2 9 4 2 2 7 6 7 3
4 7 8 8 6 2 5 8) 9 6 3.56
p 11 20 0.55
s
t
q 1 p 1 0.55 0.45
2、多值记分项目的难度
1、二值计分项目的难度
(1)通过率 二值计分:项目的计分只有答对和答错两种情 况,计为1或0 通过率:以答对百分比(或比率) 当项目以1、0计分时,难度等于通过率
P R N 100 %
例如:在200个学生中,答对某题的人数为120 人,则该项目的难度为
P R N 100 % 120 200 100 % 60 %
正偏态 由于缺少难度低的项目,所以大 部分被试分数会集中于左侧低分端,说 明测验过于困难 。 负偏态 大多数被试集中在右侧高分端, 接近满分,这说明测验很多项目太容易 了,缺少难的项目。 正态 假如在难度中等(P为0.50)并且 项目组间相关为零的条件下,分数的分 布将为正态。
back
二、项目区分度
rb
p q
St
y
rb
p
t
st
y
例:下表有20个学生语文测验总分以及在作文 题和一个选择题上的得分情况,假设作文37分 (包括37分)算通过,试计算作文题的区分度。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 86 52 94 72 65 22 76 83 80 75 76 73 62 91 47 74 81 88 62 58
2、转换为等距量表的方法
查标准正态分布表,将以等级量表表示 的P值转换成具有相等单位σ的等距量表 Z值。 P值作为正态曲线下面积时,要从右向左 而行。 转换好的Z值在平均数以下是负数。为了 避免负号出现的情况,使用Δ 。
例
在正态分布中,平均数之上或之下一个标准差 的距离约占全体人数的34% 如果在一个测验中某项目A通过率为84% (0.84),那么这项目的难度 -1σ 如果某项目B的通过率只有16%,则这个项目的 难度为 +1σ 若某题C恰好有50%的人通过,则此题的难度为 0
X q ( 72 65 22 76 47 62 58 ) 7 57 . 43
53.0 56.0 - 1 p - 1 q
p 13 20 0.65
查表
y 0.3704
X 1417
X
2
105947
st
2
X
N
2
(
X
N
常态分布的 连续变量
真正的二分变 量,类别数据
r pb
X
p
X St
q
pq
二列相关
常态分布的 连续变量
常态分布的连 续变量,人为地 分为两个系列
rb
Xp X Stq来自pq·y
(1)二列相关
二列相关适用于两个连续变量,但其中 一个变量被人为分成两类。公式为: 或 X X p pq X X
P=
X h+ X l 2X
max
back
(三)选择题的难度修正
在选择题测验中,猜测的成功概率受项目备选 1 答案数目(K,选项数目)的影响 K (P= ), 为平衡机遇对难度的影响,采用下矫正公式: KP 1 CP K 1 如果要比较两个选项数目不同的测题难度,必 须应用以上矫正公式分别将两个测题的难度进 行矫正,然后才能进行比较分析。
1、二值计分项目的难度
(2)极端分组法 当项目以1、0计分,而人数较多时,难 度等于总分上高分组与低分组通过率的平均数
P
Ph Pl 2
例:
假设有370个被试,取其中成绩最高的 27%(100)人定为高分组,成绩最低的 27%(100)人定为低分组,对于某一道 试题,若高分组有60人答对,低分组有 30人答对,则: Ph=60/100=0.60 Pl=30/100=0.30 所以该题的难度为 P=(0.6+0.3)/2=0.45
第六章 项目分析
项目分析就是根据试测结果对组成测验 的各个题目(项目)进行分析,从而评 价题目好坏、对题目进行筛选。 包括质的分析和量的分析,如表6.1
表6.1
研究生入学考试英语近3年数据对比分析
1999年 43.10 12.00 2000年 56.61 13.50 2001年 45.31 13.10
1、鉴别指数法
比较测验总分高和总分低的两组被试 在项目通过率上的差别
D Ph PL
例如:某高中物理测验,高分组在第5题上的 通过率为0.75,低分组的通过率为0.35,则该 项目的鉴别指数为:
D=0.75-0.35=0.40
续上 1965年,美国测验专家伊贝尔(L.Ebel)根据 长期的经验提出用鉴别指数评价项目性能的标 准,如下表所示。
得 1 分 92 者 得 0 分 者 93 90 94 72 82 81 79 85 78 78 87 84 93 78 84 62 69 100 100 94 88 84 93 98 80 82 81 80 86
推荐阅读
大学生艾滋病知识问卷的难度和区分度分析. 中国学校卫生,2004,01 画人智力测验评分项目的再确定.应用心理学, 1998,4(2):9-14
back
(五)测验难度水平的确定
1、项目难度的确定 2、测验难度的水平的确定
1、项目难度的确定
难度分析的主要目的是筛选项目, 项目的难度水平取决于: 测验的目的 测验的作用 项目形式
back
2、测验难度水平的确定
整个测验的难度取决于组成这个测验的 各个试题的难度。整个测验难度水平的 确定,需要根据测验分数的分布作出。
2
续表
四分相关 常态分布的连 续变量,人为 地分为两个系 列 φ 相关 真正的二分变 量,类别数据 真正的二分变 量,类别数据 常态分布的连续 变量,人为地 分为两个系列
r t cos(
bc ad bc
π )
rφ
ad bc
=
(a b)(c d)(a c)(b d)
点二列相 关
back
2、方差法
s
2
( xi x ) n
2
当n<30时,属于统计上的小样本,改用
s
2
(x
i
x)
2
n 1
实际进行项目分析时,被试不能少于30 人,提到该公式是由于练习的需要。
back
3、相关法
以项目分数与效标分数或测验总分 的相关作为项目区分度的指标
相关系数的主要种类
鉴 别 指 数 ( D) 0 .4 0 以 上 0 .3 0 ~ 0 .3 9 0 .2 0 ~ 0 .2 9 0 .1 9 以 下 很好 良好,修改后会更佳 尚可,但需修改 差,必须淘汰 项目评价
区分度与难度有密切关系
D 的最大值与项目难度的关系
项 目 通 过 率 ( P) 1 .0 0 0 .9 0 0 .7 0 0 .6 0 0 .5 0 0 .4 0 0 .3 0 0 .1 0 0 .0 0 D 的最大值 0 .0 0 0 .2 0 0 .6 0 0 .8 0 1 .0 0 0 .8 0 0 .6 0 0 .2 0 0 .0 0
(一)区分度的定义 (二)区分度的估计方法 (三)区分度的相对性
三、项目分析的特殊问题
(一)选择题的项目分析 (二)标准参照测验的项目分析
(一)区分度的定义
项目区分度(item discrimination)
是指测验项目对于所测量的心理属 性的鉴别能力和区分程度,也称鉴 别力。
(二)区分度的估计方法
例如:一个五择一的测题难度指数为0.50,一个四 择一的测题难度指数为0.53,哪一题的难度大? 五择一的测题矫正后难度指数为 5 0.50 1 0.38 CP= 5 1 四择一的测题矫正后难度指数为 4 0.53 1 0.37 CP=
4 1
可以看到,和未矫正前相反,五择一的测题更难一些。
)
2
105947 20
(
1417 20
) 277 . 63
2
s t 16 . 66
X X St pq y 78 . 08 57 . 43 16 . 66 0 . 65 0 . 35 0 . 3704
rb
p
q
·
0 . 76
(2)点二列相关
点二列相关适用于一个变量为连续变量, 另一个变量为二分变量的数据资料。公 式为:
2 、多值计分项目的难度
当项目以多值计分时,难度等于平均分 与满分之比。
—
P
X X
m ax
例如:设某一问答题满分是20分,全体考 生在该题上所得的平均分为10分,则该 题的难度为: P= X =10/20=0.50
—
X
max
2 、多值计分项目的难度
当测验不是二值记分,且受测者人数很多时, 难度等于总分上高分组与低分组平均分之和与 2倍满分之比。