05项目分析PPT课件
指标称为通俗性或流行性(popularity level),即总体中在答案方向上回答的 人数比率。
一、难度的计算
二级评分法项目的难度计算 多级评分法项目的难度计算
1、二级评分法项目的难度计算
通过率
P=试题的难度 R=答对该题的人数 N=参加测验的总人数
P
R N
例题
10名被试在某选择题上的得分如下,试计算该题 的难度。
三、难度的等距量表
➢ 用百分比表示的难度值是等级数据。 P值越大,项目越容易。
➢ 将以等级量表表示的P值转换为具有 相等单位的等距量表Z值: 将某题的通过率P视为正态分布曲线 下的面积;查正态分布表找出正态曲 线右侧面积所对应的Z分数。 Z值越大,项目越难。
➢ 美国教育测验服务社(ETS): △ = 13 + 4Z △取值范围为1~25
二、估计方法
极端组法 相关分析法 因素分析法
1.鉴别指数(极端组法)
► 高分组与低分组在某一项目上的通过率之差
D = PH-PL
D=鉴别指数 PH=高分组通过率 PL=低分组通过率
例题
选取有代表性的试卷370份,按照总分高低排序, 将从最高分向下的27%(100人)作为高分组,将 从最低分向上的27%(100人)作为低分组。某题 的答题情况如下表。试计算该题的鉴别指数。
第五章 项目分析
➢ 定性分析
主要由专家对项目的内容和形式进行分析,包括考察 内容效度、题目编写的恰当性和有效性等。
➢ 定量分析
主要计算项目的难度、区分度等。
目的
对项目进行筛选和修订,提高测验的信度和效度。
第一节 项目的难度
项目的难度(difficulty)是指测验项目 (或试题)的难易程度。
在能力测验中就是指试题的难度水平。 人格测验不存在难度问题,与此相应的
N 总人数,K 选项数
R 得 分 为1的 人 数 , W 得 分 为 0的 人 数
X 真正会做的人,N -X 真正不会做的人
R X N -X K
X KR - N K -1
CP
X N
KR N( K
-N1)
K R 1 N K 1
KP 1 K 1
例题
一个五择一的项目,其通过率为0.50,则排 除猜测的影响,矫正后的难度为 多少?
被 试
1
2
3
4
5
6
7
8
9 10
得 分
13
15
10
10
9
11 10
9
11
10
二、二级评分法项目难度的矫正
➢ 排除由于被试猜测而答对某些 题目致使P值增大的可能性。 比较答案选项数不同的题目的 难度。
➢ 矫正公式为:
CP=矫正后的难度 P=未矫正的难度 K=测题的选项数目
CP
KP 1 K 1
难度矫正公式的推导
⑴项目与总分的相关
点二列相关 二列相关 积差相关
点二列相关
项目是0、1记分,总分是连续变量
rpbi
XpXq St
pq
rpbi ห้องสมุดไป่ตู้点二列相关系数
X p 答对该题的被试在总分上的平均得分
X q 答错该题的被试在总分上的平均得分
St 全体被试的总分标准差 p 该题的难度
q 1 p
例题
学生 1 2 3 4 5 6 7 8 总分 90 87 83 80 80 77 71 68 项目得分 1 1 1 0 1 0 0 0
组别
选择各项答案的人数
A B C D 未答
正确答案
高分组 8 36 34 21 1 低分组 4 30 46 20 0
B
鉴别指数与项目的优劣
D 0.4以上 0.30-0.39 0.20-0.29 0.19以下
测题评鉴 优良 良好,如能修改更好 尚可,仍需修改 劣,必须淘汰
2.相关分析法
项目得分与总分的相关 项目间的相互相关 项目得分与效标的相关
项目是0、1记分
第i题
0
1
第j题
1
A
B
A+B
0
C
D
C+D
A+C B+D
项目是0、1记分
四项相关
rt cos
AD 180 AD BC
Φ相关
rAB C B C D A A D C BD
项目是非0、1记分
积差相关
⑶项目与效标的相关
项目的效标效度分析 计算方法与前面项目与总分的相关基本相同
二列相关
项目和总分都是正态连续变量,但项目 得分被人为地分为两个类别
r X pXq pq
b
St
Y
Xp 等距(等比)变量中与p对应的那部分数据的平均值
Xq 等距(等比)变量中与q对应的那部分数据的平均值 St 全部等距(等比)变量的标准差 p 二分变量中取某一值的变量比例 q 二分变量中取某一值的变量比例 Y 标准正态曲线下p与q交界点的Y轴高度
相关系数的统计检验
以相关系数计算项目的鉴别力时,鉴别力 达到多高时才可以接受?
相关系数不是来源于ρ=0的总体!
四、难度对测验分布的影响
A
常态分布:平均难度在0.5左右
负偏态分布:测验容易,P值大
B
正偏态分布:测验过难,P值小
C
第二节 项目的鉴别力
一、定义 二、估计方法
一、定义
项目的鉴别力(Item discrimination), 又称项目的区分度。
指项目得分对被试实际水平的区分能力或 鉴别能力。
例题
学生 1 2 3 4 5 6 7 8 总分 90 87 83 80 80 77 71 68 作文得分 36 35 33 28 24 26 21 22 通过与否 1 1 1 1 1 1 0 0
积差相关
项目和总分均为正态连续变量
⑵项目间的相互相关
又称项目的组间相关
项目是0、1记分 项目是非0、1记分
选择各项答案的人
数
组别 A B C D 未
正确答 案
答
高分组 8 36 34 21 1 低分组 4 30 46 20 0
B
2、多级评分法项目的难度计算
P
X X max
P =试题的难度
X =全体被试在该题上的平均分数
X m=a x该题的满分分数
例题
问答题满分为15分,10名被试在该题的得分如下。 试计算该题的难度。
被 试 1 2 3 4 5 6 7 8 9 10 得 分 1 1001 10 1 10
极端分组法
将被试按总分高低依次排序; 划出人数相等的高分组和低分组(例如比例为27%); 计算高分组和低分组在该题上的通过率PH和 PL ; 该题的难度计算公式为:
P
PH PL 2
例题
选取有代表性的试卷370份,按照总分高低排序, 将从最高分向下的27%(100人)作为高分组,将 从最低分向上的27%(100人)作为低分组。某题 的答题情况如下表。试计算该题的难度。