难度 区分度 猜测问题 多选题的项目分析
• 信度和效度分析是对测验质量的整体评价。 • 项目分析是对测验中每一个测题的质量进 行的分析。 • 项目分析的目的是通过分析改进项目统计 量进而提高测验的信度和效度。 • 项目分析包括分析质的分析和量的分析。
第一节 项目的难度
一、难度的意义
• 难度一般是指测验项目的难度，当然 也可指一个测验的难度。后者是其所 包含的所有测题难度的综合指标。我 们这里所讲的是项目的难度。 • 从心理学角度看，难度是被试在作答 项目时心智操作感到的难易程度。
• 提出者 – 美国测验学家：伊贝尔（L. Ebel）
测题鉴别指数与评价标准
区分度（D） 0.40以上 0.30－0.39 评 价
非常良好 良好，如能改进则更佳
0.20－0.29
0.19以下
尚可，仍需再改进
劣，必须淘汰或加以修改
极端组的划分
• 高低组的比率介于25%---33% • 标准化测验采用27% • 样本人数过少时，可以用50%作为分界点。 • 此方法只利用了一部分信息，精确性差一 些。
（二）非0、1记分项目
X P X max
某题的 平均得分
该题的 满分值
例4-4：某试卷中一 论述题为20分，10 名参加测验者得分为 10、18、14、8、 18、3、14、10、 9、8。试问该题的 难度是多少？
112 X 11 .2 10 11 .2 P 0.56 20
• 2、极端分组法
三、区分度与难度的关系
• 难度是区分度的必要条件
– 难度愈接近.50，试题区别作用愈大。 – 较难项目，对高水平被试区分能力高 – 较易项目，对低水平被试区分能力高
– 中等项目，对中等水平被试区分能力高
P与D最大值的关系
P 1.00 .90 .80 .70 .60 .50 .40 .30 .20 .10 .00 最大鉴别值 0.00 0.20 0.40 0.60 0.80 1.00 0.80 0.60 0.40 0.20 0.00
题 号 1 2 3 4
组 别 高分组 低分组 高分组 低分组 高分组 低分组 高分组 低分组
选 答 A B C 5 22 58 26 17 25 1 1 92 50 10 21 15 11 44 56 1 12 15 15 28 19 14 10
人 D 2 16 16 36 28 34 36 28
• 一个测验项目，如果大多数人能答对，则 该项目的难度就小；如果大部分人都不能 答对，则该项目的难度就大。
– 在这里，难度是题目的性质和被试水平共同作 用的结果。
测验的难度
• 依据
– 取决于构成测验的试题难度
• 一般原则
– 标准化测验：正态分布 – 效标参照测验：允许偏态分布
二、计算方法
（一）0、1记分的项目
二、具体分析步骤：
• 1、按被试测验的总分，从高到底依次排列试卷。 • 2、从最高分依次向下取全部试卷的27%作为高分 组。 • 3、从最低分依次向上取全部试卷的27%作为低分 组。 • 4、分别登记高分组与低分组选中各选择项的人数 （亦可将人数换为人数比例），然后登记。 • 5、根据登记结果进行选择项的质量分析。
数 未答 0 0 1 2 12 11 5 5
正确 答案
B A
D C
分析程序
• • • • • 抽取代表性样本(370人)，预测； 按总分高低排序，确定高低分组（27%） 求两组的通过率及平均通过率； 求鉴别力指数和相关系数； 比较高低分组的难度和区分度及不同答案 的反应； • 根据分析结果，筛选试题或修改试题；
三、测验难度对测验的影响
• （一）测验难度影响测验分数的分布形态 • 测验的难度直接依赖于组成测验的项目难度。通 过考察测验分数的分布，可以对测验的难度作出 直观分析。 • （二）测验难度影响测验分数的离散程度。 • 过难或过易的测验，会使测验分数相对地集中在 第分端或高分端，从而使的分数的全距缩小。
• 1、定义式 通过 人数
R P 100 % N
参测 人数
P值大，难度小。 P值小，难度大。
2、极端分组法
• 含义 – 以高低分组平均通过率表示的难度

步骤 高、低分组通过率
pH

RH , NH
RL pL NL
平均通过率
PH PL P 2
例4-1：200人参
加某项测验，在一 填空题上高分组48 人通过，低分组23 人通过。试问该题 的难度值是多少？
题 号 1 2 3 4
组 别 高分组 低分组 高分组 低分组 高分组 低分组 高分组 低分组
选 A 5 22 58 26 17 25 1 1
答 B 92 50 10 21 15 11 44 56 C 1 12 15 15 28 19 14 10
人 D 2 16 16 36 28 34 36 28
数 答 未答 案 0 0 1 2 12 11 5 5
二、具体步骤
• • • • 分析试题内容 计算区分度 计算难度 选项分析
• 求高低分组在 所有项目，所 有选项上的选 答率 • 列表 • 分析：逐个项 目地进行分析
例4-2：在100名 学生中，高分组与 低分组各有27人。 其中高分组答对第 一题的有20人，低 分组答对第一题的 有10人。试问该题 的难度是多少？
N H N L 100 0.27 27
20 PH 0.74 27 10 PH 0.37 27 0.74 0.37 P 0.56 2
四、项目难度分布的选择
• 进行难度分析的主要目的是为了筛选项目， 项目难度水平多高合适，取决于测验的目 的、测验形式以及测验的性质。 • 在教育工作中或实际工作中，若测验的目 的是为了了解被试在某方面知识技能的掌 握情况，可以不必过多地考虑难度。 • 如果测验的目的是用于选拔录用人员，就 应该将项目的难度控制在接近录取率左右。
P、D与答案分析实例
例4-12：有人计划
编制一套上海市中 学几何学科测验， 按预定题数加倍制 定测题再以项目分 析法选择最适当的 测题。现从上海初 三全域抽取代表性 样本370人为预测对 象接受测验。按学生 总分高低顺序排列， 抽取最高和最低的试 卷各27%为高低分 组。现从中选出4个 选择题，经过项目分 析获得以下结果。
Ni N H N L
200 27% 54
1 48 23 P 2 54
71 0.66 108
N H N L 200 0.27 54
48 PH 0.89 54
23 PH 0.43 54
0.89 0.43 1.32 P 0.66 2 2
• 计算题分与总分的相关系数 • 例：8名学生在某题上的得分及测验总分如下表， 求项目区分度。
学生 1 6 2 10 3 6 4 8 5 9 6 7 7 3 8 5 某题得分
测验总分
34
36
35
37
42 30 27
29
解：rxy
2 2 S x2 S y SD
2S x S y
4.4375 20.9375 10 ＝ 2 2.1065 4.5758 ＝0.7975
• 区分度的实质：题分与总分的一致性程度，或 者说就是它们的相关系数。 • 区分度的值域：D∈[-1，+1］
二、计算方法
（一）鉴别指数
• 含义
– 高、低分组通过率之差：
D PH PL
• 步骤
– 按测验总分高低排序试卷 – 确定高低分组：每组占27% – 分别计算各组的通过率 – 代入鉴别指数公式
• 各种测验的难度
– 标准化测验：0.30～0.70； – 一般测验： 极难（P﹤.1）→极易P﹥.9） – 选拔和诊断测验：接近录取率 – 效标参照测验：有时不考虑难度
• 常模参照测验
– 测验难度在0.50左右。
ห้องสมุดไป่ตู้
• 选拔测验
– 要求在录取线附近具有最强的鉴别能力。 – 对于选拔点左右的人而言，题应具有0.50左右的难度。
第三节 多重选择题的项目分析
一、分析的作用与内容
• 对该题进行品质分析，看其是否能测到你想测的那 种心理品质。 • 计算该题的区分度，看区分度能否达到要求。 • 看该题的难度是否合适、恰当。 • 正答选项的选答率是否恰当。正答选项在高、低分 组的选答率是否是正差，差距是否足够大。（理论 上是越大越好） • 诱答选项（迷惑项或分心因子）的选答率是否恰当， 诱答选项在高低分组上的选答率是否是负差，差距 是否足够大。
（二）相关法
• 某一测题分与效标成绩或测验总分的相关
• 具体方法
– 点二列相关——客观题
– 二列相关——主观题
–Φ 相关
点二列相关、二列相关和Φ 相关
变量 一列 一列 点二列相关 二列相关 连续变量 二分名称 二分名称 （人为的） Φ相关 二分名称 二分名称
积差相关：论文式题目
相关法
• 计算题分与总分的相关系数 • 例：10名被试在某测验第一题上的作答情况与测 验总分如下表所示，计算该题的区分度。
例4-7：100人参加 某项测验，对其中四 道题做对的人数分布 如表所求，试问这些 试题的区分度分别是 多少？
题 目 1 2 3 4
做对人数 高分组 低分组 27 12 6 22 24 1 8 12
结果
题 目 1 2 3 4 做对人数 通过百分比 高分组 低分组 高分组 低分组 27 12 6 22 24 1 8 12 1.00 0.44 0.22 0.81 0.89 0.04 0.30 0.44 D 0.11 0.40 -0.08 0.37
• Δ＝13+4Z
• 计算所有题目的平均难度
第二节 项目的区分度