心理测量学项目分析等
72020/10/18
第一单元 项目的难度
由于选择题允许猜测,所以通过率可能因为 猜测而变大。
被选答案越少,猜测作用越大。越不能真正 反映测验的难度。
为了平衡猜测的影响,吉尔福特提出了一个 校正公式。 Cp=KP-1/K-1
Cp是校正后的通过率。K是被选答案数,P实 际通过率。
比较被选答案数目不同的测题难度时,可以用 此公式。
而右图,属于负偏态分布,题目容易了, 必须增加足够数量的有较高难度的项目。
42020/10/18
第一单元 项目的难度
有些测验,如掌握性测验,或标准参照 测验,分数分布出现偏态是允许的。其难 度根据情况而定
52020/10/18
第二单元 项目区分度
一、定义(item discrimination)
❖ 但是,如果一个测验,所有试题相关均为 1.00。难度为0.50。有一种可能:50%的被试 答对所有题目,50%被试答错所有题目。那这 个难度0.50还有意义吗?
❖ 所以,选择题目时,所有题目平均难度接近 0.5,各测题难度0.5±0.2之间最好。
12020/10/18
第一单元 项目的难度
❖ 当测验用于选拔或诊断时,应较多地选择难度 值接近录取率的项目。例如,测验为了选秀, 就应当有高难度,P值要小。如果录取率是20 %,测题难度就应该是0.2。
52020/10/18
第一单元 项目的难度
一、难度(difficulty)的定义 ❖ 难度是指,项目的难易程度。 ❖ 在能力测验中,需要一个反应难度水平的指标,在非
能力测验中,类似的指标是“通俗性”。通俗性是指 取自相同总体的样本中,能在答案方向上回答该题的 人数。 ❖ 难度的指标通常以通过率表示,即以答对或通过该题 的人数百分比来表示。
标准测验希望能准确测量个体差异。某个 题目,被试都答对或错,那么该题无法提供 个别差异的信息,对测验的信度和效度没有 作用,所以,P值越接近1或0,越无法区分 个体差异,而P值越接近于0.50,区别力就 越高。
02020/10/18
第一单元 项目的难度
❖ 为了使测验更有区别力,应该选难度在0.5左 右的试题。
❖ 也叫鉴别力,是指测验项目对被试的心理特性的区分 能力。水平高者通过,低者通不过,就有区分度。
❖ 它是评价项目质量和筛选项目的主要指标,也是影响 测验效度的重要原因。区分度低意味着项目不能区分 被试的实际水平,这类项目达不到测验的目的,必定 影响测验效度。
❖ 区分度取值介于-1至+1之间。项目得分与实际能力 之间的相关来表示。相关系数越大,区分度越高。负 相关说明水平越高,该项目得分反而越低,有问题, 淘汰。
心理测量学项目分析等
22020/10/18
第五节 项目分析
第一单元 项目的难度 第二单元 项目的区分度
32020/10/18
第五节 项目分析ቤተ መጻሕፍቲ ባይዱ
❖ 项目分析包括:定量分析、定性分析
❖ 定量分析包括:题目难度和区分度 ❖ 定性分析包括:考虑内容效度、题目
编写的恰当性、有效性
42020/10/18
第一单元 项目的难度
62020/10/18
第二单元 项目区分度
二、计算方法
在理论上,项目区分度是以项目得分高低与实际能力 水平高低之间的相关来表示。但是实际水平很难估计 ,只好用其他指标代替,常用的是测验总分。
(一)鉴别指数
计算方法:
1、按测验总分高低排列答卷;
2、确定高分组、低分组,27%;
3、分别计算高分组、低分组通过率;
82020/10/18
第一单元 项目的难度
二、计算的方法 (二) 非二分记分的项目 当测验项目为问答题或不能用二分法计分的形式 时,难度如下计算:
全体被试在该题目上的平均分,除以该题的 满分。
92020/10/18
第一单元 项目的难度
三、难度水平的确定
(一)项目难度水平的确定
难度分析的目的是:筛选项目。项目的难 度取决于测验的目的、性质以及项目的形式 。
不是 考试 内容
02020/10/18
第二单元 项目区分度
人的心理特性基本是呈常态分布的。我们使 用的统计方法是以正态分布为前提。所以测 验设计时,希望分数呈现常态分布。
如果被试样本具有代表性,对于中等难度的 测验,其测验总分应该接近常态分配。
如果获得的分数不是常态,而是偏态分布的 ,说明题目偏难或偏易。
32020/10/18
第一单元 项目的难度
如左图,属于正偏态分布。题目难了,必 须增加足够数量的较容易的项目;
3、项目鉴别指数为:D=PH-PL
72020/10/18
第二单元 项目区分度
用D=PH-PL作为项目鉴别指数,理由是,高 分组得分率高于低分组,则D>0,D越大, 该项目区分两种不同水平的程度越高。如果 D<0,项目有问题。
82020/10/18
第二单元 项目区分度
❖ 1965年,伊贝尔(L.Ebel)提出用鉴别指数评 价项目性能的评价标准:
❖ 对于选择题来说,P值一般应大于概率水平。P 值等于概率,说明题目过难或题意不清,被试 凭猜测做答。P值小于概率无意义,说明题目 质量有问题。
❖ 是非题,难度应该在0.75最合适,四选一, 0.63最合适。
22020/10/18
第一单元 项目的难度
(二)测验难度水平的确定
测验的难度依赖于项目的难度。
P大小与难度高低成反比。所以,有人称其为“易度”。
62020/10/18
二、计算的方法 (一)二分法记分的项目
第一单元 项目的难度
心理测验的项目大多为选择题,通过计1分,未通过计0 分。其难度的计算为:
当被试较多时,可根据测验总成绩将被试分组:分数最 高的27%为高分组,最低的27%为低分组,中间46% 为中间组。分别计算高低组通过率,以两组平均值作为 每一道题的通过率。
鉴别指数
0.4以上 0.3-0.39 0.20-0.29 0.19以下
项目评价
很好 良好,修改后更佳 尚可,但需修改 差,必须淘汰
92020/10/18
第二单元 项目区分度
(二)相关法 计算区分度最常用的方法是相关法 以某一项目分数与效标成绩或测验总分的相关作为 该项目区分度的指标。相关越高,区分力越大。 点二列相关:适用于一类变量为二分称名变量,另 一类变量为连续变量的成对变量的相关计算。