心理学(研究方法)内容精讲
第四部分心理测量学
第七章项目分析
项目分析是指根据被试的反应对组成测验的各个题目(项目)进行分析,从而评价其功用的程序和方法。
掌握项目分析的概念和方法能够帮助测验使用者评价现有的各种测验。
此外,项目分析尤其适合于特殊的测验(如课堂测验)的编制。
项目分析包括定性分析和定量分析。
定性分析包括考虑内容效度,题目编写的恰当性和有效性等;定量分析主要是指题目难度和区分度的测量。
任何测验的信度、效度最终都依赖于题目的上述性质。
通过项目分析,研究者可以选择和修改测验题目,以提高测验的信度和效度。
第一节项目难度
难度,指项目的难易程度。
在能力测验中通常需要一个反映难度水平的指标,在非能力测验中,类似的指标是“通俗性”,即取自相同总体的样本中,能在答案范围内回答该题的人数。
一、什么是难度
难度的指标通常以通过率表示,即以答对或通过该题的人数的百分比来表示:
=⨯
P R N
(/)100%
式中,P代表试题难度;N为全体被试人数;R为答对或通过该题的人数。
二、难度的计算方法
(一)二分法记分的项目
若试题为二分法项目(即答对给1分,答错记0分)时,难度可以直接采用公式[P=(R/N)×100%]计算。
当被试人数较多时,则可以根据测验总成绩将被试分成三组:分数最高的27%的被试为高分组(N H ),分数最低的27%的被试为低分组(N L ),中间46%的被试为中间组。
分别计算高分组和低分组的通过率,再求试题的难度:
2
/)(L H P P P +=其中P 代表难度,H P 和L P 分别代表高分组和低分组的通过率。
(二)非二分法计分的项目
当测验项目为问答题或其他不能用二分法计分的形式时,常常对部分正确的反应也给一定分数。
对于这类项目,一般用下面的公式计算难度:
()
%
100/max ⨯=X X P 式中,X 为全体受测者在该题上的平均分,max X 为该题的满分。
三、难度水平的确定
在测验编制过程中,分析项目难度主要是为了筛选项目。
项目的难度水平多高合适,取决于测验的目的、项目的形式以及测验的性质。
在教育工作中,有些测验的目的是为了考查学生对某些方面的知识、技能是否掌握,此时可以不考虑难度。
当测验用于选人时,应该比较多地采用那些难度值接近录取率的项目。
四、测验的难度
作为一个整体的测验的难度,直接依赖于组成测验的项目的难度。
对整个测验的难度的
综合性检验,可由分数的分布提供。
当分数分布是正偏,分数密集在低端,表明测验的难度偏高。
当分数分布是负偏,分数密集在高端,表明测验的难度偏低。
五、常态化等距难度量表
以通过率作为难度指标,实际上是以顺序量表来表示难度,它仅仅能指出题目难度的顺序或相对难度高低。
如果被试在所要测量的特性上呈现常态分布,则可以根据常态曲线表,将试题的难度转换成具有相等单位的等距量表,即Z分数。
这种常态化的等距难度量表不但可以表示项目难度的相对位置,而且,可以指出不同难度之间的差异数值。
第二节区分度
区分度是指测验项目对所测量的心理特性的区分程度或鉴别能力,也就是项目的效度。
一、确定区分度的方法
区分度的所有指标和估计方法,都是以受测者对项目的反应与某种参照标准之间的关系为基础的。
如智力测验可用年龄作标准,看通过每一项目的人数是否随年龄而增长。
这些参照标准实际上就是测验的效标。
当外在效标难以得到时,通常可用测验总分(即所有项目的分数数之和)代替。
这个方法假定,测验作为一个总体是对该特性的一个适当测量,因为个别项目易受某种偶然因素干扰。
但当项目足够多时,在全部项目上误差因素作用的方向不同,互相抵消,所以可假定全部项目的考察结果是有效的。
(一)项目特征曲线
项目反应与效标(或测验总分)的基本关系可以用项目特征曲线来表示。
项目特征曲线
描述了效标分数不同的受测者在该项目上的通过率。
如果该项目的通过率在效标分数的低端很低,在效标分数的高端很高,说明这个项目能将不同水平的受测者做出有效区分。
一般说来,曲线坡度越陡,鉴别能力越好,预测的误差越小。
当坡度为90°时,区分度为1.00(最高),当坡度为0°时,区分度为0。
项目特征曲线不但可以提供项目效度的形象描述,而且可以用曲线的坡度作为项目鉴别能力的指标,但使用此种指标计算非常复杂,一般要由计算机来完成,只有在特殊需要时才做这种计算。
(二)项目与效标的相关
比上述方法更常用的是相关法,即以项目分数与效标分数(或测验总分)的相关作为项目区分度的指标,相关越高,区分能力越好。
1.二列相关
二列相关适用于两个可以连续测量的变量,但其中有一个由于某种原因被分成两个类别。
当一个测验的项目分数是连续的,而效标或测验总分被分为高、低或及格、不及格两个类别时,就可用二列相关法。
有时效标或测验总分是连续的,而项目分数被人为分成对、错或通过、不通过两类,也可采用此法。
2.点二列相关
点二列相关适用于一个变量为连续变量,另一个变量为二分变量的资料。
当一个变量是双峰分配时。
尽管它并不是真正的二分变量,这种统计方法也适用。
3.四分相关
四分相关适用于两个常态的连续变量均被人为二分的资料。
如果一个题目分数被二分成通过与不通过,效标成绩也被分成通过与不通过,这时就会得到四个类别,从而可组成一个四格表。
计算四分相关最常用的是皮尔逊的余弦 公式。
4.Φ相关
Φ相关的统计方法适用于两个变量都是点分配的资料,即两个变量都是二分名义变量。
在有些情况下,一些连续变量也可以用此方法计算相关程度。
相关不要求变量呈正态分布。
以上几种相关系数在项目分析时究竟用哪一种,依变量的性质而定。
实际上,如果所选择的相关系数仅仅是为了在编制测验时取舍项目,则一个系数和另一个系数是一样的,因为不同的系数对相同的项目产生同样的等级次序。
5.项目和总分相关重叠的校正
在做项目分析时,需要经常计算项目和总分的相关,这是一种局部和总体的相关,因为总变异数中包含有各个项目的变异,这个事实本身就可以引起某种正相关。
一个项目的变异对总变异贡献越大,这个伪因素就越重要。
在一个测验中,只有当每一项目的变异数相同或项目非常多,以致每个项目所贡献的变异数比例都很微小时,才能把项目和总分的相关作为项目区分度的指标。
如果不具备这些条件,最好计算每一项目和所有其他项目合成分数之间的相关。
(三)鉴别指数
1.鉴别指数的计算
项目分析的一个简便方法是比较两个极端效标组通过一个项目的个案的比例。
当效标测量是一个连续变量(例如学业分数、产品数量)时,可从分布的两端选出高分组(H)和低分组(L),然后将高分组和低分组通过每个项目的人数用百分比来表示,这两个百分数之间的差异就提供了题目区分度的指标。
D=P H-P L
其中D为鉴别指数,P H为高分组通过人数百分比,P L为低分组通过人数百分比。
2.极端组的划分
显然,两个组越是处于极端,二者之间的差异越是明显。
但很极端的分组(例如最高10%与最低10%),由于个案太少,会减低结果的可靠性。
在常态分布中,使以上两个方面平衡的最佳点是上下27%,以此为分界点,既可以使两个对比组间的差异尽可能大,又能使两组人数尽可能多。
二、区分度的相对性
区分度的值亦具有相对性,这表现在以下四个方面:
1.采用不同的计算方法区分度的值不同
由于区分度的绝对值随所用指标而异,所以在分析多个项目的区分度值要采用同一种指标,否则无法比较。
2.用相关法计算的区分度值受样本大小影响
一般说来,样本越大其统计值越可靠,但样本增大到一定程度后,对提高统计学正确性的贡献遵循报酬递减率,样本过大只是增加计算量,对正确性的改进微乎其微,因而并无实际价值。
3.用两个极端组通过率的差异作为区分度的指标,其值受分组标准的影响
在编制心理测验时,通常取370人作样本,配合以27%的分组标准,这样每一组恰好各为100名受测者(370×0.27=100),对以后的计算较为方便。
只要算出每一组的通过率,就可以从现成的项目分析表中查得所需要的难度和区分度值。
4.区分度值的大小与样本的同质性有关
受测者越具有同质性(个别差异越小),区分度值越小。
一个区分度小的项目,若施测于具有较大异质性的团体,也可能具有很高的鉴别力。
可见,项目的区分度大小是针对特定。