问卷的编制.
3.00 .00443 .49865
3.50 .00087 .49977
3.99 .00014 .49997
美国教育服务中心以Δ 作为难度指标: Δ=13+4Z
P = .0013 P = .16 P = .50 P = .84 P = .9987
Z = +3 Z = +1 Z=0 Z = -1 Z = -3
在做项目分析时,这两种方法都是以单题为单位来进行分析
(九) 编制正式题目
编制者可根据项目分析的结果来进行选题,只要鉴
别力合乎标准的题目都可以选为正式的题目。若项目分
析所得各题的决断值都合于要求,则由高而低选出预定
要的题数。
(十) 问卷质量的判断
一份好的问卷必须具有相当的信度和效度。
(观察法)
(四)拟定量表的架构
编制者可以参考某一个学者的看法,或是综 合数个学者的理论拟出所要编制量表的架构。以 大五人格为例。
(五)编制题目
当量表的架构定出来之后,编制者即可参考所搜集来的其它的量表资
料来编题。通常为了将来有删题的空间,编制者大约要比预定的题数多编
二分之一的题目。如一个分量表若需要10题,此时就需编15题。
致性程度,其大小等于同一组被试在两次测验上所得分 数的皮尔逊积差相关系数。
使用前提:
A 所测量的心理特征必须是稳定的 B 遗忘和练习的效果基本上相互抵消 C 在两次施测的间隔时间内,被试在所要测量的心理特
质方面没有获得更多的学习和训练。
2 分半信度 是指将一个测验分成对等的两半后,所有被试在这两
第二节 测验的实施
一、测验的实施过程
1. 实测前的准备工作 2. 指导语 3. 测验情境 4. 测验焦虑 5. 与受测者建立良好的协调关系 6. 评分技术 二、测验分数的解释
1. 如何看待测验分数的意义 2. 如何向受测者报告测验分数
第八章 测验的项目分析
查,员工对公司的满意度状况是属于描述,影响员工工 作满意度的因素很多,究竟是什么原因,需要诊断才知 道),选拔还是预示?
(二)拟定编制计划
此份计划包括决定应搜集哪些相关的资料、 编制的进度、样本的选取、经费预算、编制完成 所需的时间等。
(三)搜集资料 1 资料要丰富、有代表性 2 资料收集方法:开放式调查、访谈、已有研究、
二、难度的计算 (一)二分法记分项目的难度 1.通过率
P=R/N 2.极端分组法(上下27%)
P=(PH+PL)/2 (二)非二分法记分项目的难度
P=X / Xmax X为所有被试在该项目上的平均得分, Xmax为该项目的满 分。
三、测验难度水平的确定 效标参照测验、掌握测验:不考虑难度; 选拔测验:难度=录取率; 对于选择题来说,难度一般应大于猜测概率; 无论是速度测验,还是难度测验,一般都应防止被试得 满分,因为满分的意义是不明确的。
具体步骤:
A 明确欲测内容的范围,包括知识范围和能力要求两个 方面。
B 确定每个题目所测的内容,并与测验编制者所列的双 向系目标对照,逐题比较自己的分类与制卷者的分类, 并做记录。
C 制定评定量表 2 结构效度 指一个测验实际测到的索要测量的理论结构和特质的
程度,或者说它是指测验分数能够说明心理学理论的某 种结构或特质的程度。常用分方法:因素分析法
常用计算方法:克隆巴赫α系数
4 评分者信度
指多个评分者给同一批人的答卷进行评分的一致性程 度。
5 复本信度
指两个平行的测验测量同一批被试所得结果的一致性 程度。
1 内容效度 指一个测验实际测到的内容与所要测量的内容之间的
吻合程度。
内容效度的确定方法是逻辑分析法,其工作思路是请有 关专家对测验题目与原定内容范围的吻合程度做出判断。 常用方法专家评定法
Δ= 25 Δ= 17 Δ= 13 Δ= 9 Δ= 1
五、难度对测验的影响 (一)测验难度影响测验分数的分布形态 难度大,正偏态
难度低,负偏态
(二)测验难度影响测验分数的离散程度 测验过难或过易,分数全距缩小,信度降低。 P=0.50时最佳
第二节 测验的区分度
一、区分度的意义 区分度(discrimination)是指测验项目对被试心理品质水 平差异的区分能力或鉴别能力。 项目的区分度是测验是否有效的“指示器”。 二、区分度的计算 (一)项目鉴别指数法 1.鉴别指数(index of discrimination,D)的计算 D = PH - PL 取值范围:-1~ +1
P Y
0Z
Z
Y
P
.00 .39894 .00000
.50 .35207 .19146
1.00 .24197 .34134
1.50 .12952 .43319
1.96 .05844 .47500
2.00 .05399 .47725
2.50 .01753 .49379
2.58 .01431 .49506
4 意义必须明确,不得暧昧或含糊,尽量少使用双重否定句。
C 针对题目表达的原则
1 尽量避免主观性和情绪话的字句;
2 不要伤害被试感情,避免涉及社会禁忌或隐私
3 避免诱导和暗示答案
4 避免令被试为难的问题(被试没有明确结论或羞于启齿的问题)
D 针对题目理解的原则
1 题目应有确切答案,不应具有引起争议的可能(创造性测验、人格 类测验例外)
3 各个试题必须彼此独立,不可互相重复或牵连,切忌一个题目的答案影响 对另一个题目的回答
B 针对题目语言的原则
1 使用准确的当代语言,不要使用孤僻艰深的词句
2 文句需简明扼要,既排除与解体无关的陈述,又不要遗落解题的必要条件
3 最好一句话说明一个概念,不要使用两个或两个以上的观念;
据工作成绩(效标)的好坏分成两组。这时再回过头来 分析这两组被试原来接受测验的分数差异,若两种人的 测验分数差异显著,说明该测验有较高的信度。
C 命中率 根据测验选出来的人当中工作合格的人数,以 及根据测验淘汰的人当作工作不合格的人数之和与总人 数之比。
开放式问卷又叫无结构型问卷。其特点是项目的设置和安 排没有严格的结构形式,所调查的问题是开放式的,被调 查者可以根据自己的意愿发表意见和观点。但无结构型问 卷并非真的完全没有结构,只是结构较松懈或较少。这种 类型的项目较少作为单独的问卷使用,往往是在对某些问 题需要作进一步深入调查时与结构型问卷配合使用,或用 在研究者对某些问题尚不清楚的探索性研究中。 使用开放式问卷的优势包括:可以收集到范围比较广 泛的资料;可以比较深入地发现和探究一些特殊问题,探 询到特殊群体的意见和观点。使用开放式问卷的局限性包 括:收集到的资料很难量化,难以进行统计分析;要求研 究者有较强的资料分析问题能力;不适合文化程度不高、 文字表达有困难的研究对象 。
如果问卷的选项过于敏感,应在问卷中穿插数题“测谎题”,以探知被试 是否据实回答。
态度量表通常采用李克特式量表法,量表填答方式以4点量表法至7点量表 法。最为研究者采用。
题目的编写应注意以下几点
A 针对题目内容
1 要求题目的内容符合测量工具的目的,避免贪多而乱出题目
2 内容取样要有代表性,符合测量工具计划的内容
问卷的编制及使用
一 问卷编制的一般程序
一、问卷编制的步骤 (一)确定测验目的 1、测验的目标和假设 所编的测验是用来测量什么的?是测能力、人格还是
工作绩效?不但明确测量的目标,还要对测量目标加以 分析,将此目标转化为可操作的属于,即将目标具体化。
2、测验对象 测验对象的年龄、智力水平、文化背景、阅读水平。 3、测验用途 测验是用来对被试做描述,还是诊断(员工满意度调
3 实证效度 指一个测验对处于特定情境中的个体的行为进行估计
的有效性。也就是说,一个测验是否有效,应该以实际 的效果来作为检验标准。
在这里,被估计的行为是检验测验效度的标准,简称为 效标。常用的效标:工作绩效、实际工作表现、对团体 的区分等。
实证效度的确定方法:
A 相关法 计算测验分数与效标测量的相关 B 区分法 被试接受测验后,让他们工作一段时间,再根
B 相关法。在进行相关法时,有两种方式,一种是含本题在内所得 的相关,另一种是不含本题在内的相关。进行第一种相关法时,首 先将每个受试者分量表的总得分算出来,然后以题为单位,计算每 一题与总得分的相关。一般而言,相关系数至少应达0.4以上为佳。 进行第二种相关法时,以每一题和该题所在的分量表的总得分(不含 该题)求相关。一般而言,相关系数应达显著水准才算是具有鉴别力 的题目。
2 筛选完后的问卷应加以编号,以便将来核对数据只 用;之后再给各变量、题项一个不同代码,并依问卷内 容,有顺序的输入计算机。
(八)项目分析
项目分析(item analysis)的主要目的是针对预试的题目加以分析,
以做为正式选题的参考。
项目分析的方法
A t检验法。以t检验而言,在进行项目分析时,是以该分量表总得 分的高分组(前25%-33%的被试者 )和低分组(后25%-33%的被试者)在 每一题得分的平均数进行差异比较。所得的值称为决断值(critical ratio,简称CR),必须高于查表的临界值,才具有鉴别力,有的学者 建议CR值至少应达3以上为佳
信度即是指问卷所测结果的一致性或稳定性。常用信 度评估方法。
效度是指一个量表能够有效的测量到它所要测量的特 质的程度,譬如一份有效的「成就动机量表」应该能确 实反映出受试者的成就动机,高成就动机者在此量表的 得分应该比低成就动机者的得分显著要高。
常用效度评估方法
1 重测信度 是指用同一问卷对同一组被试施测两次所得结果的一