当前位置:文档之家› 心理测量学第六章-测验题目性能与题目编写(项目分析).PPT

心理测量学第六章-测验题目性能与题目编写(项目分析).PPT

根据题干从备选项中选出正确选项的题目。单项 选择题指只有唯一正确选项的选择题。 2、特点功能: ①评分标准明确,评分客观,有利于减少评分带来 的评分误差。 ②有利于对基础知识和基本技能进行考查。
③选择题适合考查较低层次的能力,如识记能 力、较低的理解能力等,而不宜考查较高层 次的能力,如综合能力、创造性和独立思维 能力。
一、区分度的定义
(一)定义 ❖ 测验项目对所测量的心理特性水平差异的区分能力或鉴别。 (二)作用 ❖ 测验是否有效度的“指示器”。 ❖ 若区分度高,则水平高者得分高,水平低者得分低;若区分
⑤行为情景判断题设问方式一般有四种形式: 一是要求受测者选择最优行为项,二是要求 受测者选择最差行为项,三是要求受测者同 时选择最优和最差行为项,四是要求受测者 针对每一行为项的有效性做出评价。应根据 实际选择具体方式。
第二节 测验题目的难度与难度控制
一、难度的定义 二、难度的计算 三、测验难度水平的确定 四、难度的等距变换 五、测验的难度对测验分数分布的影响
的差异等于第2题和第3题间的差异。 (二)解决方式:等距变换,即把难度P转换成标准分数Z。 ❖ Z分数(0,+1σ)约占全体人数的34%,(1σ,2σ)间占全体人数的
13.5%。 ❖ 项目A通过率为84%(难度为0.84),难度值为-1σ。 ❖ 项目B通过率为16%(难度为0.16),难度值为+1σ。 ❖ 项目C通过率为50%(难度为0.50),其难度为0。
②论述题和计算题不仅能够考查考生较低层次的能 力目标,而且能够比较好地考查较高层次的能力 目标。
③论述题和计算题能够反映考生的思维过程,因而能 比较有效地考查考生接受信息、鉴别和选择信息的 能力,分析、推理、综合应用知识的能力,能鉴别 出考生对问题解决的程度。
④论述题和计算题可以根据试题相应情境进行不 同层次、不同角度的设问,如可以是单问,可 以是多问,也可以是分步设问,使试题的考查 目标比较明确。
中心建议用转换过的分数来表示试题难度值,公式为: Δ=13+4*Z
❖ Δ为难度指标,Z为由P转换得来的标准分数。 ❖ 例:上面A、B、C三题的Δ(难度值)为: ❖ 项目A:P=0.84,Z=-1, Δ=13+4*(-1)=9 ❖ 项目B:P=0.16,Z=+1, Δ=13+4*1=17 ❖ 项目C:P=0.50,Z=0, Δ=13+4*0=13 (四)“Δ”的解释 ❖ Δ值越大,试题越难;Δ值越小,试题越容易。
目。它用于考查被试分析、综合、评价直至创 新、创造等高层次能力。
▪ 计算题指主要是通过计算或运算来解答的题 目。计算题内容量有大有小,常常用于考查 被试的应用能力。一般要求给出条件完备无 冗余,答案唯一。
2、特点功能:
①论述题有利于考生独立地、创造性地解题。试题 的能力考查涉及的知识面可以比较大,而且要求考 生通过分析去找出所涉及的知识并找出它们的内在 联系。试题从定性分析到定量计算,工作量一般比 较大。
③跟所测领域个人的工作经验、工作年限有统计 显著意义的相关。
④有些情景判断测验作探索性因素分析,可提取出 一个大的一般因素,这时测验的内部一致性系数 可为0. 86
⑤对员工的工作绩效有较好的预测力,平均效度系 数为0. 36
3、行为情景判断题编制
①题目编制前应先确定所测特质的结构,然后在 这一所测特质结构下征集或编写问题情景及行 为反应项
日常生活中或工作中的具体情景,并针对该情景提 供若干解决这一情景下具体问题的行为选项,并要 求受测者进行选择/评价的题型。
2、特点功能: ①与一般认知能力有较强的相关,平均达0. 54 ②跟大五人格因素的多项因素有中度以上的相关,如
跟责任心的相关为0. 26 ,跟情绪稳定性的相关为0. 32 ,跟宜人性的相关为0. 25
❖ 对于一道题目来说,当P=0.50,数据的分散程度最 佳。
难度
离散程度
信度
六、合理难度及合理难度分布的控制 (1)对题目难度的控制 ▪ 主要从考核的知识点及其能力层次等方面进行
控制。 ▪ 考核单一知识点的题目相对考核较多同类知识
点的题目要容易。
▪ 考核能力层次相对要低(如识记和记忆)的题目, 其难度相对低,而对于考核能力层次高(如理解、 综合应用)的题目,其难度相对会高。

三、填空题 1、特点功能: ①考查的能力层次范围比较广,主要考核识记和
理解能力。 ②填空题要求考生把问题的最后答案或结论正确
无误地表达出来,在一定程度上是对考生的严谨、 严密、认真、细致的工作作风和科学态度的检查。
③评分简单,误差也相对要小。
④填空题只要求考生写出最后答案,而不必写出解题 的具体过程,因此,从试卷上看不出考生的推理、 分析等思考过程
▪ 因而可以通过控制题目考核的知识点及其能力层 次来达到控制试题难度。
(2)对试卷难度分布的控制 控制试卷难度分布是在控制试题难度的前提下进
行,它主要是通过控制不同难度题目的比例从而达 到所需的难度分布。
第三节 测验题目的区分度及其提高
一、区分度的定义 二、确定区分度的方法 三、区分度的相对性 四、区分度与难度的关系
2、填空题编制 ▪ 试题的空格处应考查有意义的关键性内容或
词语。 ▪ 每小题的空格数不宜过多,填写的字数也不
能太多。 ▪ 空格部分统一用下划线表示,长度应能满足
答题需要 ▪ 若空格处考核计算能力并要求填写数字,应
在空格后标明数字的单位
三、论述题与计算题 1、定义: ▪ 论述题指对某一问题或议题进行综合论述的题
二、难度的计算
2.极端分组法
❖ 当被试人数较多时,则可根据测验总成绩将被试分成三组: 总分最高的27%(25%、33%)被试者为高分组(NH), 总分最低的27%被试者为低分组(NL)。分别计算高分组 和低分组的通过率,以两组通过率的平均值作为每一题的 难度。其公式为:
P=(PH+PL) / 2 ❖ 式中P代表难度,PH和PL分别代表高分组和低分组通过率。 ❖ 例:370名被试参加考试,高分组和低分组各100名,高分
第一节 测验题目的类型、功能与编制
一、测验题目类型 ▪ 题目主要可分为客观题和主观题两大类。 ▪ 客观题一般有标准唯一的答案,被试的作答
只有与标准答案完全一致才视为答对,否则 视为答错。 ▪ 主观题无标准唯一答案,只有一个参考答案, 被试的作答与参考答案相近或基本一致就可 视为答对。
▪ 客观题主要包括选择题(含自陈式选择题)、填 空题、是非判断题、匹配题、行为情景判断题等。
组70人答对第一题,低分组40人答对此题,则此题难度为:
❖ P=(70/100+40/100)/2=(0.7+0.4)/2=0.55
二、难度的计算
(二)非二分法计分的项目
❖当测验项目是问答题或其他不能用二分法计分的 形式时,得分是一个连续变量。对于这类型题目, 一般用下面的公式计算难度:
P = X / Xmax ❖ 式 中 X 为 全 体 受 测 者 在 该 题 上 的 平 均 分 , Xmax 为
②问题情景应是现实生活中可能发生的,且有一 具体的问题需要受测者来解决,解决问题的行 为/方法不应是唯一的而是多样化的
③问题情景应尽量叙述完整,清晰,语言规范, 字数介于100-300
④一般是根据相关有丰富经验的专家来确定行 为项的优劣,然后将受测者的作答与专家的 评定进行比较,从而确定具体的计分方式及 评价标准
▪ 主观题主要包括名词解释、简答题、计算题、证 明题、论述题、案例分析题、作文题等。
▪ 单项选择题 ▪ 多项选择题 ▪ 自陈式选择题 ▪ 是非判断题 ▪ 名词解释题 ▪ 简答题
▪ 计算题 ▪ 证明题 ▪ 论述题 ▪ 案例分析题 ▪ 组合题 ▪ 行为情景判断题
二、选择题 1、定义:选择题指给出题干及备选项,要求被试
五、难度对测验的影响
1、难度对测验分数分布形态的影响 ▪ 当测验题目过难时,测验分数呈负偏态分布; ▪ 当测验题目过易时,测验分数呈正偏态分布; ▪ 当测验题目趋近中等难度,测验分数基本可呈正态
分布。
难度影响测验分数的分布形态 ❖难度大,正偏态
❖难度低,负偏态
▪ 2、难度对测验分数离散程度的影响 ▪ 测验过难或过易,会使测验分数相对地集中低分端
⑤论述题、计算题在评分过程具有一定的主观性。
⑥论述题、计算题的最大缺点是阅卷评分的工作 量比较大,对阅卷人员的要求比较高,阅卷工 作的费用较大。同时论述题、计算题评分误差 较难控制,在控制不好的情况下,评分误差可 能会很大。
四、行为情景判断题 1、定义: ▪ 行为情景判断题多见于心理测验中,它指给出一个
制在0.15为好。 (2)取决于测验的性质 ❖ 速度测验;难度不宜太高;每个项目应基本相等。 ❖ 难度测验;要适当;则要求难度值在0.5左右。 ❖ 无论是速度测验,还是难度测验,都应防止被试得满分。 (3)取决于测验的形式 ❖ 对于选择一)不同项目难度比较存在困难 ❖ 以通过率作为难度指标,是以顺序量表表示难度。 ❖ 例:三道题目难度为0.60、0.70、0.80,不能说第1题和第2题间
或高分端,这样被试的差异较小,即测验分数的离 散程度很小,只有当测验趋近中等难度时,测验分 数分布范围较广,离散程度就会大。
❖测验过难或过易,会使得测验分数相对集中在低分 端或者高分端,从而使得分数全距缩小。
❖ 根据信度公式rxx=1-σE2/σX2可知,分数分布范围越 广,测验信度较高,反之则信度值较低。
④选择题的命题技术要求较高,尤其是干扰项 的设置。
3、选择题编制 ①题干要描述清楚。应让答题者明白问题是什
么,希望答题者解决什么。 ②题干中应尽量避免出现与考核内容无关的材
料 ③设问应尽量正向,尽量少出现如“下面哪个
是不对的?”的设问
▪ 题干文字的字体应尽量一致,以减轻考生的阅读 负担
▪ 备选项应避免出现逻辑上的包含关系 ▪ 备选项的长度、结构、语言表达要尽量一致 ▪ 增加干扰项的迷惑性 ▪ 干扰项的设置应能反应考生缺乏特定的知识或技
相关主题