第六章 心理测验的编制
(三)完善阶段:测验标准化与性能评估
1、测验标准化 测验的标准化是指测验的编制、实施、评分 以及分数解释都有统一的标准,以减少无关因素 对测验的影响。 (1)测验内容 指测验内容对所有被试都一样。 (2)施测过程 测验情景 指导语 时限
(3)测验评分 为使评分尽可能客观,有三点要求: 对被试反应的及时和清楚的记录。特别是对口试和操作测验。 要有一张标准答案或正确反应的表格,即计分键。
心理测量学
四、行为情景判断题 1、定义: 行为情景判断题多见于心理测验中, 它指给出一个日常生活中或工作中的具 体情景,并针对该情景提供若干解决这 一情景下具体问题的行为选项,并要求 受测者进行选择/评价的题型。
心理测量学
2、特点功能: ①与一般认知能力有较强的相关,平均 达0. 54 ②跟大五人格因素的多项因素有中度以 上的相关,如跟责任心的相关为0. 26 , 跟情绪稳定性的相关为0. 32 ,跟宜人 性的相关为0. 25
心理测量学
3、选择题编制 题干要描述清楚。应让答题者明白问 题是什么,希望答题者解决什么 题干中应尽量避免出现与考核内容无 关的材料 设问应尽量正向,尽量少出现如“下 面哪个是不对的?”的设问
心理测量学
题干文字的字体应尽量一致(,以减轻 考生的阅读负担 备选项应避免出现逻辑上的包含关系 备选项的长度、结构、语言表达要尽量 一致 增加干扰项的迷惑性 干扰项的设置应能反应考生缺乏特定的 知识或技能
心理测量学
二、选择题
1、定义:选择题指给出题干及备选项,要 求被试根据题干从备选项中选出正确选项的 题目。单项选择题指只有唯一正确选项的选 择题。 2、特点功能: ①评分标准明确,评分客观,有利于减少评 分带来的评分误差。 ②有利于对基础知识和基本技能进行考查。
心理测量学
③选择题适合考查较低层次的能力,如 识记能力、较低的理解能力等,而不宜 考查较高层次的能力,如综合能力、创 造性和独立思维能力。 ④选择题的命题技术要求较高,尤其是 干扰项的设置。
第六章测验题目的性能与题目编制
第 二 节
测验题目难度与测验分布控制
心理测量学
第二节
一、难度定义及其计算方法 (一)难度定义 难度是指题目的难易程度。如果一个 题目绝大多数人都答对了,则这个题目 比较容易;反之,若绝大多数人都答错 了,则这个题目比较难。从难度定义可 以看到,难度是题目性质与作答者群体 水平共同作用的结果。
心理测量学
PHi PLi Pi 2
(2)项目选择与编排 项目选择 质的分析:内容取样、题目的思想性、表达是否清楚 量的分析:难度、区分度、备选项分析 测验项目的编排 直接递增式 并列直进式 混合螺旋式
(3)编制复本 各份复本必须等值。等值要符合下列条件: 各份测验测量的是同一种心理特性。 各份测验具有相同的内容和形式。 各份测验的题目不应重复。 各份测验题目数量相等,难度和区分度大体相同。 各份测验的分数分布(平均数和标准差)大致相等。 复本编好后,应再测一次,以确保各份测验的等值。
0 8
12
8 100
(二)正式编制阶段:产生测题与合成测验
(二)正式编制阶段:产生测题与合成测验
1、产生测题 (一)收集测验资料 (1)资料要丰富 (2)资料要有普遍性
(3)资料要有趣味性
(2)选择项目形式
纸笔测验还是操作测验?是客观题还是主观题?
• 概念和原理的记忆——简答题 • 辨别和判断——选择题 • 综合运用——论文题 • 幼儿——口头测验
第四章测验题目的性能与题目编制
第 一 节
测验题目的类型功能与编制
心理测量学
第一节
一、测验题目类型
题目主要可分为客观题和主观题两大类。 客观题一般有标准唯一的答案,被试的作答只 有与标准答案完全一致才视为答对,否则视为 答错。 主观题无标准唯一答案,只有一个参考答案, 被试的作答与参考答案相近或基本一致就可视 为答对。
心理测量学
③问题情景应尽量叙述完整,清晰,语 言规范,字数介于100-300 ④一般是根据相关有丰富经验的专家来 确定行为项的优劣,然后将受测者的作 答与专家的评定进行比较,从而确定具 体的计分方式及评价标准
心理测量学
⑤行为情景判断题设问方式一般有四种 形式:一是要求受测者选择最优行为项, 二是要求受测者选择最差行为项,三是 要求受测者同时选择最优和最差行为项, 四是要求受测者针对每一行为项的有效 性做出评价。应根据实际选择具体方式。
例:小学自然常识测验编题计划
知识 生物世界 资源利用 3 2 理解 5 3 应用 6 3 分析 3 1 综合 2 1 评价 1 0 合计 20 10
动力与机械
物质与能量 气象
2
5 2
3
6 4
4
8 3
2
3 2
0
13
宇宙
地球 合计
2
2 18
5
2 28
4
2 30
1
1 13
0
1 8
0
心理测量学
难度这一概念更多地用于能力测验中, 在非能力测验(如人格测验)中,一般 称为“通俗性”(popularity level),即取自相同总体的样本中, 在答案方向上回答该题的人数比。
心理测量学
(二)难度计算方法 1、得分率法 得分率指所有被试在题目上的平均得 分占题目满分的百分比。计算公式为
心理测量学
2、填空题编制 试题的空格处应考查有意义的关键性内容或 词语。 每小题的空格数不宜过多,填写的字数也不 能太多。 空格部分统一用下划线表示,长度应能满足 答题需要 若空格处考核计算能力并要求填写数字,应 在空格后标明数字的单位
心理测量学
三、论述题与计算题 1、定义: 论述题指对某一问题或议题进行综 合论述的题目。它用于考查被试分析、 综合、评价直至创新、创造等高层次 能力。
二、心理测验编制的主要原则
(一)心理测验编制的基本原则 信度好 效度高 难度适中 区分度强
(二)心理测验编制的具体要求 1.针对题目内容的要求 (1)试题要符合测验的目的。 (2)内容取样要有代表性。 (3)各个题目必须彼此独立,不可互相牵连,不 要使一个题目的回答影响另一个题目的回答。 2. 针对题目语言的要求 (1)文句要简明扼要,既排除与解题无关的因素 ,又不可遗漏解题所依据的必要条件。要避免 使用艰深的字词。 (2)一个概念一句话。 (3)意义明确肯定,避免使用双重否定句。
心理测量学
③跟所测领域个人的工作经验、工作年 限有统计显著意义的相关。 ④有些情景判断测验作探索性因素分析, 可提取出一个大的一般因素,这时测验的 内部一致性系数可为0. 86 ⑤对员工的工作绩效有较好的预测力, 平均效度系数为0. 36
心理测量学
3、行为情景判断题编制 ①题目编制前应先确定所测特质的结 构,然后在这一所测特质结构下征集或 编写问题情景及行为反应项 ②问题情景应是现实生活中可能发生 的,且有一具体的问题需要受测者来解 决,解决问题的行为/方法不应是唯一 的而是多样化的
Xi P i Ti
心理测量学
Xi P i Ti
心理测量学
2、极端分组法 极端分组法是指将被试按测验总分分 为高分组和低分组,以两组得分率的平 均值作为题目的难度。 极端分组法中,首先需对被试进行分 组,根据被试的试卷总得分进行排序, 各取首尾的27%(或25%、33%), 组成高分组和低分组。
三、心理测验编制的具体技术
3.针对题目表达的要求 (1)题目中不可含有暗示本题或其他题正确答案的 线索。 (2)所提问题应避免涉及社会禁忌与个人隐私。 (3)避免使用主观情绪化字句和问题 4.针对题目理解的要求 (1)应有不致引起争论的确定答案(创造力测验、 人格测验除外)。 (2)题目格式不要使被试产生误解。 (3)题目内容不要超出受测团体的知识和能力。
• 文盲、半文盲、聋哑——操作测验
• 人多、经费有限——团体测验 • 人少——个体测验
(3)编写测验项目 题目范围要与双向细目表一致; 题目数量要比最终所需要的数量多,以便筛选或编制复本; 题目的难度应有一定的分布范围;
用词力求清楚明白。
2、合成测验 (1)试测与复核 应取自将来正式测验准备应用的群体 施测过程与施测情景 时限可稍宽一些 记录被试的各种反应。
心理测量学
测验题目性能与题目编制
1 2 3 4 5 6
测验题目类型、功能与题目编制
测验题目的难度与难度分布控制
测验题目的区分度与区分度的提高
测验题目的猜测度与猜测控制
选择题的选项分析与选项修改
题目功能差异与测量偏差控制
第六章 心理测验的编制
第一节 心理测验编制的基本程序与原则 一、心理测验编制的一般程序 准备阶段
心理测量学
三、填空题 1、特点功能: ①考查的能力层次范围比较广,主要 考核识记和理解能力。 ②填空题要求考生把问题的最后答案 或结论正确无误地表达出来,在一定程 度上是对考生的严谨、严密、认真、细 致的工作作风和科学态度的检查。
心理测量学
③评分简单,误差也相对要小。 ④填空题只要求考生写出最后答案,而 不必写出解题的具体过程,因此,从试 卷上看不出考生的推理、分析等思考过 程
④论述题和计算题可以根据试题相应情 境进行不同层次、不同角度的设问,如 可以是单问,可以是多问,也可以是分 步设问,使试题的考查目标比较明确。
心理测量学
⑤论述题、计算题在评分过程具有一 定的主观性。 ⑥论述题、计算题的最大缺点是阅卷 评分的工作量比较大,对阅卷人员的要 求比较高,阅卷工作的费用较大。同时 论述题、计算题评分误差较难控制,在 控制不好的情况下,评分误差可能会很 大。
心理测量学
②论述题和计算题不仅能够考查考生较 低层次的能力目标,而且能够比较好地 考查较高层次的能力目标。
心理测量学
③论述题和计算题能够反映考生的思 维过程,因而能比较有效地考查考生接 受信息、鉴别和选择信息的能力,分析、 推理、综合应用知识的能力,能鉴别出 考生对问题解决的程度。