测评标准体系
• • • • •
常模的类型 常模有两种方法描述: 发展性常模——个体已经达到的发展水平 智龄、年级当量、顺序量表、发展商数 组内常模——个体在某一特殊团体中的相对 位置 • 百分位常模、标准量表(标准分数、T分数、 离差智商)
测评指标的构成
• 素质测评指标 = 测评要素 + 测评标志 + 测评 标度 • 测评要素 = 测评对象的基本单位,测评内容 的细化条目 • 测评标志 = 提示测评要素的关键可辨特征 • 测评标度 = 测评要素或要素标志的程度差异 与状态的顺序和刻度 (可数量、可语言,可 精确、可模糊)
• 在教学或培训情境当中,这一计分和解释方法非常 有效,因为这些情境中,关注的是成绩的水平,而 不是使用有时看来具有竞争性或比较性的评价成绩 的标准。例如:大学四六级考试、自学考试、 TOEFL、GRE、驾照考试等。
• 常模
• 常模的概念 • 常模指标准化样本的测量情况。一般把用作比较 的团体叫做常模团体,常模团体的一般平均分数叫 做常模。 • 常模的选择 • 例如:要为某种测验建立18岁的常模,最可靠的 方法是将具有这一测量对象(心理特征)的18岁个 体个个加以测量。但是由于时间、人数、经济的限 制,这是不可能做到的,所以通常只能抽取具有这 个研究特征的人群总体的一部分以代表总体,这个 代表总体的样本通常被称作标准化样组。
• 文献查阅法 • 从已有的职业目录中找出相对应的职业信息
调查访谈法
• 专题访谈法 • 通过面对面谈话等口头信息沟通渠道直接获 取有关专题信息。 • 个体访谈 • 群体访谈
• 问卷调查法 • 开放式问卷 • 封闭式问卷,是非法,选择法,等级排列法 ,计分法
• 胜任特征法 • 绩效优异者,绩效普通者,两者对比
• 合理量化的原则 • 测评指标体系中各个指标尽可能数量化,使 每个要素的评判都易于操作和客观化。 • 完备性原则 • 处于同一标准体系中的各种标准相互配合, 以尽可能少的指标全面的反映工作岗位所需 具备的素质等主要特征。
测评标准体系设计的基本程序
指标内容的设计 归类合并与筛选 量化 试用 修改
检验
测评标准体系构建的基本方法
• • • • • • • • 工作分析法 调查访谈法 理论推导法 典型分析法 培训目标分析法 历史概括法 文献查阅法 覆盖筛选法
工作分析法
• 工作分析的定义 1)工作应承担的职责是什么? 2)承担该工作需要的任职资格是什么?
• 观察法 • 适用:工作过程和工作结果容易观察的工作 。比如标准化、周期短并且以体力活动为主 的工ห้องสมุดไป่ตู้。 • 缺点:不适用智力为主的活动,不适用周期 长,非标准化的工作。不适用户外工作。不 适用中高级管理人员的工作。 • 霍桑效应
测评要素
• 测评要素是指测评内容的细化条目,确定测 评内容到底有哪些。 • 确立测评指标的第一步就是制定测评要素, 根据测评对象(如管理者,销售者人员)的 分析结果拟定出测评要素。 • 分析测评对象是设计测评指标内容的基础。
测评标志
• 测评标志是为每一个测评要素确立的关键性 考核标准,要求必须具有可辨别、易操作的 特征,通常一个测评要素要由多个测评标志 来说明。 • (1)从表达的内涵来看,有客观式、主观式 和半客观半主观式三种。例如: a)客观式:打字数量、完成特定任务所需时间 、耗氧量 b)主观式:工作难度、重要性、喜欢程度 c)半客观半主观:能力测验分数、抽样调查数 据、实验中确定的平均工作时间等
(3)决策能力:分析问题能力;逻辑判断能力 ;创新能力;直觉判断能力;决断的勇气。 (4)组织指挥能力:善于人事协调;善于人财 物的综合协调;善于国家、个人、集体三者 利益的协调;善于统筹兼顾协调当前与未来 发展;善于以点带面。 (5)联系群众:自知、知人、客观公平。 (6)沉着老练:胸怀开朗;戒骄戒躁;诚恳坦 率;实事求是。 (7)善于合作:精于授权;尊重他人 (8)勇于负责:敢于冒险;敢于求新;善于应 变。
• 定义式标度
标准
• 指测评体系的内在规定性,常常表现为各种 素质规范化行为特征或表征的描述与规定。 • 客观形式 • 主观评价 • 半客观半主观评价
测评标准体系构建的基本原则
• 针对性原则 • 针对某一具体岗位或职位类别设计合理的测 评要素体系。 • 不平等原则 • 进入测评要素体系的各种要素,它们对测评 结果的贡献大小是不一样的。贡献率可用要 素的权重来表示。
②设问(问题)提示式:以具体的问题来 提示主试注意某个测评要素的特征。
• 例如:“语言表达能力”指标下的要素“叙 述流畅性”,它的测评标志就可以设为这样 一组短句: • “少有不当间断的情形,且持续时间在1分钟 以内; • 偶有不当间断的情形,但持续时间有1分钟以 上; • 常有不当间断的情形,且持续时间有1分钟以 上; • 多次出现不当间断的情形,且持续时间较长
• 简练性原则 • 测评指标的设计应尽量简单,只要能达到既 定目的并获得所需要的功能信息就行。 • 明确性原则 • 测评指标应分解成最小的单位,尽量避免综 合性太强的指标。
• 独立性原则 • 设立的评价标准在同一层次上应该相互独立 ,没有交叉。 • 可操作性原则 • 设计出来的所有要素都应该是有工具能够进 行客观测量和评价的,并且尽量量化。
• 关键事件访谈法 • 通过对实际工作中特别有效或无效的工作者 行为的简短描述来调查分析工作的素质要求 。
• • • •
• • •
•
问卷法 书面形式 职位定向问卷:强调工作本身 人员定向问卷:了解工作人员的工作行为和任职资格等方面 的内容 形式:开放式问卷(主观);封闭式问卷(结构性问卷) 问卷设计的注意点:明确、简洁、根据目的 加以调整 问卷法优点:面面俱到,短时间内收到尽可能多的信息。规 范化、数量化,便于统计分析。低成本,容易被接受。 不足:有局限性,难以深入了解。设计质量难以保证,取决 于问卷设计者的水平;同时对任职人员知识文化水平要求较 高。无法面对面交流,了解不到深层次的信息。
• 测评目标:测评标准体系的主体 • 素质测评中直接指向的内容点,具有相对性 和转换性。 例:品德(内容)——纪律性(目标) 知识因素——语文、算术与一般常识等 • 测评目标的确定主要依据测评的目的与工作 职位的要求。 • 问题:高层管理人员和基层管理人员“管理 能力”的测评目标相同吗?
• 测评项目 • 对素质测评目标的具体规定,如英语指听说 读写四个方面。
• 理论推导法 • 从素质结构的本身来分析,确定素质测评的 内容,目标与指标。 • 心理学,生理学,社会学等相关学科。 • 与岗位相关的专业理论。
• 典型分析法 • 典型中的关键特征与特征中的关键要素。 • 步骤:确定目的与对象——选择典型样例— —分析样例的关键特征——找出特征的关键 要素
• 培训目标分析法 • 从一些上岗培训目标中来搜寻有关的测评要 素。 • 如:从某一培训大纲中,我们找到以下一些 可用作选拔领导者参考的测评要素。 (1)政治素质:对党忠诚;具有为事业献身精 神;团结同志;品德高尚;诚实正直;襟怀 担白;奉公守法;大公无私;以身作则;言 行一致。 (2)知识素质:政治法律知识;经济管理与经 济学知识;工程技术知识;心理学知识;社 会学与教育学知识等。
• 测评标准体系的横向结构 1)结构性要素(身体素质,心理素质) 2)行为环境要素 3)工作绩效要素
• 测评标准体系的纵向结构 1)测评内容 2)测评目标 3)测评项目 4)测评指标
• 测评内容就是测评的具体对象与范围,相对 性。以测评目的与所测评的客体的特点为依 据。测评内容是测评标准体系的基础。如, 德,才,知识广度,手指灵活度及反应快慢 等。 • 确定测评内容的步骤: 分析被测评对象的结构找到值得 测评的因素筛选确定
3.数量式标度 这种标度是以分数来揭示考评标志水平变化 的一种刻度。它有离散点标式与连续区间型 两种。
• 连续区间标度示例
4.符号式标度 • 这种标度一般是以一种简便的符号来提示考 评标志的状态变化或水平变化情形。例如 “○”、“△”、“×”分别表示“上”、“ 中”、“下”三种水平;用“×”与“√”表 示“是”、“否”。这种作用是既能避免差 异刺激的负面影响又直观形象,且不受语种 差异影响。
职业道德测评指标设计范例
• ③方向指示式:只规定了测评要素特征应考 察哪些主要方面,并没有具体规定测评的标 志与标度,让测评者在大方向已知的情况下 自己去把握细微的操作。 优点:指标确立迅速、方便; 缺点:很难避免测评者不同的主观判断标准 造成的差异。 例:业务经验测评指标设计范例
• (2)按测评指标的操作方式来划分,则有测定式和 评定式两种。 • 测定式:其标志中规定的内容是利用各种测评工具 或测量仪器、仪表直接测出或计量出来的,并根据 有关标准可以直接确定测评标度的。例如:岗位测 评中的体力劳动强度、有效工时利用率、人员测评 中的产品数量、产值等。 • 评定式:是指目前无法用仪器、仪表与测量工具测 出或计量出有关标志的精确数据,只能根据现场观 察、了解和对有关资料的分析,由评定人员根据有 关标准直接评定出结果的标志。例如:岗位测评中 的劳动责任、工作难度等指标中的标志,人员测评 中的品德素质指标中的标志等。
• (2)从测评标志表述的形式来看,则有评语 短句式、问题提示式、方向指示式三种。 • ①评语短句式:用对测评要素的简短判断与 评论的短句来作为测评标志,多为动宾词组 或动补词组,有的还加入具体的量词。 • 例如:“语言表达能力”指标下的要素“用 词准确性”的测评标志: • 没有用词不当的情形 • 偶尔用词不当的情形 • 多次出现用词不当的情形
测评标准体系的形式
1. 效标参照型标准体系(相对标准) 2. 常模参照型标准体系(绝对标准)
• 校标
• 效标的概念: • 用来衡量测验是否达到要求,是否通过、是否成功 的外在标准。通常是指我们所要预测的行为。 • 它关心的是被测者是否达到了某种标准或效标,这 种标准是外在的,与被测者所在群体无关。 •