第三章 测评标准体系的建构
指标 品性素质 知识素质 能力素质 技能素质
身体素质 总 分
3 2 3
4 12 0.3
3 1 2
3 7 0.175
2 1
1 0 1
3
4 12 0.3 3 7 0.175
2 0.05
权重 wi
第二节 素质测评指标及其构成
一、素质测评指标体系
素质测评指标是受测者素质特征状态的一种 表现形式,单个的素质测评指标反映考评对象某 一方面的特征状态; 素质测评指标体系就是由反映考评对象各个 方面特征状态的指标所构成的有机整体或集合。
德尔斐法过程
根据决策目标组织专门小组 拟定调查提纲设计调查表
特点: 匿名性 轮番征询 统计性
向专家函询
回收意见整理 轮番征询意见 整理结果,提出报告
• 优点:避免了权威、职称、职务、口 才以及人数优势对确定权重的干扰,集中 了大多数人的正确意见。
• 缺点:是由于最后不再考虑少数人的 意见,容易失去一部分信息,同时也缺乏 科学的检验手段。
水平标度 清楚 周密 连贯 一般 一般 一般 混乱 不周密 不连贯
测评标志
1、回答问题层次是 逻辑 否清楚 思维 2、论述问题是否周 能力 密 3、论点、论据照应 是否连贯
表4—2
测评 要素 感召 力 测评标志
感召力考评指标
状态标度
A精通 B善于 C尚可 D一般 E很差 A精通 B善于 C尚可 D一般 E很差 A精通 B善于 C尚可 D一般 E很差
一、测评指标确立的原则
• 独立性原则
– 设立的指标在同一层次上应相互独立,没有交叉。
• 完备性原则
– 设立的测评指标体系在总体上要能全面地反映测评对 象的主要特征,即少而精、少而全。
• 结构性原则
– 即要求所设立的测评指标体系在总体上要有条件、过 程与结果三个方面的指标,防止“短期行为”。
二、确定考评要素的基本方法
5~4.5分 4.4~4分 3.9~3.5分 3.4~3分 3分
协作 性
合作 无间
肯合作
尚能 合作
偶尔 合作
我行 我素
(三)测评标度的形式
4.定义式标度
测评要素 序 号 1 2 3 4 要素描述 次废品率 作业快慢 爱惜设备 成绩如何 A 基本无 能完成 能爱惜 基本达标 三级标度定义 B 很少有 有时能 能注意 靠近目标 C 很多次 较慢 会乱来 差远了 测评 结果
第三章
测评标准体系的建构
Chapter3 Building an assessment standardization system
第一节 确定测评指标权重 第二节 素质测评指标及其构成 第三节 测评标准体系构建的步骤
第一节
确定测评指标权重
权重,即测评指标在测评体系中的重要 性或测评指标在总分中所应占的比重。
2、封闭式问卷
封闭式问卷意味着有标准的答题方式。一般
包括是非法、选择法、等级排列法等。
(1)是非法 例如,教师需要有很强的口头表达能力吗? 是□ 否□
即纵向加权与横向加权同时进行,其目的是使不同的 测评客体在不同的测评指标上的得分可以相互比较。
二、加权的方法:
1.主观加权法 所谓主观加权法,即加权者依据自己的 经验权衡每个测评指标的轻重直接加权。
2.德尔斐法(又称专家咨询法)
德尔斐法是美国兰德公司于1964年首 先用于技术预测的。它是请专家“背靠背” 反复填写对权重设立的意见,不断反馈信 息以期专家意见趋于一致,得出一个较为 合理的权重分配方案。
二、确定考评要素的基本方法
三、测评标准体系建构的步骤
一、测评指标确立的原则
• 与测评对象同质原则
– 测评指标与标志特征同所测评的对象特征相一致。
• 可测性原则
– 设立的指标应可以辨别、可以比较、可以测评。
如:“工作经验”本身难以测评,但把它表征为“工作 实际年限”时,就能直接测评。
• 普遍性原则
– 即设立的指标从内容到形式,要能适合所有的测评对象, 有足够的代表性。
二、测评指标的构成
人员素质测评指标是对人事测评对象素质特征 状态的一种表现形式。
测评指标 = 测评要素 + 测评标志+ 测评标度
测评要素 = 测评对象的基本单位 测评标志 = 揭示测评要素的关键可辨特征
测评标度 = 测评要素或要素标志的程度差异与状 态的顺序和刻度
表4—1
测评 要素
逻辑思维能力考评指标
2
ij
1/2
1/7
1/7
1
a
i 1
n
11
10
2.7 2.7 17.5
4、对偶比较法
层次分析法有一种变形称为对偶比较法,它 根据以下规定来分配权重: 设A与B是被比较的两个指标, •若A比B重要得多,则将A记为4分,B记为0分; •若A较B略重要, 则将A记为3分,B记为1分; •若A与B同等重要,则将A记为2分,B记为2分。 注意:给A记的分要记在A的列上,区别于层次分 析法
一、加权的基本形式
二、加权的方法
一、加权的三种基本形式
1.纵向加权
即对不同的测评指标给予不同的权数值。其目的是使 不同的测评指标的得分可以进行纵向比较,或者说使各测 评指标的分数计量单位相等。
2.横向加权
即给每个指标分配不同等级分数。其目的是使不同的 测评客体在同一测评指标上的得分可以比较。
3.综合加权
(一)个案研究法 (二)专题访谈法 (三)问卷调查法 (四)经验总结法
(五)工作分析法
二、确定考评要素的基本方法
(一)个案研究法
对某一个体、群体或某一组织在较长时间里 连续进行调查研究,期望从典型个案中推导普遍 规律的研究方法称为个案法。
1、典型人物或(事件)研究 2、资料研究
优点:个案是现实生活中的典型,它真 实、可信,所以由此产生的要素既有针对 性,又有较为全面的整体构思。
(二)测评标志的形式
1.评语短句式 2.设问提示式
3.方向指示式
(二)测评标志的形式
1.评语短句式
它是一种对所考评的要素,作出优劣、好坏、 是非、大小、高低等判断与评论的句子。
测评要素: 用词准确性
测评标志:没有用词不当的情形;偶有用词不 当的情形;多次出现用词不当的情形
2.设问提示式
以问题形式提示考评者把握考评要素的特征 表4—3 协调性测评指标
(5)
( 5) ( 2)
人际交往 (10)
知识(18)
营销知识
市场知识 沟通协商
(6)
( 6) ( 7)
计算机知识(4)
能力(30)
洞察力
应变力 创造力
(7)
( 7) ( 2) ( 7)
自我管理能力
技能(17)
营销技术
外貌
(10)
( 2) ( 1) ( 2)
计算机操作技能(7)
海 尔 电 脑 销 售 见人 教 材员 测 评 指 标 体 系
优点:专题访谈法简单、易行、研究内容集 中,便于迅速取得第一手材料等,因而在实践中 广泛运用。 缺点:专题访谈法谈话无统一规范,容易使 信息的获取与加工都要受到研究者个人条件的影 响。
(三)问卷调查法
问卷调查法是指运用内容明确、表达正确的问 卷量表,让被调查者根据个人的知识与经验,自 行选择答案的研究方法。 问卷形式按答案的标准化程度可以分为开放式 问卷和封闭式问卷两种。
缺点:研究周期长,研究结果具有描述 性,容易受研究者的经验、知识、能力等 个人因素的影响。
(二)专题访谈法
研究者通过面对面的谈话,用口头信息沟通的途径直 接获取有关专题信息的研究方法。专题访谈法有个别访谈 法和群体访谈法两种。
专题访谈的交谈内容主要围绕下述三个问题展开:
(1)你认为具备什么条件的人最适合担任××职务? (2)××职务的工作的主要特点是什么? (3)××职务的工作成效检验的主要指标是什么?
绝对重要
明显重要程度可以断言为最高
以上两相邻程度 需要折衷时采用 中间值
3、层次分析法
1 Wi n
(a / a
j 1 ij i 1
n
n
ij
)
Wi:该项典型指标的权重; n: 标准体系中指标的个数; i: 行号; j: 列号; aij: 相对重要性等级
两两比较矩阵计分方法
• A 与B相比,若认为B比A 略为重要,则在 B 行A 列交叉处给B记3,在A 行B列交叉处给A记பைடு நூலகம்/3; • A 与C相比,若认为C比A确实重要,则在C行A 列交叉处给C记7,在A 行C列交叉处给A记1/7; • …… • 如此类推,直到全部比较完为止
5
6 7 8
合作共事
缺勤情况 热心工作 敬业精神
乐于帮忙
很少发生 干得出色 工作踏实
能帮则帮
不算多 不感兴趣 说得过去
帮不了
经常出现 讨厌 马马虎虎
(三)测评标度的形式
5.综合式标度。 综合式标度一般是综合上述两种或多种 标度形式来揭示测评标志不同状态与水平
变化的情况。
第三节
测评标准体系的建构
一、测评指标确立的原则
身体(5)
健康 体质
斯塔相对重要性等级表
相对重要 程度
1 3 5 7 定 同等重要 略为重要 义 说 明
两者对所属测评目标贡献相等 据经验一个比另一个测评结果 稍为重要
基本重要或高度 据经验一个比另一个测评结果 重要 更为重要 确实重要 一个比另一个测评结果更为重 要,其优势已为实践证明
9
2, 4, 6, 8
例,有A,B,C,D,E 5个指标,根据斯塔相对重 要性等级表,将测评指标两两比较,写成矩阵形式:
指标 权重 指标
A 1 2 3 3
B 1/2 1 4 4