系统评价理论与方法
第五章 系统评价方法
卢亚丽
LOGO
系统评价
系统评价是系统分析过程中的一个重要环节,是系 统分析和决策活动的结合点,系统评价提供的结论 是决策者进行决策的基础和依据,系统评价在系统 应用研究中占有重要地位。 所谓系统评价可以理解为:根据明确的系统目标、 结构和系统属性,用有效的标准测出系统的性质和 状态的活动。 系统评价的目的是为了描述系统状态和方案效果。 有效的系统评价为决策者做出正确的决策提供科学 的依据。
指标。
(二) 评价指标的权重的确定
确定指标权重方法
主观定权法
专 家 评 分 法 成 对 比 较 法 模 糊 定 权 权 法 相 关 系 数 法 其 它 方 法
定权带有一定的主观性,用不同方法确定的权重分配,可能不尽一 致,这将导致权重分配的不确定性,最终可能导致评价结果的不确定 性。因而在实际工作中,不论用哪种方法确定权重分配,都应当依赖 于较为合理的专业解释。
3、 常用客观筛选指标方法
逐个指标进行假设检验的方法:是在掌握有关历史资 料基础上,依照可能的评价结果将评价对象分组,并 对各指标进行假设检验,挑选有统计意义的指标作为 评价指标。 多元回归与逐步回归法:多元回归分析挑选标准化偏 回归系数绝对值较大或偏回归系数假设检验有显著性 的指标作为评价指标;逐步回归有自动挑选主要影响 指标的功能,是目前最常用的指标挑选方法。
平均分 75.0 56.7 33.3 18.3
不考虑专家权威程度:权重分别是0.41,0.31,0.18,0.10
2、常用的客观定权方法
某些统计方法分析结果,可提供有关因素权重分配的客观 信息: 1) 多元回归分析及逐步回归分析中,各自变量的标准 化偏回归系数值以及由此而推算的贡献率; 2) 计数资料判别分析中的指数,计量资料判别分析中 各因子的贡献率; 3) 主成分分析中得到的因子载荷和贡献率。 某些特定的统计方法 例如某死因后期望寿命的增量、减 寿年数(Potential Years of Life Lost,PYLL)都可为各死因的 相对重要性提供有关权重分配的信息献率。
第一节 系统评价原理
一、系统评价要素 二、系统评价的程序与方法
三、 综合评价指标与权重的确定
四、系统评价的主要方法
一、系统评价要素
系统评价(评价→价值)
对系统方案满足系统目标程度的综合分析 及判定。 评价对象( What)指接受评价的事物、行 为或对象系统,如待开发的产品、待建设或建 设中的项目等。 评价主体(Who)是指评价对象系统价值大 小的个体或集体。 效用:某主体对某种利益和损失所独有的 感觉及反应。
任何评价都有其评价的目标和内容,这些目标 和内容的提出、问题的确定又都取决于总的评价思 想,评价思想的转变必然导致评价内容和方法的不 同,而环境的演变、社会和科学的发展又对评价思 想的确立起着巨大的推动或制约作用。
追求单一目标的思想 如武器系统早期的评价,关键是要求 可靠性 经济利益思想 在工程项目的决策中起重要作用 系统评价的思想 从政治、经济、社会、技术、自然和生态 环境 规划的思想 对工程建设等决策活动的事先评价越来越多 总的来说,系统评价的思想是利用控制论和系统的观 点对整体进行评价。
指标聚类法:在存在众多指标的情况下,可将相似指 标聚成类,再从每类中找一个典型指标作为代表,从 而用少量几个典型指标作为评价指标来代表原来众多 的指标建立评价模型。
4、
指标筛选建议
在实际工作中,往往综合使用多种方法进行 指标筛选,在获得较为满意的专业解释的基
础上,优先考虑那些被多种方法同时选入的
评价目的(Why) 评价时期(When)
期初评价、期中评价、期末评价、跟踪评价
评价地点(Where)
评价方法(How)
系统评价是多方面要素(5W1H)所构成的问 题复合体。
二、程序和方法
认识 评价 问题 (5W 1H) 搜集、 整理、 分析 资料 方案 准则 选择评 价方法 、建立 评价模 型
主体
分 析 、计算 评价 值
综合
评价
决
策
三、 综合评价指标及权重的确定
据专业知识,选择5个指标 ① 心率② 呼吸③肌张力 ④反射 ⑤皮肤颜色
选择指标
5个指标具有相等权重
确定权重
确 定 指 标 评 价 等 级 及 界 限
研 制 新 生 儿 缺 氧 状 况 的
研 究 目 的
Apgar 评 分 方 法
以累加法累计总分:8~10分为正常;4~7 分为轻度缺氧;0~3分为重度缺氧。
缺点:主要表现在易受心理因素的影响,如屈从于权威和大多数 人的意见,受劝说性意见的影响,不愿公开修正已发表的意见等等。
评价对象 1 指标A 100 指标B 50 指标C 30 指标D 10
2 70 40 40 20
3 80 60 50 30
4 60 70 30 10
5 90 80 20 30
6 50 40 30 10
建立模型
(一)评价指标的确定 1、 评价指标的基本要求
① 代表性:各层次指标能最 好地表达所代表的层次。
基 本 要 求
② 确定性:指指标值确定, 其高低在评价中有确切含义。 ③ 区别能力/ 灵敏性:即指标 值有一定的波动范围,而且其 高低在评价中有确切的含义。 ④ 独立性:即选入的指标各 有所用,相互不能替代。
选 择 综 合 评 价 指 标
2 、系统分析法及文献资料分析优选法筛选 指标
缺乏 有关 历史 资料, 或指 标难 以数 量化 时
系统分析法(systematic analysis method): 是一种常用的凭经验挑选指标的方法, 首先将所有备选指标按系统(或属性、 类别)划分,再通过座谈或填调查表的 方法获得对各指标的专家评分,确定主 次,再从各系统内挑选主要的指标作为 评价指标。 文献资料分析优选法:即全面查阅有关 评价指标设置的文献资料,分析各指标 的优缺点并加以取舍。
1、专家评分法评分方式
1)专家个人判断 即分别征求专家个人意见,在专家各自单独给评价指 标的相对重要性打分的基础上,进行统计处理,以确定各指标的权重。 优点:专家打分时不受外界影响,没有心理压力,可以最大限度 地发挥个人创造能力。 缺点:仅凭个人判断,易受专家知识深度与广度的影响,难免带 有片面性。 2)专家会议 即召开所有被挑选专家,以集体讨论的方式进行评分, 然后再以统计手段确定各指标的权重。 优点:可以交换意见,相互启发,弥补个人之不足。