目录综合评估系统研究报告 (1)1研究总目标 (1)2研究成果 (1)3综合评估的数学模型 (1)3.1 综合评估模型运行流程 (1)3.2 基于统计数据的评估指标的分值转换模型 (3)3.2.1 评估指标的分值转换方法 (3)3.2.2 评估指标的分值转换方法的调整 (4)3.3 指标权重的逆向考量 (6)4基于AHP-PCA-BP神经网络综合评估模型 (7)4.1 基于层次分析（AHP）法的专家主观赋权法 (7)4.1.1 构造判断矩阵 (7)4.1.2 计算相对权重 (8)4.2 专家评级指标量化处理和二级指标评分归一化处理 (9)4.3 评估指标的主成分分析处理—构建评估系统的“综合”指标。

(10)4.3.1 主成分分析（PCA） (11)4.3.2 基于PCA的客观赋权法 (12)4.4 综合评估的BP神经网络模型 (13)4.4.1 BP神经网络 (13)4.4.2 神经网络的训练 (15)4.5 评估分数计算 (16)4.6 评估结果分类 (16)4.7 AHP-PCA-BP神经网络综合评估模型计算流程 (18)5基于AHP-PCA-BP神经网络评估模型的评估实例 (18)6小结 (22)综合评估系统研究报告1研究总目标旨在针对国防科技重点实验室的特点，构建适用于此特定对象的评估体系，以定性评估和定量评估相结合的手段，研究完整的适合于航天系统内科研院所，既有科学依据，评估结果又可为大众所接受的综合评估方法，并实现其评估系统开发。

2研究成果1．总结2010年度综合评估系统的运作情况，研究系统运行中的问题，构建了基于AHP-PCA-BP神经网络的综合评估模型。

2．发表论文《The Design and Development of National Key Laboratory Comprehensive Evaluation System Based On VC++》3．发表论文《一种基于PCA和BP神经网络的综合评估方法》3综合评估的数学模型3.1综合评估模型运行流程（1）按照指标体系的基本关系构成递阶层，指标体系的每层中各元素支配下一层中的相应元素，形成一个递阶层，同一层中各元素相互独立。

从而形成一个由一个总目标层和若干个子准则层组成的递进的“金字塔”型层次结构，如图-1。

最上层为“目标”，最底层为“指标”。

评估系统的指标体系如表1。

图 1 综合评估指标体系表 1 评估系统的指标体系（2） 确定评估对象的分值计算方法。

分别确定评估机构量化指标和专家投票指标的分值转化方法的分级打分模型。

评估对象的评分值由指标层的指标得分矩阵确定。

（3） 按评估对象的多层指标系统,将评估机构量化指标项（科研任务、科研成果、人才培养和学术交流）按给定的计算方法计算指标的加权分值和得分值,并根据给定的分级打分方法将得分值转化为评分矩阵。

（4） 结合专家打分指标部分得到评估对象的评分矩阵。

根据各指标给定的权重按目标得分计算方法，计算评估对象的135,,N N N 的值。

3.2 基于统计数据的评估指标的分值转换模型3.2.1 评估指标的分值转换方法 评估指标的分值转换方法如下（1） 根据课题数量、经费、科技奖励、专利、论文与专著、标准、人才培养项的记录的得分计算标准计算评估对象在这些指标项的加权分值。

（2） 按计算各项得分（3） ○1科研任务=课题数量+经费 ○2科研成果=科技奖励+专利+标准 计算科研任务、科技奖励、人才培养和学术交流得分 （4） 按如下的分级打分（表2）方法计算四项指标评分矩阵 表 2 分级打分表 13.5 12.75 12 11.25 10.5 9.75 13.512.751211.2510.59.754.5 4.25 4.0 3.75 3.5 3.255.45.14.84.54.23.93.9得到如下的评分矩阵：111715,115,7a a a a ⎛⎫ ⎪ ⎪ ⎪⎝⎭记N 为专家人数，其中ij a 为正整数，且满足：[0,]ij a N ∈，71ijj aN ==∑3.2.2 评估指标的分值转换方法的调整根据构建的指标评估模型和分值转换方法对本年度参评实验室做出初步评估。

然而评估的结果不尽人意，多数实验室的评估结果为不合格，显然这是不符合实际情况的。

分析评估过程数据，图2为科研成果指标2010年度参评实验室的分级情况。

图 2 科研成果指标2010年度参评实验室分级表显然，分级后各档次的实验室数量分布的严重不合理性，此外，科研任务、人才培养、学术交流指标有同样的问题，由此对分值转换方法做出如下调整。

指标得分 = (指标加权分*a + b) / (年度指标分最大值*a + b) 其中a,b 的值由二元一次方程组确定：*max*100avg a b Ea b +=⎧⎨+=⎩ 其中avg 表示年度指标加权分的平均分，max 表示年度实验室加权分的最大值，E 为一个大于0小于100的数，可根据数据实际分布情况动态调整。

取80E =得到科研成果参评实验室的新的分布情况，图-3为调整前后的分布对比。

可以看出调整后的各档次的实验室分布数量更趋合理。

且最终评估的结分布也合理。

按照一定的方法将实验室得分矩阵转换为分值得调整前后的各实验室评估分值如图4，图5。

图 3 分值转换方法调整前后实验室分级情况对比图 4 原分值转换方法实验室分值散点图图 5 分值转换方法调整后实验室分值分布散点图3.3指标权重的逆向考量按照综合评估系统构建的一般过程，指标权重的确定是在指标体系构建之后，且权重的确定方法有多种。

如可以由专家根据经验判断各评估指标相对于评估目的而言的相对重要程度，然后经过综合处理获得指标权重。

这类的处理方法考虑到专家主观的偏好和单项指标的熟悉程度，结合专家的主观赋值的层次分析（AHP）法、Delphi法等。

也有依据各被评对象指标属性值数列的离散程度确定各指标权重的客观赋权。

在确定指标权重的过程中，往往是结合定性与定量的方法。

在目前的评估系统中，指标的权重已定。

但确定指标权重的方法已不可考，指标权重确定是否合理科学也不得而知。

然而单一的权重确定方法不能为大众所接受且评估结果未免也有失偏颇，因此在评估工作的指标赋权中，采取主客观赋权相结合的方法，一方面指标权重反映了专家的经验知识，另一方面也反映了数据间的客观关系。

主客观赋权相结合的方法不失科学客观性并能为大众所接受。

4基于AHP-PCA-BP 神经网络综合评估模型4.1 基于层次分析（AHP ）法的专家主观赋权法在多指标综合评价中，一个指标对指标体系中其他所有指标影响的大小，是衡量该指标相对重要程度的尺度。

如果对其他指标影响较大的指标得到较快发展，则可以牵动其他指标得到相应的提高，从而促进整体的良性循环。

指标赋予相对较大的权属是理所当然的，影响权属就是据此而求得的衡量各指标相互影响大小的一种权值，它从另外一个侧面反映了综合评估中各指标的中途要程度。

美国著名运筹学家，匹兹堡大学教授Saaty 于上世纪70年代中期提出的层次分析法，可用于求得指标间的相对影响权数。

其本质上是一种决策思维方法。

AHP 把复杂的问题分解为各个组成因素，将这些因素按支配关系分组，形成有序的递阶层次结构，通过两两比较的方式确定层次中诸因素的相对重要性，然后综合人的判断，以决定决策诸因素的相对重要性的总的顺序。

AHP 法体现了决策思维的这些基本特征，即分解、判断、综合。

AHP 法实际上专家定性决策的一种量化方法，在实验室的评估中，各领域的专家对于评估指标都有较为深刻的认识和理解，因此专家的主观判断可以一定程度上反映出指标的重要程度。

在现有的评估指标体系下，设有某一级指标12,,,m X X X ，则AHP 法定权的步骤如下：4.1.1 构造判断矩阵构造如下矩阵111,1,m m m m a a A a a ⎛⎫⎪=⎪ ⎪⎝⎭其中ij a 表示i X 相对j X 的重要程度，矩阵的ij a 由评估机构邀请评估专家给出，ij a 的取值如表3：表 3 评判矩阵元素取值表 甲对乙的比 极重要很重要 重要略重要 相等略不重要不重要很不重要极不重要值975311/31/51/71/9取8、6、4、2、1/2、1/4、1/6和1/8为上述值的中间值。

4.1.2 计算相对权重进一步计算m 个元素12,,,m X X X 排序权重，并进行一致性检验。

对判断矩阵A ，计算特征值和特征向量max AW W λ=，所得到的W 经正规化后为元素12,,,m X X X 的权重。

一般用近似方法求max λ和W 。

（1） 计算判断矩阵各行元素的积i M ：1mi ij j M a ==∏（2） 求各行i M 的n次方根：i P = （3） 对i P 作归一化处理，即得到相应的权值为：/i i i w P P =∑（4） 对判断矩阵进行一致性检验。

判断矩阵具有一致性的条件是矩阵的最大特征根与矩阵阶数相等，据此可以建议一致性评价值为：max 1mCI m λ-=-其中，1()max mii iAW nw λ==∑，()i AW 表示AW 的第i 个元素。

最后求得随机一致性比率CR 值：/CR CI RI =式中RI 为随机一致性标准值（表4）。

当CR 值小于0.1时，一般认为矩阵具有满意的一致性；反之，CR 值大于0.1时，则认为矩阵不具有满意的一致性。

表 4 随机一致性表 维数1 2 3 4 5 6 7 8 9 RI 0.000.000.580.961.121.241.321.411.45当多个专家分别给定判断矩阵后，分别通过一致性检验，运用简单的算术平均法将专家意见综合平均，即可得到反映各评价指标相对重要程度的权值。

通过AHP 法处理，可以得到反映专家经验知识的指标权值。

4.2 专家评级指标量化处理和二级指标评分归一化处理现行的评估模型通过将各评估对象的评估得分转化为分档，再通过计算135,,N N N 评估得分以计算评估对象的得分和分类。

这种分档计算在实际运用中存在一定的问题，由于采用各指标的最高加权分作为标杆，在实际计算中出现多个评估对象某些评估指标分在第七档的情况，则这些指标不能被计入135,,N N N 。

而且，由于分档将原本连续的打分离散化了，抹除了评估对象评分的差异。

如二级指标科研任务，9分和1分同为七档，然而就得分本身而言还是存在很大差距的。

因此，AHP-PCA-BP 神经网络评估模型中将专家打分指标的分档数据量化。

量化的方法如下：设某定性指标的权重为w ，则量化后的得分71100**i ii f n s w N=⋅=∑其中i f 称为量化系数，它的值如下表 表 5 专家评级各档次量化系数 档次一档 二档 三档 四档 五档 六档 七档 i f1.00.90.750.60.450.30.15i n 为第i 档的得票数，N 为专家人数。