教育信息化绩效评价模型的制定在评价中,不同的评价方法将对评价结果有着不同的影响。
根据教育信息化涉及的指标多且难以统一量化的特点,采用的是多指标综合评价法,各个三级指标都用相应的量纲来给出评价值。
制定出的教育信息化绩效评价模型,很难同时用来比较不同省份学校的教育信息化建设水平。
评价指标可以相同或相近,但权重不一样,因为指标的量纲不一样。
标签:教育信息化;绩效;评价;模型评价模型是整个评价体系的主体部分,而评价的基本思路、评价方法、评价指标及权重则是评价模型最核心的要素。
一、评价的基本思路在选择评价方法之前,先要确定评价目的及评价依据。
(一)教育信息化绩效评价的目的本文所研究和建立的模型是用来衡量广东省以文科类为主的民办高等学校的教育信息化发展水平。
随着服务对象不同,看问题的角度不同。
本文建立的模型可用于以下服务对象:1.政府。
将模型提供给政府,目的是使政府更清楚地了解广东省民办高等学校信息化的现状和需求,争取让政府从经济上、政策上对民办高校教育信息化建设提供更大的支持。
2.学校。
将模型提供给学校,目的是让各个民办高校有关领导和部门用来评价自己学校的信息化水平,找出差距及制定发展规划和改进措施。
3.社会。
将模型用于社会,为社会各界人士提供一个更方便、更准确地了解广东省民办高校信息化水平。
4.研究者。
将模型提供给研究者,可以促进研究者更深入地开展民办高校信息化研究工作。
(二)教育信息化绩效评价的依据1.要考虑我国教育信息化发展的实际情况,目前,我国在教育信息化发展还很不平衡,总体水平还需进一步提高。
2.要借鉴国内外已成熟的同类评价模型。
如《国家信息化指标构成方案》、《浙江省高校教育信息化评价模型》、《高校教育技术工程的绩效研究》等等,在这些已有的教育信息化评价模型的基础上,结合广东省的教育信息化发展水平和民办高校经费来源的特殊性,来制定实用的模型。
3.要明确教育信息化的最终目标。
我国教育信息化的最终目标是为了高效地培养出社会所需的实用创新性人才。
二、评价方法在评价中,不同的评价方法将对评价结果有着不同的影响。
根据教育信息化涉及的指标多且难以统一量化的特点,本文采用的是多指标综合评价法,各个三级指标都用相应的量纲来给出评价值。
多指标综合评价方法根据权重确定方法的不同大致可分为两类:客观赋权法和主观赋权法。
其他一些评价方法中权重确定基本上都离不开这两种思路。
客观赋权法,即根据各项指标值的变异程度或各指标间的相关关系来确定权数,客观赋权法避免了人为因素带来的偏差;主观赋权法,多是采用综合咨询评分的定性方法,主观赋权法因受到人为因素的影响,往往会降低或夸大了某些作用,致使排序的结果不能完全真实地反映事物间的现实关系[1]。
由于客观赋权法使用起来比较复杂,故本文采用的是较简单的主观赋权法,邀请本校的几位教育信息化相关部门的负责人,给每个指标给出权重,然后取他们的平均值作为各指标的权重。
三、评價指标及权重(一)确定评价指标为了使模型合理、科学、实用,我们分两个阶段确定各项指标。
1.分解细化阶段。
分解细化阶段的主要任务就是分解教育信息化目标,提出尽量详尽的初拟指标。
在拟定相应的评价内容时,需要进行进一步的分解、细化目标,使之可以观察和测量,所以,一般采用集体讨论方法,召集有关人员,集思广益,详细列出与目标有关的所有指标。
根据目标的复杂程度,有些目标可由若干一级指标构成,某些一级指标又可以分解为二级指标和三级指标。
这些不同层次的指标便构成评价模型。
2.筛选归并阶段。
筛选归并阶段的任务是将初拟的评价模型进行适当的筛选和归并。
目的是精简指标[2]。
由于受到人力、物力和时间的限制,根据庞大的教育信息化体系所收集到的指标必定是多而杂乱,必须将实用的指标筛选出来,将相同的或相似的指标合并,使选取的指标更能体现目标的本质,以保证教育信息化评价的有效性,同时突出评价的重点,使评价更具有可行性和导向性。
3.试验修订。
经过筛选、归并,确定了评价模型后,还应当制定相应的评定标准,以判断达成的情况,选择适当的评价对象进行小范围的试验,并根据试验的结果,对评价模型及评定标准进行修订[3]。
本文给每个指标都制定了相应的评价标准,并利用该评价模型对广东省的几所以文科类为主的民办高校进行了教育信息化评分,试验的结果是部分指标难以准确公正地量化评价,指标的评价标准也有待完善。
本文从教育信息化的投入、教育信息化管理机构和制度、教育信息化的应用过程和教育信息化的产出三个大的方面,首先用发散思维,集合身边所有人的智慧,以及从相关的文献资料和国家指导性文件中选取其中可用的,易量化和数据好收集的指标,将这些跟教育信息化绩效评价有关的所有一级指标列出来;接着对这些列出来的指标仔细分析和筛选,将内容相同或相似的指标合而为一,将不太合适的或是不好量化打分的指标删掉,确定了一级指标。
用同样的方法,再确定二、三级指标。
共有4个一级指标,13个二级指标和39个三级指标。
这39个三级指标中包含了21个定量指标和18个定性指标。
(二)确定权重权重是指客观地反映模型中各层次、各集合中的指标的重要程度,从而确定它们之间的联系。
在设计评价方案时,选择正确的模型是最为重要的,权重的确定也具有举足轻重的影响。
同样一套模型,如赋予不同的权重,评价的结论会大相径庭,这是人所共知的事实,为此,必须研究各种指标的权重确定问题[4]。
常用的确定指标权重的方法有以下几种:1.主观经验法。
评价者凭自己以往的经验直接给指标加权,如日本劳动科研所的木林富士朗提出的权重分配模式。
2.主次指标排除分类法,也称A、B、C分类加权法。
具体操作分为排队和加权两步:排队是将指标由大到小或由重要到一般,依次排列;加权是在排队的基础上,按照A、B、C三类指标赋权,如按照A、B、C的顺序直接赋予3、2、1的不同权数。
3.专家调查加权法。
这种方法是要求所聘请的专家先独立地对评价指标加权,然后对每个评价指标的权数取平均值,作为权重系数。
考虑到第一种方法,只凭本文的经验直接给出指标的权重,可能会因为对教育信息化各项指标的理解和认识不够深入,以及教育信息化的经验不足,容易给出错误的权重;第二种方法对每个指标的重要性做了明确区分,但没有给出定量的权重值,不利于最终权重的确定;故本文采用的是第三种调查加权法,聘请5位教育信息化相關部门的负责人作为专家给每个指标加权。
从下图1,可以更直观地看出教育信息化绩效评价的各个一级指标所占权重的比例。
从上图可以看出,“信息化建设的产出”的权重最大,即产出这一指标是最重要的;“信息化建设的投入”和“信息化建设的应用”的重要程度,其次且程度相当。
“信息化组织机构与管理制度”的重要性是排在最后面。
确定一级指标的权重后,再确定各个一级指标下的二级指标和三级指标的权重,方法跟一级指标权重的确定方法一样。
根据以上专家赋权,39个三级指标中,21个定量指标所占权重之和是68%,18个定性指标所占权重之和是32%,具体各级指标和权重如下:(1)在校生数/学生用计算机台数(3.8%)。
(2)教职工人数/学校行政用计算机台数(2.4%)。
(3)多媒体教室比例(1.5%)。
(4)三年信息化资金投入情况(6.3%)。
(5)图书馆电子资源月下载篇数/在校师生总数(1.8%)。
(6)图书馆购置数字资源经费情况(1.7%)。
(7)完全购买的和在线可下载的电子图书/在校师生总数(1.5%)。
(8)校园网覆盖率(1.5%)。
(9)校园网带宽(1.2%)。
(10)接入中国教育和科研网情况(1%)。
(11)网络存储空间大小(1.8%)。
(12)教育信息化技术培训制度、计划及效果(0.5%)。
(13)定期对教职工进行信息化培训(1%)。
(14)学校领导对学校信息化建设的重视程度(1.8%)。
(15)专门负责信息技术的部门人员设置、分工及职责情况(0.7%)。
(16)信息化发展规划和年度计划、经费预算、工作目标、岗位责任制、改进措施等相关的文件是否齐全,可操作性和执行情况(1.3%)。
(17)信息化相关激励政策情况(1.7%)。
(18)网络病毒的防治水平(2.5%)。
(19)网络运行故障监测系统的监测水平(2%)。
(20)信息安全负责制情况(1%)。
(21)教师使用教育信息化设备和软件的能力(3%)。
(22)教师制作多媒体教学课件的能力(3%)。
(23)多媒体教室使用率(2%)。
(24)学生平均每周使用计算机时间(5%)。
(25)所有部门都利用信息化管理系统进行办公自动化管理情况(1.3%)。
(26)设备维护情况(2.5%)。
(27)电子邮件系统建设水平(1.8%)。
(28)校园一卡通系统建设水平(1.9%)。
(29)信息资源共享水平(2%)。
(30)基本信息数据库的容量(2.5%)。
(31)学生学习并遵守教育信息化相关的法律和道德准则(1%)。
(32)学生的教育信息化应用能力,如收集、整理和加工学习信息的能力(2%)。
(33)毕业生就业率(7.5%)。
(34)学生对学校信息化建设和应用的满意度(1%)。
(35)国家级精品课程数量(10.8%)。
(36)省级精品课程数量(6.5%)。
(37)校级精品课程数量(2%)。
(38)一年内发表论文、著作(2%)。
(39)一年内主编、参编教材(5.2%)。
四、结束语制定出的教育信息化绩效评价模型,很难同时用来比较不同省份学校的教育信息化建设水平。
评价指标可以相同或相近,但权重不一样,因为指标的量纲不一样。
参考文献:[1]郝晓玲,等,信息化绩效评价构架、实施与案例分析[M].北京:清华大学出版社,2005.[2]王冰洁.基于“主导—主体”教学结构的小学语文课堂教学评价指标体系的研究[D].长春:东北师范大学,2010.[3]孙金伟,普通高等学校教师综合评价系统的研究[D].大连:大连理工大学,2004.[4]焦宝聪,教育信息化决策理论与方法[M].北京:电子工业出版社,2004,(193).。