自然科学基金绩效评价报告一、项目概述1989年,山东省设立了山东省自然科学基金,重点资助基础性研究和应用基础性研究课题。
省基金成立以来,坚持“依靠专家、发扬民主、择优支持、公正合理”和“有限目标、突出重点”的评审原则,围绕传统产业的改造提升以及电子信息、生物技术、新材料等新兴产业的孕育发展,加强多学科综合性研究和对全省经济和社会发展有重大影响的基础理论、关键共性技术开展研究,同时根据山东省自然、地理与人文资源优势,瞄准科学前沿、强化科学基本规律的研究探索,为促进科技创新和高新技术产业的发展发挥了重要作用。
省基金主管部门为山东省自然科学基金委员会,负责处理日常事务。
各学科组由省内知名专家、学者组成,对本学科项目指南提出咨询意见,并负责本学科申报项目的评审工作。
项目依托单位主要职责为对本单位项目负责人申报的项目进行资格审查、推荐以及立项项目、专项资金的日常管理。
二、项目绩效目标(一)促进人才队伍建设。
省基金为山东省更多的科技工作者进入国家层面、承担国家级课题提供必要的基础性培育工作,从而与国家后续的投入形成“接力”,使省基金的效益发挥到最大。
1(二)促进学科发展。
引导和支持高等学校、科研院所优化学科结构,凝练学科发展方向,突出学科建设重点,夯实学科发展基础,培育形成特色学科。
(三)提高科学研究水平。
省基金从支持科学研究、培养优秀中青年人才和为地方经济社会发展提供科技支撑等方面入手,锻炼人才、发展科研基地,努力提高山东基础研究的层次和水平,为解决地方的重大需求提供科学依据。
三、评价基本情况(一)评价思路和评价指标体系政策评价是围绕着政策及其活动全过程,通过考察政策过程的各个阶段、各个环节,对政策的效果所进行的评价。
据此,从政策制定、政策执行、政策绩效三个方面,对省基金政策的运行过程及绩效进行综合评价。
1、政策制定首先考虑政策存在是否符合政府导向和科研单位或人员的需求;在此基础上需要关注政策内容及制定程序是否符合法律、法规及各类规章制度的要求;政策内容的全面性和科学性是政策是否具有可行性和有效性的重要因素。
基于上述考虑,设计了政策制定的各级指标。
2政策制定下级指标及分值2、政策执行自然科学基金的相关利益方为基层的广大科研人员,如何让政策有效传达以及被充分理解是政策落实的第一步;鉴于自然科学基金项目申请数量多、受益对象分散的特点,如何合理的遴选项目是基金科学有效分配的重要环节;基金资助项目周期一般为3年,各级管理部门的有效监督和指导,是研发过程的顺利开展、项目如期结题的保障条件。
基于上述考虑,设计了政策执行的各级指标。
3政策执行下级指标及分值3、政策绩效自然科学基金项目的产出主要为论文、专利、诱发项目等研究成果,可以从数量和质量两方面进行评价;政策所要达到的效果为培养人才队伍和提高科研水平,难以用具体的定量数据衡量,因此我们设计的政策效果指标多为定性指标。
政策绩效下级指标4(30分)(9分)分)对优势和特色学科发展的支持作用(3分)对新兴交叉学科培育的促进作用(3分)人才队伍建设促进效果(9分)对项目负责人的培养和造就作用(3分)对人才梯队建设的促进作用(3分)对学科内学生培养方面的促进作用(3分)科学研究水平提高效果(4分)对负责人在相关领域从事科学前沿研究的促进作用(2分)对支持自由探索方面的贡献作用(1分)对我省和社会需求的贡献作用(1分)政策可持续性(4分)——(二)评价方法1、公众评判法(1)公众问卷评价:以省基金主要利益相关者的视角,通过对利益相关者的问卷调查、座谈会等形式,获取各主要利益相关者对政策的制定、执行、效果的相关判断等信息作为评价依据,对省基金政策进行评价。
(2)专家评价:由相关领域专家对案卷资料、调查问卷结果、访谈记录等资料进行分析、研究,并根据评价标准对各指标进行打分。
2、比较分析法(1)通过对省基金的总投入与总绩效进行对比分析,以评价自然科学基金投入与产出的关联程度。
分别按学科领域、资助类别在高水平论文、专利、人才培养、诱发项目等方面分别赋予权重计算其绩效值,并进行比较。
5(2)通过政策实施各期的产出进行纵向比较、政策不同类别、不同学科领域产出的横向比较,分析自然科学基金产出结果。
四、评价结论情况(一)评价结果山东省自然科学基金政策评价最终得分为80.43分,评价结果等级为良,成效明显。
其中,政策制定得分20.48分,得分率为81.92%;政策执行得分19.17分,得分率76.68%;政策绩效得分40.78分,得分率为81.56%。
(二)主要绩效1、争取了一批国家级项目支持。
受资助的项目负责人后续获取国家自然科学基金资助593项、28,968万元,国家重点基础研究发展计划(973计划)10项、5,230万元,高技术研究发展计划(863计划)4项、2,432万元,其他省级资助计划262项、11,303万元。
2、提高了基础研究创新水平。
在省基金的资助下,科研人员在国内外权威学术期刊上发表了一大批优秀学术论文,2011-2013年已结题项目共产出论文11134篇,其中SCI5226篇,CSSCI394篇,EI2076篇,ISTP88篇,MEDLINE44篇,其他期刊3306篇。
山东省已连续多年在中国区域综合创新能力排名中位列前六位。
63、培育了一批自主知识产权。
2011-2013年已结题项目共获得专利1393项,这些成果对于解决制约我省产业发展的应用基础课题,促进经济效益的提高将会产生良好的效果。
4、有力地推动了创新人才队伍建设。
省基金资助体系涵盖了不同年龄、不同阶段、不同学科的科研人才,初步建成了学科齐全、布局合理的科技人才培养体系;科技人才队伍逐步完善,高层次人才建设队伍初见成效。
另外,省基金项目有近9成的项目均有研究生参与,其中最多的项目研究生参与人数达20人,培养了研究生扎实的理论基础知识和创新性的思维,提高研究生的科研素养,培养了大量的科研后备力量。
(三)主要指标得分情况及分析1、政策制定情况分析省基金经过多年的发展,在各项管理制度、各类资助项目的申报指南等具体制度、文件的制定方面已逐步完善,但在形式上还需进一步规范化、制度化,具体环节方面的管理细则(如项目评审、各级单位管理职责等方面)规定的还不够具体。
二级指标得分情况如下:7政策内容的全面性4 2.0050.00%合计2520.4881.92%2、政策执行情况分析近年来,虽然省基金在提高管理水平、服务基础研究方面做了大量的工作,但受其管理体制的影响,其整体运行情况一般,项目过程管理有待加强,政策宣贯的方式较为单一,对于项目研发过程监控力度不够,项目信息化管理程度尚待提高。
二级指标得分情况如下:3、政策绩效情况分析省基金2011年-2013年已结题项目产出的论文、专利、获取后续资助情况整体情况较好;但政策实施效率不够理想,结题率低是影响政策效率的主要因素;从政策效果来看,省基金在人才队伍建设方面的效果是比较理想的,但在促进学科发展方面的效果相对较弱。
二级指标得分情况如下:8政策效果3024.7482.46%合计5040.7881.56%(四)存在的主要问题1、省基金目前对于年龄、职称、研究基础等申报条件设置的较为细化,各类项目的定位和面向的研究群体较为明确,对于科研人员项目申报的指导性较强,但省基金作为科研启动的一个关键平台,部分条件规定的比较死板,这样规定虽对提高项目申报质量有所帮助,但对于青年人员来说,申报条件可能值得商榷。
2、项目申报时需经过依托单位和主管部门逐级审核通过后上报,部分科研人员反映,单位内部存在利益冲突,在一定程度上影响项目申报的公平性。
3、省基金现行的各项管理制度基本上都是2009、2010年制定,从近几年的申报指南中可以看出资助工具、资助条件、申报程序发生了较大的变化,原制度的部分内容已经不再适用;近几年国家基金对于申请者的年龄、结题年限等方面做出了制度修改,省基金亦应及时出台更新版的基金管理办法。
4、部分科研人员对于省基金申报条件、经费管理、结题程序等方面的了解不够深入,在一定程度上影响项目的申报。
5、项目评审管理有待进一步规范。
部分评审专家责任心不强,评审意见不够具体,拒绝资助的原因语焉不详;项目评审9周期过长,网评透明度不高;部分领域评议专家有时只是大学科的同行,缺少专业更为相近的小同行专家,可能导致前沿的研究内容不能受到认可和资助。
6、省基金管理的信息化程度尚需进一步提高。
管理信息系统的数据不够全面,不能充分反映省基金的实际产出情况,部分科研人员反映系统运行的流畅度稍有欠缺。
7、省基金资助项目的结题情况不够理想,结题工作拖沓,某些学科领域的资助项目投入产出率不够理想,效率有待提高。
如医学科学领域是近几年省基金投入的重点领域,但其正常结题率仅为34.44%,产出无论是在论文、获得后续资助方面均处于弱势。
8、山东省科研人员争取的国家自然科学基金经费规模较大,说明山东省的基础研究能力较强,在冲击国家基金方面比较有竞争力;另一方面,虽然近几年省基金投入额度不断增加,但其规模与广大基础研究工作者的需求相比远远不够,有待进一步提高。
五、意见建议(一)建议进一步优化省基金各类项目的申报条件,适当放宽年龄限制,以评审项目思想的创新性、方法的可行性、研究基础等为主,适当降低职称和论文发表情况在申报条件中所占比重。
10(二)建议对项目申请人开设申诉通道,对于单位推荐有异议的申请人,可将申诉意见及申请书直接提报基金委,基金委组织对此类项目进行复核,确保项目申报的公平、公正性。
(三)建议基金委综合考虑省基金的运行现状和发展规划,及时更新相应的管理办法;进一步修订、规范基金运行各重要环节制度的实施细则,增强管理制度的可操作性和约束力。
(四)建议基金委适时举办省基金的相关培训会,加强对项目申报、经费管理、结题管理等方面的培训,或在基金委网站或其他渠道就某些咨询率较高的问题开设专门的答疑版块,提高科研人员对政策的理解,更加高效的进行项目管理。
(五)建议基金委进一步扩大评审专家库,选择学术水平较高、有责任心的专家,详细反馈评审意见;制定评议专家管理制度,约束不负责任的行为,增加评审透明度;合理掌握大同行专家和小同行专家的比例,两者互相监督、修正,确保意见的客观、公正,以进一步提高项目评审水平。
(六)建议进一步优化省基金管理信息系统,完善数据管理,提高运行效率。
(七)建议基金委进一步加强省基金的后续管理工作,建立考核机制,针对不同的学科特点,制定有相应特色的管理制度,兼顾优势学科和弱势学科的协调发展,以提高省基金的课题资助质量进而提高省基金的使用效益。
11(八)建议进一步加大省基金的投入,发挥好“种子效应”,做好科研项目的前期培育工作,进一步提升山东省的科研创新能力和冲击国家项目的竞争力。