智库成果如何评价作者:胡岩来源:《智库理论与实践》2018年第05期摘要:[目的/意义]近年来,智库评价体系不断出现。
成果评价是智库评价的重要组成部分。
对代表性智库评价体系在智库成果上的评价标准进行比较研究,有助于智库及其研究人员提高自身成果的影响力,也有助于智库评价体系自身的不断完善。
[方法/过程]通过对4个代表性智库评价体系有关成果评价的指标进行比较分析,提出智库成果评价的改进方向。
[结果/结论]各代表性智库评价体系在成果类型、评价指标、评价方法和评价流程等问题上都有自身的独特之处,同时在成果评价中又都坚持将影响力作为核心指标。
未来的智库成果评价体系应注意进一步区分不同的成果类型,完善针对不同成果类型的指标体系并适当提高社会影响力和决策影响力各项指标的权重,应注意定量评价和定性评价相结合。
关键词:智库成果评价体系影响力论文著作报告分类号:C932.2DOI: 10.19318/ki.issn.2096-1634.2018.05.041 引言近年来,国内智库发展迅猛,不仅在数量上越来越多,影响力也不断提高。
同时,各种类型的专门从事智库研究的学术机构也开始出现,其中,有不少机构还构建了自己的智库评价体系,并推出了各具特色的智库排名。
涉及中国智库评价的代表性评价项目有上海社会科学院智库研究中心的《中国智库报告》(简称“上海报告”)、中国社会科学院中国社会科学评价中心的《全球智库评价报告》(简称“社科院报告”)、四川省社会科学院与中国科学院成都文献情报中心的《中华智库影响力报告》(简称“四川报告”)、南京大学智库网络影响力评价课题组的《中国智库网络影响力评价报告》(简称“南大报告”)、美国宾夕法尼亚大学“智库与公民社会项目”(TTCSP)的《全球智库报告》(简称“宾大报告”),等等。
各种评价报告的出现,使人们对中国智库的发展现状有了比较全面的了解,对各个智库的发展也发挥着一定的推动作用。
这些报告都构建了自己的评价指标体系,在评价流程、方法以及具体结果上也各不相同[1-2]。
值得注意的是,在这些评价体系中,尽管对智库的人才、管理、经费等指标都有涉及,但对智库成果的评价却占据着最大的比重。
本文对有代表性的几种智库评价报告的成果评价体系进行比较研究,希望能有助于智库了解各大报告在成果评价方面的指标体系,从而有针对性地提高自身的各方面发展水平并最终提高自身的影响力,也希望能够为智库成果评价体系的完善提供一些借鉴,使它们更好地服务于智库建设。
对智库评价的相关研究已有很多,这些研究对当前国内外智库评价的现状[3-4]、智库评价的指标体系[5-6],智库评价的方法流程[7]等问题进行了深入的探讨,加深了人们对智库评价的认识。
关于学术成果的评价问题,学界更是有大量研究。
但智库成果不完全等同于一般的学术成果,因而不能简单套用学术成果评价的各种体系,而是需要予以专门考察。
关于智库成果的评价问题,虽然在各种智库评价体系中事实上都有大量涉及,但似乎并没有引起学术界的充分重视。
在中国知网上以“智库成果”“评价”等为关键词进行检索,只得到很少几篇相关文献。
因此,对这一问题进行进一步探讨也有一定的学术意义。
本文不对所有评价体系的所有内容进行全面性研究,而是聚焦智库成果的评价问题,重点考察几个代表性评价体系的相关做法。
几大智库评价体系都在滚动推出新的版本,本文主要考察他们的最新版本,即上海社会科学院智库研究中心的《2017 年中國智库报告》,四川省社会科学院的《中华智库影响力报告(2017)》,中国社会科学院中国社会科学评价中心的《全球智库评价报告2015》,宾夕法尼亚大学的2017 Global Go To Think Tank Index Report。
本文同时对学界关于智库成果评价的代表性研究成果进行考察,并尝试对未来智库评价体系中的成果评价提出若干建议。
2 智库成果及其类型智库成果指的是以智库名义产生的各类成果,主要指的是成果第一作者(或通信作者)的第一署名单位是某智库的成果。
判断一项成果是不是属于智库成果,主要标准就是该成果的第一作者(或通信作者)的第一署名单位是不是属于智库。
因此,问题的关键就在于如何判断一个单位是不是属于智库。
这就涉及智库的界定问题。
关于这一问题,学界有很多争议。
我们这里也不打算就此讨论过多。
近年来,国内外出现了各种各样的“智库名录”,由于对智库的界定并不一致,这些名录涉及中国智库的,多则数千少则几百。
比较简单的做法是,选择一种或综合选择几种作为智库名单,只要进入这些名单的,都可以认定为智库,否则,便不是。
特别值得一提的是,南京大学中国智库研究与评价中心、光明日报智库研究与发布中心联合研发的“中国智库索引(CTTI)”,于2016年9月28日正式上线。
该索引通过“摸底”、推荐、评审、审核等环节,对我国智库进行了大范围的信息搜集和严格筛选,首批选定489家智库作为来源智库(2017—2018)。
该索引后期还在不断地进行调整和增补。
由于中国智库索引(CTTI)在收录智库时已经做了比较严格的筛选,所以可以说,它不仅是一个智库数据库,同时也是智库评价的结果。
从这个意义上讲,入选该索引的智库应该是水平较高同时较具代表性的智库。
考虑到检索的便利度和智库名录的权威性,本文建议,可以将以入选中国智库索引(CTTI)的智库为第一单位的第一作者(或通讯作者)的成果作为智库成果。
界定了智库成果的范围,再来看智库成果的类型。
前面提及,尽管评价指标各异,但对各类成果的评价都构成了各智库评价体系的重要内容。
通过考察不同的智库评价体系可以发现,各体系对成果的类型有不同的认定和区分。
上海报告在“中国智库影响力评价指标体系设计V1.0”中提及的成果类型有起草的规划、提出的政策建议、学术论文、论文集、著作、智库报告、访谈类节目、举办的活动等。
四川报告在“智库影响力评价标准”中提到的成果类型有公益讲座、皮书、专利、论文、专著、会议论文集、刊物、学术会议等。
社科院报告在“全球智库综合评价指标体系”中提到的成果类型有研究报告、学术论文、学术著作、决策报告、连续出版物、举办会议(研讨会、圆桌会议、论坛等)、社会公益项目、在媒体上发表的政策观点等。
宾大报告在其提名和排名标准中提到的成果类型有著作、期刊论文、会议论文、会议报告、政策评论、白皮书、其他出版物、活动(会议等)、媒体节目等。
南京大学的中国智库索引中有专门的产品数据库和活动数据库。
这两个数据库包含了不同的成果类型。
比如,在产品数据库中就包含了报告、电子出版物、论文、内参、期刊、其他出版物、时事通讯、视频资料、图书、项目等10个大类;在活动数据库中包含了会议、培训、调研考察、接待来访等4个大类。
可见,4大智库评价体系对智库成果的丰富性都有充分的认识。
从范围上看,尽管4大体系对成果的侧重有所不同,但基本提及了智库成果的所有可能形式。
从类型上看,尽管4大体系对成果的表述不完全一致,但基本涵盖了智库成果的不同类型。
由于篇幅限制,本文不能对所有类型成果的评价问题一一讨论。
考虑到成果类型的代表性、信息获取的便利性、成果评价的可操作性和精确性,本文主要选择论文、著作、报告3种类型的成果进行讨论。
当然,需要说明的是,这3种类型都是广义的用法,比如报纸或网络上的评论性文字,我们将其归入论文,论文集则归入著作,报告则包括研究报告、咨询报告、政策建议报告等不同类型。
至于各类视听节目类型的成果,以及会议论坛等活动类型的成果,限于篇幅本文将不进行专门讨论,留待以后专文详论。
3 智库成果的评价标准在对智库进行评价时,4大评价体系都制定了完整的评价指标体系(见表1)。
由表1可见,(1)各评价体系在进行智库评价时,基本都将影响力作为最核心的指標,其中四川报告将影响力作为唯一的指标,而宾大报告也将其4个分指标归入到智库影响力(impact of think tank)的名下,上海报告在影响力指标之外,提出了智库成长能力,但只是将其作为参考指标。
(2)关于影响力的具体表现,各评价体系之间尽管存在一些差异,但认识基本一致。
中国的3个评价体系,都将国际影响力作为一个评价标准,美国的宾大报告则没有提到该项指标。
中国的3个评价体系,都将影响力指标进行了进一步的分解,并且内容基本一致。
3种国内评价体系都共同提到了社会影响力和国际影响力,并且表述完全一致;也共同提到了决策影响力(政策影响力)和学术影响力(专业影响力),只是表述略有不同。
宾大报告虽然没有明确使用决策影响力、社会影响力等,但在其影响力指标之下所列举的具体指标内容中,实际就包含了这些维度。
宾大报告认为,影响力指标主要包括建议被采纳情况,网络话题集中度,获奖情况,出版物被引情况,对选举等的影响,等等,这些指标实际正指向了前面提到的几项影响力指标。
全面考察4个评价体系的异同和优劣,不是本文的重心,本文只是希望从成果评价的角度考察几大评价体系带给我们的启示。
4大评价体系都是针对作为机构的智库进行评价,对智库成果的评价只是其中的一部分。
通过对它们总体评价指标体系的比较,可以发现,在对智库成果的评价中,仍应坚持将影响力作为核心指标,在此指标之下可重点考察某项成果的决策影响力、学术影响力、社会影响力、国际影响力。
至于这几个指标之间的权重,不同评价体系有不同的设置。
总体而言,4种评价体系所公认的最核心的指标是决策影响力、社会影响力和学术影响力。
而这三者中,相比较而言,大家又一致认为,决策影响力大于社会影响力,社会影响力又大于学术影响力。
有学者围绕这几项指标的权重分配问题,对专门从事智库研究或在智库工作的专家进行了问卷调研,结果也发现,专家们大都认为决策影响力的权重最大,居于第2位的是社会影响力,传统成果评价比较强调的学术影响力则排在第3位[8]。
可见,这样的权重分配几乎成为共识,这也表明智库成果评价不同于一般的学术成果评价,而有其独特性。
对评价机构而言,可以根据自身的评价特点和目标导向,对上述指标设置不同的评价权重。
接下来我们分别围绕论文、著作、报告3种成果类型讨论智库成果的评价问题。
表2罗列了各智库评价体系涉及论文类成果的评价指标,可以看出,各评价体系注意到了论文类成果评价的不同方面的指标,同时又各有侧重。
相比较而言,社科院报告的论文评价指标最为全面,基本注意到了论文评价的常用指标;四川报告中所列举的指标比较单一,但指向性很强,即特别注重论文的国际影响(比如国际收录情况、国际被引情况等);同时,上海报告特别强调了媒体评论文章的发表情况。
需要指出的是,机构评价不同于成果评价,在对机构进行评价时,我们可以采用发表数量、转载率等指标,但对某一项单一的成果而言,就不存在这些指标,而是存在与之相关的发表情况(发表平台的重要性等)、转载情况(被转载次数、转载平台的地位等)等指标。