计贡献率大于80%~90%确定取用的主成分个数k ,因此本文选取3个主成分,即3k =。
2.3 计算主成分与综合评价值将标准化后的样本数据代入式(6)、(7),可计算出各样本的综合主成分值i F ,即评价排名。
计算结果见表4。
从表4的数据i F 可以看出, 10种期刊的学术综合评价排名为:10,8,7,6,4,9,1,2,5,3.3 讨论由表4中的排序与表1中的以影响因子排序有明显差别。
影响因子排在第1位的,综合排序则在最后。
由此可以看出,在进行科技期刊评价时,不能单单以某种指标作为评价因素,而应进行综合考虑。
影响因子是一个相对统计量,是用期刊论文的平均被引率揭示期刊在学术思想传播中的深度和广度,它使期刊学术水平的评价可以用量化的方法加以测度[3]。
然而,其他评价指标在期刊评价中也起到很重要的作用。
科技期刊的评价指标是相互影响,相互作用的,只有客观、综合地进行评价,才能使期刊评价表4 主成分计算结果期刊编号iiF 排 序1-2.180102-0.440830.012740.125650.49446-0.650970.834180.735290.3695100.7103核心期刊评定是一项复杂的系统工程。
目前,关于核心期刊定性评价的思考河南工业大学学报编辑部 金铁成摘 要 梳理我国核心期刊定性评价的现状,指出其存在的问题。
建议:学科定性评审专家结构应合理,来源应广泛,专家评审的学科应唯一;定性评价指标宜粗略,定性指标的评判结果宜用等级加以区分;核心期刊表的最终排序宜采用综合法,综合性学术期刊的评审可省去定性评价。
关键词 核心期刊;定性评价;专家评审更公正。
本文采用主成分分析法进行测评的结果,也并不代表10种期刊的学术综合评价排名,因为这里面没有完全涵盖19项期刊评价指标,况且还有很多不可量化的指标因素没有考虑在内。
通过本文的分析,旨在对今后科技期刊评价指标的选取提供参考。
参考文献[1] 张凌之.影响因子在我国科技期刊评价中的作用分析[J].编辑学报,2003,15(2):126–127.[2] 韩伟,李钢.主成分分析在地区科技竞争力评测中的应用[J].数理统计与管理, 2006, 25(5): 512–517.[3] 金碧辉,汪寿阳,任胜利,等.论期刊影响因子与论文学术质量的关系[J].中国科技期刊研究,2000,11(4):202–205. ■国内核心期刊的研制单位大多采用基于文献计量指标的定量评价和基于学科专家同行评议的定性评价相结合的综合评价方法。
各家研制单位选取的评价指标和权重虽各有侧重,但自成体系。
关于核心期刊定量评价的指标选取和权重设置的不足和建议,已有相关文献报道[1-4],而关于核心期刊定性评价方面存在的问题和建议,鲜见文献报道[4]。
鉴于此,本文拟对国内核心期刊的定性评价现状作一全面梳理,指出其存在的问题,旨在使核心期刊定性评价结果更加公正合理。
1 我国核心期刊定性评价现状目前,我国较有影响的核心期刊表(来源期刊表)主要有以下6种,它们各自的定性评价情况如下。
1.1 《中文核心期刊要目总览》《中文核心期刊要目总览》[5](以下简称《总览》)2008年版的定性评价方法大致分为以下3个步骤:第一,选聘核心期刊评审专家。
广泛收集学科专家(正高职称)信息,邀请他们参加核心期刊评审工作。
第二,通过网络进行专家评审。
发送专家评审的材料包括:研究概况、研究方法介绍、专家评审原则、专家评审方法说明和学科送审期刊表。
专家评审内容为:调整核心期刊排序、调整核心期刊表、增补优秀学术期刊进入核心期刊表、修改学科核心期刊数量。
第三,汇总定性评价数据,确定新的核心期刊表。
《总览》的定性评价是国内核心期刊定性评价中参与人数最多、影响最大的核心期刊定性评审。
研制单位创建了专门的核心期刊评审网站,评审专家只需登录网站根据自己对学科期刊的整体感知,来调整核心期刊的排序,即可完成评审工作。
1.2 《中国人文社会科学核心期刊要览》《中国人文社会科学核心期刊要览》[6](以下简称《要览》)2008年版的定性评价主要体现在专家论证部分,具体过程为:首先,邀请各学科的部分权威专家和上一版核心期刊编辑部的部分专家参加评审;然后,专家根据定量分析形成的排序表对备选期刊从期刊学术性、论文的学理性和创新性、编辑质量、学术规范性、刊物公信度等5个方面进行定性评价打分;最后,根据专家所给分值和定性评价指标的权重计算得出专家评分总值。
《要览》的定性评价除了体现在同行专家的定性评价上,还体现在研制者自己对期刊的定性评价。
对于一些含有通信类、资料类、数据指标类、工具索引类内容的学术期刊,虽然量化指标很高,但是学理性很弱,学术含量不高。
研制者从核心期刊的名单中去除了这类学术性不高的期刊。
1.3 《中国学术期刊评价研究报告——RCCSE权威、核心期刊排行榜与指南》《中国学术期刊评价研究报告——RCCSE权威、核心期刊排行榜与指南》[7](以下简称《报告》)是由武汉大学中国科学评价研究中心、武汉大学图书馆和武汉大学信息管理学院共同研发和编著的,是国内外期刊评价中第一种分类分级排行榜和权威与核心期刊指南。
共有6170种中文学术期刊参与评价,在分学科评价中遴选出权威期刊311种,核心期刊957种。
《报告》的定性评价概况是:由学科专家、期刊编辑专家和学科馆员组成评审专家队伍;对各学科排名前25%的期刊从文章质量、作者构成,专家或读者使用、阅读情况,出版发行情况,编校质量,社会声誉等5个方面进行打分;如有优秀学术期刊不在被评审列表中,专家可以进行增补;根据专家所给分值和定性评价指标的权重计算得出专家评分总值。
由于专家评审表的回收率不太理想,而且专家对同一类期刊的评审结果差异较大[7],研制者给定性评价部分的权重较低(0.05)。
因此,《报告》的定性评价只能算是一种有益的尝试。
1.4 中国科技论文统计源期刊(中国科技核心期刊)中国科技论文与引文数据库(CSTPCD)审查和选择来源期刊的标准[8]是:期刊的社会影响和学术地位、期刊编辑的规范性和时效性、国内外著名大型检索系统收录情况、期刊的学术内容和评审机制、期刊文献计量指标的定量分析、特殊情况的统计考虑(照顾新学科和高技术学科的期刊、照顾边远地区以及新发展地区的期刊)。
中国科技论文统计源期刊的定性评价是:建立由全国各学科专家学者组成的CSTPCD来源期刊学术评审小组,评审小组按上述标准负责对定量分析处理获得的初选期刊进行审查评议,并签署专家小组评审意见。
中国科技论文统计源期刊的选择和调整,主要考虑文献来源的完整性,因而定性指标较多,且定性评价占有相对较大的分量。
1.5 CSSCI来源期刊CSSCI的选刊指标[9]为:他刊影响因子和被引频次。
这两项指标均为定量指标,可见,CSSCI 来源期刊的选取主要依靠定量评价。
对CSSCI来源期刊的定性评价主要体现在:为了兼顾地区和学科的发展,更为科学地考虑期刊的学科布局和地区布局,对于一些没有期刊进入CSSCI来源期刊的学科和地区,CSSCI给予特别的政策,如在该学科或该地区范围内选择指标值最靠前的期刊进入CSSCI[9]。
CSSCI来源期刊的选取主要依靠量化指标做定量评价,定性评价只是起补充作用。
1.6 中国科学引文数据库(CSCD)来源期刊CSCD来源期刊的定性评价方式为:由学术领域科研专家,期刊出版、编辑专家,文献计量学专家组成“中国科学引文数据库来源期刊遴选委员会”,委员会在定量统计的基础上,负责来源期刊调整、审定工作。
CSCD来源期刊的调整与审定,主要依靠客观数据,专家定性评价只起辅助作用。
综上所述,不难发现:不同的核心期刊表(来源期刊表)的评定都有定性评价过程,只是定性评价发挥作用的大小不同,有的起主要作用,有的起辅助作用;3种核心期刊表的定性评价比3种来源期刊表的定性评价相对完善,可操作性较强,透明度较高,公正性较强。
鉴于上述3种核心期刊表的社会影响较大,公开的定性评价材料较多,下面拟对上述3种核心期刊表定性评价过程中的有关问题加以探讨。
2 定性评价专家的选择对期刊进行定性评价,专家的遴选至关重要。
专家的学科背景、学术水平、道德水准直接影响评选结果的客观公正。
同时,专家结构、单位来源等对评审结果的影响不可忽视。
2.1 专家结构应合理《总览》的评审专家均为具有正高职称的学科专家,《要览》的评审专家为学科权威专家和核心期刊编辑部的专家,《报告》的评审专家为学科专家、期刊编辑专家和学科馆员。
三者相比,可以认为《报告》的评审专家构成是最合理的。
学科专家是文献的创造者和使用者,对期刊论文的学术质量最有发言权;期刊编辑专家是文献的加工者和发行者,对期刊的学术规范最知情;学科馆员是文献的传播者和提供者,对期刊的使用情况最了解。
这三类人员组成的专家队伍,可以从不同的角度对期刊进行比较客观的评审。
当然,学科专家应是定性评价的主体,学科馆员和期刊专家是学科专家评审的有益补充。
2.2 专家来源应广泛学科专家不仅应有高等院校、科研机构的教授,也应有生产企业、管理部门的研究人员;不仅应有上一版核心期刊的编辑专家,也应有非核心期刊的编辑专家。
另外,对具体的单个学科而言,专家来源不应局限于某一地区、某一单位,以免对评审产生负面影响。
如2008年版《总览》轻工业类中有两家单位的评审专家人数分别占到了该学科评审专家总人数的17%和9.7%,这显然是不恰当的。
2008年版《总览》共有来自3283个单位的5529位专家参与了期刊评审,可见专家来源是相当广泛的。
2008年版《要览》没有公布评审专家的具体工作单位和名单,《报告》只公布了少部分评审专家名单,没有公布工作单位,原因是有些评审专家不愿意透露其姓名和单位。
其实,公布参与核心期刊评审的专家名单,不仅是学科专家的荣誉,更是研制单位的一种责任,这样有利于接受广大期刊的监督。
3 专家评审内容的确定2008年版《总览》的专家评审内容主要为调整核心期刊排序和数量、增补核心期刊,而《要览》和《报告》的主要评审内容是分别按列出的评审指标打分。
为了使定性评价具有一定的可比性和可操作性,最好设置一些评价指标,但不宜过细,既然是定性评价,各指标评价结果宜用等级区分。
3.1 评价指标宜粗略2008年版《要览》的定性评价指标为期刊学术性、论文的学理性和创新性、编辑质量、学术规范性、刊物公信度,《报告》的定性评价指标为文章质量、作者构成,专家或读者使用、阅读情况,出版发行情况,编校质量,社会声誉。
核心期刊的评审不等于期刊的评等、评优,核心期刊评审强调的是期刊的学术质量。
因此,《要览》和《报告》的定性评价指标是值得商榷的。
评价指标“编校质量”、“作者构成”、“出版发行情况”与期刊的学术质量没有必然的关系,不宜列为评价指标。