研制报告

 

当前人文社会科学领域各类学术评价成果中,期刊评价在整个学术评价体系中占有举足轻重的地位。但多数期刊评价仍然聚焦于引文计量评价,关注期刊的影响力。成熟的以成果评价为基础、充分发挥同行评议作用、切实关注学术价值的期刊评价成果,仍是当前人文社会科学领域的迫切需求。党和国家管理部门近几年先后发布的《关于进一步改进高等学校哲学社会科学研究评价的意见》等文件,都阐明了科学有效的学术评价对于人文社会科学繁荣发展的重要性,指出应“加强以同行专家评价为主的评价机制”。国际同行对改进学术评价的观点,也强调了彰显同行评议的必要性。为此,我们从2012年起持续研制“复印报刊资料重要转载来源期刊”,探索“成果同行评议与文献计量并重,加强同行评议主体地位”的复印报刊资料人文社科学术评价模式,从复印报刊资料论文同行评议的转载角度,对我国人文社会科学学术期刊进行梳理。2017年版是第三次发布,以期为学术评价及学术发展提供更多科学性、实用性的同行评议经验和数据资料。

 

一、研制背景

(一)复印报刊资料的学术评价功能和特色

复印报刊资料系列学术刊是从中国公开出版的报刊上搜集、精选人文社会科学学术论文和相关信息,由学科专家和学术编辑共同遴选,并按学科门类进行转载的规模化、专业化、标准化、体系化的精品刊群。作为一个独特的学术品牌,复印报刊资料在新中国人文社会科学学术研究和高等教育繁荣发展的进程中做出了特殊贡献。“精选千家报刊”的特性使其从诞生伊始就具备了“评”的雏形。在50余年的发展过程中,复印报刊资料不断根据中国人文社会科学的发展需要调整期刊布局,专题种类逐渐增多、学科分布更加全面细化。复印报刊资料的编辑和编委按照不同专题的学科要求,精选出有前沿性、创新性、学术性及争论性的文章,使复印报刊资料“荟萃中华学术”,成为“以全为基础、以精为核心”的参考材料。经过不断地调整、发展,复印报刊资料的评文选文体系渐趋成熟。2010年,经过广泛调研和总结经验,研制出“人文社科论文质量评估指标体系”,建立了学术创新程度、论证完备程度、社会价值、难易程度四项主要指标,与课题立项、发表载体两项辅助指标,共同组成的复印报刊资料学术论文评价指标体系。同时,复印报刊资料还从学科覆盖、专业团队、流程规范、学术精选等自身特色上逐步确立和夯实了学术评价功能,并在学术界和期刊界引起广泛关注和深入探讨。人文社科领域普遍认为,复印报刊资料可以作为评价人文社会科学学术影响力的重要工具之一。

人文社会科学研究范式及其成果特征,需要的是同行评议方法的实质介入。复印报刊资料这项由学科专家和学术编辑共同遴选学术文献的工作,在一定程度彰显了其不可替代的同行专家评议价值。客观上,复印报刊资料依据统一的体系标准,通过分类评估、同类比较,直接对单篇论文进行专业化、标准化、规模化、持续性同行专家评选的模式,为我国人文社科学术评价提供了有价值的新视角。

(二)复印报刊资料系列学术评价成果体系

2001年起,围绕复印报刊资料学术论文同行精选的评价特色,评价研究中心深入挖掘复印报刊资料转载数据和评文数据,评价指标从最初转载量发展到转载量和转载率并重,再发展到同时体现转载量、转载率和转载论文篇均得分的转载综合指数。

在论文同行评议数据和转载数据的基础上,复印报刊资料系列评价成果,从单一的复印报刊资料转载排名,逐步过渡到“复印报刊资料转载指数排名”。通过分析研究复印报刊资料转载数据和十余年转载排名资料,我们发现有一部分期刊、科研机构、作者始终是复印报刊资料转载的重要来源,而且这些期刊、科研机构、作者在业界也具有较好的学术水平和影响力。为此,我们采用转载分析法为主、同行评议定性分析法为辅的研究思路,新增了复印报刊资料重要转载来源期刊、机构、作者等成果。此外,我们还尝试开展论文评价和学科评价,已逐渐形成覆盖人文社会科学期刊、教学科研机构、学者、论文、学科五类评价对象的较为完整的评价成果体系。

多年来,上述复印报刊资料系列学术评价成果,已在人文社会科学的发展中发挥了积极的作用。这些成果提供的转载和评价数据成为评价人文社科论文、期刊、机构、作者学术影响力的重要指标之一,越来越多的科研机构、期刊社、科研管理部门在论文评审、期刊评价、科研奖励和职称评定等工作中,将这些数据作为一个重要的可量化参数。

二、研制方法

我们把复印报刊资料重要转载来源期刊定义为:一定周期内,被复印报刊资料转载学术论文数量较多且被学术界、期刊界同行评议为学术质量较好、影响力较大的期刊。研制过程中采用了转载分析法和同行评议定性分析法相结合的研究方法。

(一)转载分析

转载分析法是通过一次文献被著名学术期刊、文摘等全文转载、摘要、索引的数量和比例等数据,分析期刊、科研机构、论文作者等学科分布、机构分布、研究领域等状况的研究方法,是基于同行专家对论文的再次定性评价结果开展的量化分析。根据本次研究需要,我们选择以复印报刊资料转载量、转载率、篇均得分及其加权求和形成的期刊转载综合指数,作为此次评选的基本指标。

转载量:指某期刊2014-2016年度被复印报刊资料学术系列刊全文转载的论文篇数。这个绝对量指标反映了期刊被复印报刊资料转载优质论文的数量,可大体反映出期刊的学术影响力。

转载率:指某期刊2014-2016年度被复印报刊资料全文转载的篇数除以同期该刊的总发文数。这个相对量指标反映了期刊优质学术论文的占比情况,即期刊优质论文的投入产出绩效。

篇均得分:指某期刊被复印报刊资料全文转载论文中平均每篇论文的同行评议得分。虽然每篇被转载论文学术质量都较高,但相互之间也存在差别,因此这一指标反映了期刊被转载学术论文的平均水平。

2014-2016年度期刊转载综合指数的计算公式如下:

期刊转载综合指数=0.3×三年转载量均值的归一值+0.4×三年转载率的归一值+0.3×三年篇均得分的归一值

(二)同行评议

转载分析法主要以量化的数据进行分析统计,因学科覆盖、期刊布局、选文趋向等方面的局限,有时并不能全面反映实际情况,因此为避免以偏概全、以部分代替整体,有必要结合同行主观评议进行补充和修正。

因此,在通过转载数据进行筛选后,我们把备选期刊按照主办单位和学科分类,提供给各学科的专家学者进行定性评估,作为修正初选结果的依据。在遴选同行专家时,我们从被复印报刊资料学术刊全文转载过论文的作者中,广泛征集其对初步评选结果的意见。同时,每类评审表还邀请学科领域权威专家进行评价,综合性期刊提供给熟悉期刊的文摘主编、评价专家、科研管理部门人员等进行评估;每类学科专业期刊则提供给学科专家及学科资深编辑进行评估。遴选专家时,考虑专家所在机构和地区的分布广度,避免专家集中于一处。

同行评议专家参照如下4方面标准,对期刊的学术水平和声誉做出综合判断:

1)学术性:期刊内容的学术含量。包括期刊发表学术论文的比例,期刊发表论文的学术质量(学术创新程度、论证完备程度、社会价值程度等),以及期刊内容对于学科建设的推动作用、对学术发展的贡献程度。

2)公信度:期刊学术水平及其在国内外同行中的认同度。包括期刊在学术界和读者中的口碑、评价,期刊在各类评奖、评选活动中的表现,期刊被各级各类科研管理和出版管理部门的认可程度。

3)学术规范:学风及管理规范。包括期刊在编辑、出版发行、同行评议等方面的业务流程和制度是否规范,是否符合法律、法规和行业标准、要求,是否存在学术不端行为等。学术不端行为经核实后,将取消入选资格。

4)编校质量:主要包括编辑业务水平、栏目策划质量、编校差错率、印刷质量等。

 

三、研制步骤

(一)筛选数据样本

2014-2016年间复印报刊资料94种学术专题刊[1]的论文转载数据,是此次遴选复印报刊资料重要来源期刊的基础数据,重复转载论文仅计入1篇,其中跨学科重复转载论文计入更贴近的学科及其得分,同一学科重复转载论文统计得分较高的1篇。从中我们选取2014-2016年被复印报刊资料转载论文不少于9篇且每年转载均不少于1篇的期刊(不包含集刊),作为我们进行下一步转载分析的样本期刊范围。

 

(二)确定备选期刊

根据期刊转载综合指数公式,计算上述样本期刊的转载综合指数,按综合指数排名截取前95%的期刊进入备选期刊名录。与此同时,借鉴同行数据,将中国人文社会科学三大核心期刊体系[2]中,位列两个及以上、但不在上述备选范围的期刊,去除2014—2016年间转载量低于3篇的期刊,也列入备选期刊名录。总计878种备选期刊进入同行定性评审。

 

(三)备选期刊分类

为方便进行同类比较和同行评议,我们将878种备选期刊按照学科属性与主办单位性质分为1张综合性期刊评审表和21张学科期刊评审表,判断分类依据如下:

1)若某一期刊在某学科每年的转载量均不少于3篇,或某学科转载量占转载总量的30%及以上,则入选该学科备选期刊评审表。

2)若某一期刊入选学科期刊评审表超过3个,或者未有一个学科期刊评审表入选,则该期刊进入综合性期刊评审表进行评选。

3)综合性期刊评审表分为高等院校主办学报、社科院(联)综合性期刊、党政干部院校主办学报、其他单位主办期刊四类,分类排序,统一评审。

4)对少数分类困难的期刊,根据实际情况进行讨论调整,确定分类,确保所有期刊至少进入一个分类表。

 

(四)同行定性评审

我们将备选期刊划分成22张分类表,分别提供给同行专家进行定性评审:

1)凡被复印报刊资料学术刊全文转载过的作者均可参与评审。其中,综合性期刊评审表所有评委均可评审,学科期刊评审表每位评委最多可选择3个进行评审。综合性期刊表共计1121人参评,各学科表参评人数为25-183人不等。

2)综合性期刊评审表最终邀请8名专家,每张学科期刊评审表最终邀请学科领域专家5人参评,填写《人大复印报刊资料重要转载来源期刊(2017年版)问卷调查》,对备选期刊进行评价。

3)每位同行专家对每张表中的期刊名单提出增补建议以及20%的“不建议入选”建议。

 

(五)数据汇总处理

汇总同行专家意见后,对问卷数据进行规范、计算与处理:

1)统计各评审表中备选期刊的选票情况,并对特邀评审专家与复印报刊资料作者的评价数据进行归一处理,计算备选期刊分数。归一值和期刊总分计算公式如下:

同行评议归一值=选票数量/同类票数最大值

期刊总分=0.7×转载综合指数+0.2×特邀评审专家评分的归一值+0.1×复印报刊资料作者评分的归一值

2)综合性期刊评审表中,删除总分排在后30%的期刊。此表中入选的高等院校主办学报、社科院(联)综合性期刊、党政干部院校主办学报分别进入各系统名录,其他单位主办的综合期刊在入选期刊总名录中体现,不再单设名录。

3)备选期刊超过20种的学科期刊评审表,删除总分排名后20%的期刊;备选期刊未超过20种的学科期刊评审表,删除总分排名后15%的期刊。

4)备选期刊中至少进入两个学科备选评审表,但未入选任何一个分表的,若转载综合指数排名高于以上第(2)、(3)条所确定入选期刊的最低名次,且至少在一个学科的同行评审中,有半数以上的专家同意其入选,则该刊拟入选重要转载来源期刊总名录,但不入选任何分表。

5)至少1名特邀专家或者2名转载作者提名增补的期刊,若2014-2016年转载量不少于6篇且最晚于2014年创刊,则增补该刊进入拟入选名单。

基于上述规则对数据进行处理后,确定复印报刊资料重要转载来源期刊(2017年版)拟入选名单。

 

(六)期刊名录公示

《复印报刊资料重要转载来源期刊(2017年版)拟入选名单》在中国人民大学书报资料中心网站(http://www.zlzx.com.cn/zxtzgg/1046.jhtml)、中国人民大学评价研究中心微信公众号(pingjiayanjiu_ruc)与壹学者微信公众号予以公示,听取社会各界的意见和建议;对拟入选名录进行调整和完善,确定最终入选名单。

[1]详见附录1“复印报刊资料学术专题刊列表”。

[2] 此处三大核心期刊数据依据:北京大学《中文核心期刊要目总览(2014年版)》、南京大学《中文社会科学引文索引来源目录(2014-2016年)》、中国社会科学院《中国人文社会科学核心期刊要览(2013年版)》。

四、评选结果分析

(一)评选结果的结构与组成

评选结果分为四部分,一是入选期刊的总名录,二是按学科划分的期刊表,三是按主办单位类型划分的高等院校主办学报、社科院(联)主办综合性期刊、党政干部院校主办学报3张综合性期刊列表,四是便于查询的索引,列出每种期刊入选的总表和分表位置(见图2)。各部分均按照期刊名称音序排列。其中,学科分类主要参考教育部《授予博士、硕士学位和培养研究生的学科、专业目录(1997版)》并结合转载情况,将期刊分为哲学、理论经济学、应用经济学、法学、政治学、社会学、民族学、马克思主义理论、教育学、心理学、体育学、中国语言文学、外国语言文学、新闻传播学、艺术学、历史学、地理学、工商管理、农林经济管理、公共管理、图书情报与档案管理共计21个学科。所有入选的745种期刊在第一部分中列出,同时,这些入选期刊因其主办单位和学科优势的差异,可能出现在第二、三部分中,这两部分的入选期刊表共包含731种期刊,各表之间互有交叉重叠,另外14种期刊因分类优势不明显,既未进入三大系统期刊表中,也未进入任一学科列表,仅出现在总名录中。因此,总名录中列出的745种期刊集合,多于其余24张分表所列期刊的并集。这样的成果编排方式,可以充分展现出每一种期刊的总体水平,以及特色和优势。



(二)总体入选情况

复印报刊资料2014-2016年共计转载期刊1952种,根据期刊转载数据和同行定性评审的结果,最终遴选出745种作为2017年版复印报刊资料重要转载来源期刊,占总转载期刊的38.17%。入选期刊三年总共被转载论文31537篇,占复印报刊资料三年转载总量37857篇的83.31%

1 综合性期刊数量统计

期刊类别

入选期刊数量(种)

被转载期刊总量(种)

入选期刊占被转载期刊总量的比例(%

高等院校主办学报

142

757

18.76%

社科院(联)主办综合性期刊

50

86

58.14%

党政干部院校主办学报

32

82

39.02%

其他综合性期刊

20

186

10.75%

从表1可以看出,在各入选综合性期刊中,高等院校主办学报入选数量最多,为142种,但入选期刊占被转载期刊总量的比例低于社科院(联)主办综合性期刊和党政干部院校主办学报,仅为18.76%,说明高等院校主办学报被转载论文较为分散;社科院(联)主办综合性期刊入选50种,但其入选占比最高,为58.14%,说明其期刊被转载集中度最高;其他类型综合性期刊在入选数量和占比均为最末。


从图3可以看出,社科院(联)综合性期刊平均转载量最高,约85篇,在综合性入选期刊中占据绝对优势;其他综合性期刊次之,平均转载约48篇;高等院校主办学报入选数量最高,但平均转载量与党政干部院校主办学报大体持平,约39篇。

2 各学科期刊数量统计

学科

入选期刊数量(种)

被转载期刊总量(种)

入选期刊占被转载期刊总量的比例(%

哲学

68

419

16.23%

理论经济学

39

479

8.14%

应用经济学

119

603

19.73%

法学

45

299

15.05%

政治学

78

446

17.49%

社会学

34

344

9.88%

民族学

13

100

13.00%

马克思主义理论

26

326

7.98%

教育学

69

341

20.23%

心理学

9

55

16.36%

体育学

13

33

39.39%

中国语言文学

63

401

15.71%

外国语言文学

14

106

13.21%

新闻传播学

20

184

10.87%

艺术学

30

309

9.71%

历史学

59

306

19.28%

地理学

9

54

16.67%

工商管理

59

511

11.55%

农林经济管理

14

213

6.57%

公共管理

23

461

4.99%

图书情报与档案管理

22

78

28.21%

 

从表2可以看出,各学科入选期刊中,应用经济学入选数量最高,为119种,反映了其在发文、转载方面的学科优势;政治学、教育学、哲学、中国语言文学次之,均在60种以上;心理学和地理学入选期刊数量最少,均为9种。体育学入选期刊占被转载期刊总量的比例最高,为39.39%;图书情报与档案管理、教育学次之,均在20%以上;公共管理入选期刊占比最低,仅为4.99%


从图4可以看出,法学的平均转载量最高,约为48篇;教育学、图书情报与档案管理的平均转载量次之,均在35篇以上;民族学的平均转载量最少,仅为14篇左右。心理学和图书情报与档案管理两个学科的入选期刊虽然数量不多,但平均转载量较高,体现了在这两学个科中入选期刊优势比较突出。

从图5可以看出,高等院校主办的期刊入选数量最多,达到375种,优势较为明显;社科院(联)以及学会、协会、研究会次之,分别入选141种和116种;独立科研院所/中心、出版机构、党政干部院校主办的期刊,在入选中占有一定比重,依次入选83种、45种和35种;党政机关主办的期刊也占有一席之地,入选了15种;此外,企业、文化馆所等其他类型机构主办期刊入选共36种。

从图6可以看出,入选期刊共覆盖我国29个省级行政区域。其中,北京地区的入选期刊数量最多,共279种;上海、江苏、湖北、广东次之,均在30种以上;海南、内蒙古、宁夏入选期刊数量最少,仅有1种;青海、西藏等地区则无期刊入选。入选期刊涉及的29个省市地区中,北京的平均转载量最高,达到48.6篇。

 

将本次研究结果与北京大学《中文核心期刊要目总览(2014年版)》、南京大学《中文社会科学引文索引来源目录(2014-2016年)》、中国社会科学院《中国人文社会科学核心期刊要览(2013年版)》进行对比,共有613种期刊重叠,约占入选期刊总量的82.28%,与此三大核心期刊体系重叠期刊占入选期刊总量的比重依次为78.66%65.10%59.19%,既具有较高的耦合度,同时也存在明显的差异。

(三)与前两版对比分析

从图7可以看出,2017年版入选期刊中总计有585种入选过前两版,占比为78.52%;仅与2014年版重叠的期刊55种,仅与2012年版重叠的期刊49种,而未曾入选过前两版的期刊共计56种。

3 三版入选期刊数量统计

版别

入选期刊数量(种)

被转载期刊总量(种)

入选期刊占被转载期刊总量的比例(%

年平均转载量(篇)

2012年版

772

1870

41.28%

14.33

2014年版

747

1852

40.33%

14.52

2017年版

745

1952

38.17%

14.11

 

从表3可以看出,2017年版入选期刊的筛选标准更为严格,入选期刊数量比2014年版减少2种,比2012年版减少27种,入选期刊占比也逐年降低。但入选期刊的相对转载水平总体较为稳定,年平均转载量相较前两版只略有减少。

从图8可以看出,大部分分表入选期刊数量呈“凹”型变化;马克思主义理论、中国语言文学、新闻传播学、公共管理、图书情报与档案管理、高等院校主办学报等分表入选期刊数量呈“凸”型变化;哲学、艺术学、地理学、农林经济管理等分表入选期刊数量持续上升或持平;心理学、社科院(联)主办综合性期刊报等分表入选期刊数量持续下降或持平。

              图9 各分表新入选期刊所占比例图

从图9可以看出,应用经济学的新入选期刊数量最多,共有29种;其次是哲学和高等院校主办学报,新入选16种期刊;心理学无新入选期刊。马克思主义理论新入选期刊所占比例最高,达30.77%;公共管理次之,新入选期刊占30.43%;心理学、社科院(联)主办综合性期刊、图书情报与档案管理的新入选期刊占比最低,均低于5%,体现出这些分表中的入选期刊阵营较为稳定。

[1] 由于存在一种期刊由多家单位主办,且主办单位类型不同的现象,故此种期刊分别计入到各类主办单位之中。

[2] 此处仅统计了中国大陆地区的入选期刊。

 

五、结语

在历版复印报刊资料重要转载来源期刊的研制过程中,期刊界、管理部门、专家学者等广大人文社会科学工作者均为我们提供了很多有益的建议和帮助,我们在这一版的研制中进行了认真研讨、斟酌和吸收。相较前两版,2017年版复印报刊资料重要转载来源期刊的研制主要做出如下改进:(1)进一步细化同行评议四方面标准的内涵;(2)将同行评审从学科、领域专家拓展到所有复印报刊资料学术全文转载作者;(3)针对转载综合指数、特邀专家和复印资料作者的同行定性评审数据分别赋予相应权重系数,计算出期刊总得分,作为判断期刊入选与否的主要依据。

但此成果的研制在体系、方法、数据等各方面仍有需要继续探研完善之处。虽然复印报刊资料已积累了数十年的选文经验并始终努力提升论文的评选质量,但选文过程毕竟是一种建立在同行评议基础上的主观价值判断行为,难免见仁见智,且复印报刊资料也存在学科结构、期刊布局、转载限制等方面的不足。凡此种种,此版重要来源期刊还不能够全面反映当前的人文社会科学学术期刊状况,也不足以准确地对学术期刊的整体水平进行评价,仅仅是对2014-2016年复印报刊资料重要转载来源期刊的总结,是阶段性、局部性的期刊评价,只能大致反映出我国人文社科领域学术期刊的分布、特征等现状和趋势。我们仍在探索中,请读者对我们的错误和疏漏给予批评指正。由衷感谢众多同行专家学者多年来对本项研究成果的关注、参与和指导!

中国人民大学人文社会科学学术成果评价研究中心

中国人民大学书报资料中心

 

20183