学术评估看重期刊影响因子？这依然是高校弊病

针对北美研究机构的一项调查发现，40% 的研究密集型大学在其考评文件中提到了有争议的指标——影响因子。

期刊影响因子指「期刊前两年发表的论文被引用总次数除以该期刊在这两年内发表的论文总数」。影响因子现已成为国际上通用的期刊评价指标，但是用影响因子判断一项研究的重要性，甚至进而评判研究者的科研能力，是科学的做法吗？

影响因子是期刊所有论文引用量的平均数，它无法体现每一项研究的引用情况。因此高影响因子的期刊表示它有很多引用量高的文章，但无法表示每项研究都是高引用的。

近年来，众多学者、科研人员批评以影响因子来进行学术评估的做法，认为这是不公平的。此外，很多大学教师也在思考如何权衡科研和教学，仅把科研作为员工考核、晋升等的主要标准也是不公平的，考核应该考虑到研究者在科研之外的贡献。

然而，目前众多研究院所仍把影响因子作为学术评估和职位晋升的重要指标。对北美机构的一项调查发现，几乎一半的研究密集型大学会在决定人员晋升时考虑期刊影响因子。

根据一项对美国和加拿大 129 家机构的 800 多份文件的调查，大约 40% 注重科研的机构在考评、晋升和任期文件（RPT document）中提及影响因子。

该数据表明，很多大学使用「影响因子」来评估教师表现，而这一指标被广泛批判为一种粗鲁、误导性的科研质量评判标准。

英国拉夫堡大学研究策略经理 Elizabeth Gadd 说道：「这表明这些机构或许并没有正确考虑它们想要什么样的教师」。

用期刊影响因子衡量影响

期刊影响因子用于衡量过去两年里发表在特定期刊的文章平均引用量。出版商通常会在投标中用这一数字来宣传期刊的质量。但是，很多学者和审查小组将影响因子作为判断一项研究的质量、重要性和声望，或者评价发布这项研究的科学家的一种快速方法。

这种情况使很多学者颇受困扰，他们称影响因子传播了一种不健康且不利于科学发展的研究文化，他们希望大学在招聘和晋升流程中抛弃这项指标。研究表明，影响因子并不太能够预测科学家的科研能力，但尚不清楚招聘者以这种方式使用影响因子指标的频率。

来源：E. C. McKiernan et al. PeerJ Preprints 7, e27638v2（2019）

为了了解其普遍程度，来自墨西哥国立自治大学的神经生理学家 Erin McKiernan 及其同事收集和分析了来自北美多家机构的 864 份考评、晋升和任期文件，并在 PeerJ Preprints 4 月 9 日刊上发表了预印本文章。

他们使用软件来处理这些文档，利用工具找到文档中与影响因子相关的特定词汇，他们阅读文档子集中的相关文章，以了解这些机构如何使用以及为何使用该指标。

不到 1/4 的机构在此类文档中提及影响因子时，会使用一个意义相近的词，比如「高影响力期刊」（high impact journal）。但是在 57 所研究密集型大学中，这个比例上升到了 40%。与之相反，授予硕士学位的大学中仅有 18% 的学校提到期刊影响因子（详见上图）。

在非常注重研究的大学中，这一比例超过 80%，这些文档中的语言鼓励在学术评估中使用影响因子。这些机构中仅有 13% 对于该指标使用了审慎的词汇。这类语言还可能表示高影响因子与更好的研究相关：61% 的机构将影响因子作为衡量研究质量的标准，35% 的机构表示它能够反映研究的影响力、重要性或意义。

举例来说，中佛罗里达大学健康管理和信息学系的文档中出现如下句子：

发表研究的质量和数量很重要。衡量质量的一般标准包括论文发表在高排名期刊和研究的引用量。

类似地，佛蒙特大学文理学院的相关文档中表示：

学术研究发表在核心期刊和学术出版社上，通常可以表明该研究的重要性。

冰山一角

「现在我们拥有一些数据来展示学术评估的过程。」McKiernan 表示。她认为在此类文档中明确使用影响因子的机构比例可能更高，她表示这项研究的结果可能只是「冰山一角」。

她补充道，学术评估过程中可能存在更多与影响因子间接相关的词汇，比如「核心期刊」（top-tier journal）或「高排名期刊」（high-ranking journal）。

与期刊影响因子相关的词汇分类图。上图将 RPT 文件中与期刊影响因子相关的词汇分成了三类：最内环是直接表示期刊影响因子的词汇；中间是一定程度上表示期刊影响力的词汇；最外环是间接但可能表示期刊影响因子的词汇。该研究主要给予最内环和中间环的词汇进行。

帝国理工学院结构生物学家 Stephen Curry 表示，对于大学来说，提出员工评估的新方法至关重要。「应该基于研究来评判研究者，而不仅仅是他们在哪里发表文章。同时还需要对他们在研究文章发表之外的贡献给予认可。」

如何改进学术评估和 RPT 过程？

期刊影响因子与质量之间缺乏必然的联系，以及学术社区普遍把二者联系起来的行为，使得挑战期刊影响因子的行为和提议越来越多，他们希望学术社区能够负责任地使用评估指标，进而改善学术评估。

其中，最著名的项目莫过于《旧金山科研评估宣言》(DORA)。DORA 指出期刊影响因子的诸多局限性，并建议对科学家学者及其研究进行评估时不要使用期刊影响因子，尤其是不要将其作为「衡量单个研究文章质量的替代性指标」。DORA 建议机构

「明确员工招聘、任期和晋升决策的标准，强调论文的内容要比发表指标或期刊地位重要得多，尤其是对早期研究者来说。」

目前，全世界已有 1200 多家组织和接近 14000 个人签署了 DORA。

此外，高校图书馆也是促进负责任评估指标的主力军。一些高校图书馆制作在线指南，帮助学校教师了解如何正确使用不同的指标（包括期刊影响因子），这些学校包括杜克大学医学中心图书馆和档案馆（Medical Center Library & Archives）、伊利诺伊大学香槟分校图书馆、萨里大学图书馆、约克大学图书馆。图书馆还为教师提供文章发表和文献计量学方面的个人咨询和训练。

一些图书馆还领导了相关的大型活动。大学和研究图书馆协会（Association of College & Research Libraries，ACRL）开发了一个用于评估期刊的学术通讯工具包（Scholarly Communication Toolkit），提出多种方式来评估期刊质量。欧洲研究型图书馆协会（LIBER）建立了 Working Group on Metrics。MyRI 项目（Measuring your Research Impact）由三所爱尔兰高校图书馆联合成立，旨在提供关于文献计量学的开放教育资源。

学术生活艰苦，得到公平合理的评价是极大的慰藉。期待学术评估和机构 RPT 过程更加客观科学，重视研究本身和研究者本人的贡献。

参考链接：

https://www.nature.com/articles/d41586-019-01151-4

https://peerj.com/preprints/27638.pdf

「投资市北高新，共创数智未来」，中国大数据产业之都沪港合作推介会即将于 2019 年 4 月 15 日在香港会展中心举行。点击「阅读原文」参与报名。