Nature｜影响因子用来评价学术研究合适吗？

近日在国际顶级期刊Nature上发表题为“Impact factors are still widely used in academic evaluations”的新闻。调查发现，40%的研究型大学在评估报告中提到了有争议的指标(影响因子)，尽管他们努力降低其影响~

早在去年伦敦帝国理工学院Stephen Curry教授在Nature上发表一篇“Let’s move beyond the rhetoric: it’s time to change how we judge research”的文章，指出迫切需要改进学术研究的评估方式，并要求科学家、资助者、机构和出版商放弃使用期刊影响因子(JIFs)来评判单个研究人员。2012年在旧金山举行的美国细胞生物学学会年会上就提出过类似的问题，认识到有必要改进对学术研究成果进行评估的方法。并提出了The Declaration on Research Assessment (DORA研究评估宣言)。

JIFs从来就不是单个论文的衡量标准，更不用说单个人了。它们是某一期刊论文在两年内被引用的偏态分布的平均值。这些平均值不仅掩盖了同一期刊论文之间的巨大差异，而且引用量也不是衡量质量和影响力的完美指标。IF高的期刊可能会发表许多顶尖的科学论文，但我们不应该把对个别研究人员及其产出的评估外包给诱人的期刊指标。

因此，DORA现在的工作是加速它所要求的更改。Stephen Curry教授说道“每当我遇到博士后时，我都觉得有必要做出改变。他们对世界的好奇心和改善世界的决心燃烧得很旺。但他们追求最迷人、最具影响力的问题的欲望，被我们的评估体系颠覆了。当他们申请他们的第一个长期职位时，他们已经在计算如何在依赖JIFs的现代科学管理主义中运作。”

期刊影响因子(JIF)最初是为了帮助图书馆决定索引和购买哪一个期刊而建立的。然而，在过去的几十年里，它已经成为一种基于期刊排名来评价研究论文的依赖指标。接受调查的科研人员经常抱怨说要在高JIFs的期刊上发表论文，他们感到了压力。近日墨西哥国立自治大学Erin C. McKiernan教授在Peer J Preprints上发表了一项针对北美院校的调查发现，有近一半的研究型大学在决定提拔人员时都会考虑期刊的IF。这份分析报告对美国和加拿大129所大学及381个学术单位的800多份文件进行了研究，他们通过软件运行这些评估文件，软件设计了用来标记与影响因子相关的特定术语，他们阅读文件子集中的相关段落，用来了解学校或机构如何以及为何使用该指标。为IF用于科研人员评审、晋升、终身职位获取的相关信息提供了支持。

结果显示，在重点关注的研究型机构中，约40%的研究型机构在审查、晋升和终身职位过程中使用的文件中提到了IF。而只有18%的关注硕士学位的大学提到了期刊影响因子或与其密切相关的术语。我们的定性分析显示：在研究型大学中，超过80%的相关文件在科研人员审查、晋升和终身职位聘用过程中提到鼓励在学术评估中使用IF，而在提到JIFs的这些机构时,只有13%的机构对这一指标提出了质疑的态度。但大多语言倾向于暗示高影响因子与更好的研究有关，例如，61%的被提及者将影响因素描述为研究质量的衡量标准，35%的被提及者表示它反映了工作的重要性。

评判的误差

JIFs是衡量某一特定期刊上发表的文章在过去两年中平均被引用的次数。出版商经常宣传这个数字，以反映期刊的质量。但是，许多学者和评审小组已经将影响因素作为判断一项研究或发表该研究的科学家的质量、重要性和声誉的一种快速方法。这惹恼了许多学者，他们表示IF传播了不利于科学的不健康研究文化，他们希望大学在招聘和晋升过程中不再使用这种衡量标准。

Erin C. McKiernan教授指出：我们现在有数据显示学术评估的进展。她预计在这些文件中明确使用IF的机构比例会更高，她警告称他们的结果可能只是“冰山一角”。在评估过程中，可能会有更多间接提到影响因素的术语，比如“顶级期刊”或“高级期刊”。

评价方法的重要性

Stephen Curry教授表示对于大学来说，想出其他评估员工的方法至关重要。他说：“对研究人员的评价应该基于他们所做的工作，而不仅仅是他们在哪里发表了论文，而且应该对他们在发表研究论文之外所做的许多贡献给予肯定。”

对于很少发表文章的人来说，JIFs的好处在于它是前瞻性的，而不是回顾性的。JIFs提供即时验证：随着时间的推移，h指数和被引用次数都在增加，这是早期研究人员积累起来的财富。在旧的体制下，如果你努力学习，你的第一作者论文就会出现在IF很高的期刊上，这将带来晋升及终身职位的幸福感。

伦敦帝国理工学院的高级讲师John Tregoning教授说：“新一代的科研人员拥有一系列独特的优势，从长远来看，如果学校或机构考虑对他们进行奖励，这些优势可能会使他们的科研事业更加强大。这些特点包括更社会化的科学研究方法，以及利用信息技术共享数据、方法和学分的便利。”

也许DORA或者科学家们会想出一个非常公平的方法来衡量5年或10年后的科学产出。也许它将是全面的，广泛接受的，支持的和简单的。如果真的发生了，那就太好了。与此同时，对如何判断科学生产力的困惑正在侵蚀科学生产力。我们需要一个快速的解决方案，而最快的解决方案就是清晰的、透明化的。

不知道国内这种现象是否也普遍存在呢，大家可以在留言区发表自己的看法和意见。(插图摘自相关文章)

参考文献:

1 Nature (2019) doi: 10.1038/d41586-019-01151-4

2 McKiernan, E. C. et al. Preprint at PeerJ Preprints https://doi.org/10.7287/peerj.preprints.27638v2 (2019).

3 Nature 544, 411–412 (2017) doi:10.1038/544411a

4 Nature 558, 345 (2018) doi: 10.1038/d41586-018-05467-5

本文系Junas供稿。

欢迎大家到材料人宣传科技成果并对文献进行深入解读，投稿邮箱: tougao@cailiaoren.com.

投稿以及内容合作可加编辑微信：cailiaorenVIP.