审稿人制度是保证期刊专业性以及协助科研人员进步的重要手段，但某些不专业甚至恶语伤人的审稿意见也可能对科研人员造成伤害，让他们感到信心受挫，科研产出效率降低。
欧美学术界流传着“2 号审稿人”（Reviewer #2）的传说，形容那些恶语伤人或提出无理要求的审稿人，他们的意见足以让论文作者感到怀疑人生。事实上，这样的审稿人很可能不是少数。近期发表在 Peer J 的一项研究针对 46 个国家、14 个STEM 领域共 1106 位科研人员进行了调查，发现 58% 的研究者表示收到过不专业的评审意见，并且这样的评价会对科研人员造成多种负面影响。
审稿人制度是保证期刊专业性以及协助科研人员进步的重要手段，但以往多个针对审稿人制度的研究已经提出，投稿人的身份属性（如语言、所属机构、国籍等）以及杂志自身指标（如稿件接收量、接受率、审稿时长以及审稿人水平）可能对审评过程的专业性造成影响。但针对“恶评”本身的研究尚属首次。
在该项研究中，来自加利福尼亚州立大学（California State University）的 Nyssa J. Silbiger 和来自西方学院（Occidental College）的 Amber D. Stubler 对不专业评审意见进行了定义，即“不道德或与论文本身无关”，具体特征可能包括：
（1）缺乏建设性意见，例如“这篇文章就是垃圾”、“研究设计让这个领域倒退了 20 年”；（2）更多针对作者而非文章内在或文章质量，例如“该第一作者是位女士，她更应在厨房做饭，而不是写论文”；（3）基于个人意见而非事实证据对文章进行评判，例如“作者的姓氏看起来像西班牙语，因而我未阅读该文，它肯定全是蹩脚的英文”；（4）言语偏激、有攻击性，对作者进行人身攻击，例如“你应该认真在科学领域以外找个工作”。
调查中收到的“不专业评审意见”示例。图片来源：Silbiger and Stubler (2019), PeerJ, DOI 10.7717/peerj.8247
明确定义后，研究作者们利用线上网络平台，针对 18 岁以上的 STEM 领域研究者进行问卷调查，统计他们收到这类评审意见的情况，并分别从自身学术能力、产出效率、职业晋升三方面，将非专业性评价对参与者的影响程度进行了统计。结果表明，近六成研究人员表示收到过不专业的评审意见 ，其中超过七成表示这种情况曾多次发生。参与调查人员分布（A）事业阶段（N=11），（B）学科分布（N=14），（C）国家（N=46）。（C）图中颜色深浅代表不同国家参与人员数量，白色表示该国家参与人数为0。图片来源：Silbiger and Stubler (2019), PeerJ, DOI 10.7717/peerj.8247研究团队还收集了调查参与者的基本人口统计信息，包括性别、受教育程度、事业阶段、居住国、专业领域以及种族等，并据此将参与者分为四类：有色人种女性及非二元性别群体、有色人种男性群体、白人女性及非二元性别群体、白人男性群体。总体看来，不同的性别和种族群体收到恶评的频率相当。
但是，不专业评审意见对不同群体的影响有较大差异，研究团队认为这是加剧 STEM 学科中不平等的原因之一。参与者们被要求用打分的方式表明恶评对自己的影响，用打分的方式回答以下 3 个问题（ 1 分代表完全没有影响，5 分代表影响非常严重）：
（1）不专业的评审意见在多大程度上让你怀疑自己的学术能力？（2）在你看来，不专业的评审意见在多大程度上影响了你的产出效率（以每年发表论文数量计）？（3）在你看来，不专业的评审意见在多大程度阻碍了你的科研事业？
非专业性审评意见对参与者在（A）怀疑自身学术能力（N=617）；（B）减少产出（N=620）；（C）延迟职业晋升（N=618）方面的影响。颜色代表影响程度，其中最浅代表 1（无影响），最深代表 5（影响极大）。图中从左到右分别代表有色人种女性及非二元性别群体、白人女性及非二元性别群体、有色人种男性群体、白人男性群体。图片来源：Silbiger and Stubler (2019), PeerJ, DOI 10.7717/peerj.8247
研究发现，对于不专业评审意见是否引发对学术能力的自我怀疑，白人男性中表示未受到影响的人数占比约为 40%；与此同时，其他三类人群中只有约 20% 表示未受到影响。
相似的趋势也出现在对不同人群后续学术产出量的影响上。在女性以及非二元性别人群中，约 25% 表示不专业评审意见会对其后续学术产出量造成中等程度的负面影响（3 分），只有不到 20% 表示未受到影响；相比之下，有色人种男性中超过 20% 表示未受到影响，而白人男性中这个比例达到了约 35%。除此以外，不专业评审意见对有色人种女性及非二元性别人群在职业发展方面的负面影响也最为明显。
不专业评审意见对不同研究人员造成的不同负面影响成因复杂。论文作者们指出，考虑到 STEM 领域中男性平均论文发表量比女性高 40%，与此同时，要想达到与同一领域男性作者相同的产出率，女性要花上 2.5 倍的时间。他们在讨论部分写道：“我们的研究无法统计不专业评审意见导致的科研产出效率的下降，但调查结果显示，这些意见强化了不被充分代表的群体（underrepresented groups）日常遭遇的偏见。”
作者们还引用其他文献指出，女性在研究经费上缺乏支持，并且在学术机构中她们需要花费更多的时间与精力完成日常服务性工作，这也使其对“非专业性评审”造成的职业发展负面影响更有感触。
在《科学》杂志对这项研究的报道中，密歇根大学心理学家 Denise Sekaquaptewa 指出，这样的调查结果并不令人意外，符合心理学中许多刻板印象相关研究的结论。由于刻板印象认为女性或有色人种不够聪明，或者不适合搞科研，因此收到强化这种刻板印象的评审意见会造成心理上的压力，无论那些意见本身有多么荒谬。这种压力又会进一步导致自我怀疑、表现下滑和职业发展受损。
当然，这项研究也有一些不足。作者们表示，仅用英语进行相关调查有一定限制，并且由于调查采用自愿参与的形式，从未收到不专业评审意见的人可能参与的意愿更低。Silbiger NJ, Stubler AD. 2019. Unprofessional peer reviews disproportionately harm underrepresented groups in STEM. PeerJ 7:e8247 https://doi.org/10.7717/peerj.8247
1. Nyssa J. Silbiger, and Amber D. Stubler, Unprofessional peer reviews disproportionately harm underrepresented groups in STEM（December 12, 2019）PeerJ, DOI 10.7717/peerj. 8247 https://www.sciencemag.org/careers/2019/10/reviewers-don-t-be-rude-nonnative-english-speakers
2. https://www.sciencemag.org/news/2019/12/rude-paper-reviews-are-pervasive-and-sometimes-harmful-study-finds
