编译内容

近年来，科学界出现了一种共识，即仅仅根据定量指标（如出版物数量、第一作者数量、h指数、期刊影响因子）来进行科学评估存在不足。《旧金山研究评估宣言》（the San Francisco Declaration on Research Assessment, DORA）和促进研究评估联盟（the Coalition for Advancing Research Assessment，CoARA）等的倡议表明，研究质量、透明度、稳健性和可重复性已成为优先考虑的重点。

尽管做出了这些努力，但大学的聘用和晋升程序以及资助决策仍在很大程度上偏向于采用易于衡量的量化指标，而不是评估科研工作的质量。德国心理学会的一项调查强调了对发表论文数量和经费的过度重视，而忽视了关键的质量标准（Abele-Brehm & Bühner, 2016）。仅仅依靠数量来评估科学是有问题的，因为其有效性值得怀疑（Brembs 等，2013；Dougherty等，2022；Kepes等，2022；Opthof，1997）。例如，研究表明，期刊排名（根据期刊影响因子）与期刊上发表论文的质量之间的相关性很低，甚至是负相关（Brembs，2018）。此外，学术界是一个竞争激烈的工作环境，聘用和晋升过程中的激励措施会影响个人优先考虑量化指标，而不是研究透明度和领导力等关键方面。这些激励制度会对整个科学体系产生不良影响，尤其是在没有有效的质量控制和自我纠正机制的情况下（Vazire等, 2022）。

德瑞斯顿理工大学的心理学家和神经科学家Anne Gartner博士旨在将招聘和晋升程序从注重研究数量转变为对研究质量的严格考量。她获得了柏林爱因斯坦基金会颁发的2023 年早期职业奖，并倡导通过“负责任研究评估倡议”来激励研究质量提升。她计划利用评分系统，建立包含完整性、透明度、稳健性和方法严谨性等质量方面的标准（G?rtner等，2022；Schonbrodt等，2022）。例如：所有研究数据和材料是否都以FAIR格式记录并可公开获取？统计分析是否附有可理解的元数据和代码，并可公开获取？研究是否可以重复和独立验证？研究是否在发表前进行了预登记并公开研究方法？提出的理论是否符合形式逻辑原则？

自2020年，在多篇文章中发表了他们的建议，并收到了学术界40多份评论。这项工作变成了一项由社区推动的，多个自下而上的工作组致力于特定领域的扩展研究。该倡议的下一个目标是与专家和各利益方进行访谈，以完善标准并促进其在晋升程序中的应用。此外，该倡议目前正在开发一个在线工具，将定性评估与负责任地使用定量指标结合起来，为聘用和晋升委员会提供支持。

虽然目前的重点是研究成果评估，但Gartner博士的长期愿景是开发一套更全面的衡量标准，其中也包括在聘用和晋升程序中评估其他类型的学术贡献：教学质量、领导技能、学术管理和社会影响。在聘用和晋升程序中摒弃以发表论文数量为衡量标准的做法，最终可能会成为整个学术体系的蓝图，例如，也可应用于研究经费、奖学金和奖励的分配。

“要优先考虑研究质量，就必须从根本上改变学术体系的激励机制。”——Anne Gartner

年轻科学家面临着两难选择：要么墨守陈规，尽可能多地发表论文；要么投入时间和精力进行高质量的研究，而这反过来又会对论文数量产生负面影响，进而影响职业生涯。Gartner博士希望该项目能促进未来的发展，即发表更多的论文意味着更高质量、更有价值的研究。

Anne Gartner说：“我希望能为未来做出贡献，我们不仅能看到每年发表更多的研究成果，还能看到更多高质量、高价值的研究成果。”

................................................................................................................................................................................................

原文标题：The Responsible Research Assessment Initiative

原文链接：https://theplosblog.plos.org/2024/02/the-responsible-research-assessment-initiative/

编译：孟美任