应竞争委员会于2018年5月29日的邀请,欧洲研究基础设施战略论坛(ESFRI)成立评估工作组(WG),旨在制定关键绩效指标(KPI)以监测科研基础设施(RI)运行情况的通用方法。在第71届ESFRI论坛会议(2019年12月17日至18日)上对工作组的成果进行了介绍。
拟定KPI应提供一个涵盖从投入到产出等一系列指标的全面框架,这些指标将用于ESFRI地标(Landmark)及其他设施的定期审查中,并可能进一步被更多的RI、资助机构和相关方所采用。
制定KPI解决泛欧洲RI常见任务的评估问题是必要的,KPI应与大部分RI相关,并且适用于大部分RI。目前已经在RACER标准上进行了测试,即必须是相关、可接受、可信、易于监测且功能强大。一些新颖的方法,例如基于替代计量学的方法可能会在将来大大改变监测的方法,然而它们目前还不符合RACER标准,因此在制定KPI过程中并未考虑。
1.所有KPI均应与RI的任务保持一致,并符合RACER标准:相关、可接受、可信、易于监测且功能强大。每个KPI都应附有一份参考表,表中给出了定义、数据源、计算方法以及其他与计算或适用性有关的信息。
2.考虑到RI及其任务、发展状况的多样性,以及每个RI的特定KPI的不同相关性,KPI并不适合用于比较RI的性能。
3.尽管目标是希望KPI能与大多数RI相关,但目前还有很多KPI不能被全部RI所使用。可能需要进行修改才能使某些KPI适用于各个RI,同时RI还应为每个定量KPI提供一个简短的说明。制定框架也需要考虑RI的开发阶段。
4.收集数据的具体方法或工具需要得到RI的同意,以便能够可靠地上报指标。工作组建议ESFRI应该促进这些工具方法的开发。
5.建议ESFRI建立监测小组,负责实施KPI以及监测泛欧洲RI,从而帮助开展开发和实施KPI,确保欧洲RI及其相关方能够共享这些经验。
6.建议每个RI所使用的KPI应由RI、ESFRI(策略工作小组、执行小组、监控执行小组)以及其他相关方协商决定。然后,RI应收集数据并定期计算KPI,其方式应在ESFRI进行定期评估时提供给评估人员。建议将这些数据用于咨询。
7.建议RI及其相关方考虑将提出的任务和KPI应用于监测中。