Problems and Considerations in the Design of Bibliometric Indicators for National Performance-Based Research Funding Systems

This article presents an overview of ten specific problems and considerations that are typically involved in designs of bibliometric indicators for national performance-based research funding systems (PRFS). While any such system must be understood and re-spected on the background of different national contexts, mutual learning across coun-tries can inspire improvements. The paper is partly based on experiences from a Mutual Learning Exercise (MLE) on Performance Based Funding Systems which was organized by the European Commission in 2016–17and involved fourteen European countries, partly on experiences from advising a few other countries in developing such systems. A framework for understanding country differences in the design of PRFS is presented first, followed by a presentation of the five specific problems and considerations that are typically involved in designs of bibliometric indicators for such system. The article con-cludes with an overview of how Norway’s PRFS has dealt with the same five problems.

Artykuł obejmuje przegląd dziesięciu konkretnych problemów i zagadnień, które zazwy-czaj pojawiają się przy projektowaniu bibliometrycznych wskaźników dla krajowych sys-temów finansowania opartych na wynikach (z ang. „performance-based research funding systems” -PRFS). Każdy taki system należy analizować w specyficznym kontekście kra-jowym, ale wzajemne uczenie się może inspirować do wprowadzania usprawnień. Arty-kuł powstał częściowo w oparciu o doświadczenia z warsztatów wzajemnego uczenia się (MLE) dotyczących systemów finansowania opartych na wynikach. Warsztaty dla czter-nastu krajów europejskich zorganizowała w latach 2016–2017 Komisja Europejska. Poza tym podstawą do napisania artykułu są doświadczenia związane z doradzaniem kilku krajom przy opracowywaniu takich systemów. Pierwsza część dotyczy różnic przy pro-jektowaniu PRFS pomiędzy państwami, następnie przedstawiono pięć konkretnych pro-blemów i zagadnień, które zazwyczaj wiążą się z projektowaniem wskaźników bibliome-trycznych dla takiego systemu. Na koniec znajduje się opis tego, jak te pięć problemów rozwiązano w norweskim systemie PRFS.