The Application of Machine Learning in Faculty Assessment: A Case Study of Narxoz University

This paper shows that machine learning models can be used to achieve a more transparent, fair, and unbiased faculty incentive system that is closely linked to the implementation of university strategy. Narxoz University in Almaty, Kazakhstan, has implemented the KPI system, with strategic goals cascaded into organizational units and from there to individual faculty and staff members. Wage increase and promotion decisions are linked to a semi–annual faculty and staff performance review. This, in its turn is based on the KPI assessment, quality of teaching, research output, and additional achievements. Data analyzed by Narxoz’s HR Committee as well as decisions taken by the Committee to estimate logit and CART models that recommend wage raise decisions were used. We have demonstrated that these simple machine learning models can replicate HR Committee decisions with good accuracy. Moreover, we have also shown that faculty members selected for wage raises by machine learning algorithms achieve better results than faculty promoted by the HR Committee. This paper also presents the benefits of using data science techniques in HR processes at business schools. Firstly, the technique leads to the discovery of the actual decision processes that take place. Secondly, it allows verification of whether decisions are taken in line with internal procedures or without regard for such procedures, and allows the verification of their time consistency. Thirdly, such analysis provides good grounds for a transparent discussion about improvements in HR processes. Finally, a modeling of HR decisions allows the creation of evidence–based policies and helps forge a learning organizational culture.

W artykule przedstawiono studium przypadku zastosowania modeli sztucznej inteligencji do stworzenia przejrzystego, efektywnego i opartego na faktycznych osiągnięciach systemu motywacyjnego, który jest ściśle powiązany ze strategią uczelni. Na Uniwersytecie Narxoz w Ałmaty w Kazachstanie wprowadzono system oceny kadr oparty na strategicznych KPI, które zostały skaskadowane na poziom jednostek uczelni oraz niżej na poziom poszczególnych pracowników naukowo-dydaktycznych i administracyjnych. Decyzje o premiach, podwyżkach płac i awansie zostały połączone z oceną pracowniczą opartą o KPI, dokonywaną półrocznie. W przypadku pracowników naukowo-dydaktycznych cele KPI uwzględniają jakość zajęć, działalność naukową i dodatkowe osiągnięcia. W artykule wykorzystano dane KPI i decyzje podejmowane przez Komitet ds. HR uczelni do oszacowania modeli logit i CART, które pozwoliły ocenić, jakie czynniki miały kluczowy wpływ na decyzje Komitetu ds. HR. Pokazano, że te proste modele maszynowego uczenia są w stanie replikować decyzje Komitetu z dużą dokładnością. Ponadto pokazano również, że w przypadku różnicy zdań Komitetu i modeli pracownicy, którzy byli rekomendowani do podwyżki przez model, ale nie uzyskali pozytywnej decyzji Komitetu, osiągali lepsze wyniki w pracy. Artykuł prezentuje korzyści z wykorzystania modeli sztucznej inteligencji w procesach HR-owych na uczelni i w innych firmach. Po pierwsze, pozwala na opisanie jak wygląda faktyczny proces decyzyjny. Po drugie, można ocenić, czy kluczowe decyzje HR-owe są podejmowane zgodnie z wewnętrznymi procedurami, czy z ich naruszeniem, oraz ocenić spójność wewnętrznych procesów HR-owych. Po trzecie, taka analiza daje przesłanki do merytorycznej i transparentnej dyskusji na temat doskonalenia procesów HR-owych. W końcu, modelowanie decyzji HR-owych tworzy kulturę organizacyjną opartą na faktach i kulturę uczącej się organizacji.