Czy algorytmy wprowadzają w błąd? Metaanaliza algorytmu profilowania bezrobotnych stosowanego w Polsce

Decyzje w polityce społecznej podejmowane z użyciem algorytmów wpływają na jakość życia ludzi na świecie. Niedostępność algorytmów utrudnia ocenę ich wiarygodności. Nie wiadomo, czy modele statystyczne dobrano i zastosowano prawidłowo. Czy dane były wiarygodne? Autorzy podejmują ten ogólniejszy problem na przykładzie jednego z pierwszych algorytmów wdrożonych w Polsce: narzędzia profilowania bezrobotnych. Algorytm miał mierzyć potencjał osób bezrobotnych i na tej podstawie pomóc dzielić je na grupy o zróżnicowanym prawie dostępu do aktywizacji zawodowej. Opierając się na analizie dokumentów urzędowych, uzupełnionych o dane jakościowe i ilościowe, autorzy prześledzili decyzje podejmowane podczas konstrukcji algorytmu i dokonali metaanalizy statystycznej tego narzędzia. W artykule dowodzą, że algorytm profilowania nie spełniał podstawowych standardów metodologicznych: dane o osobach bezrobotnych były nierzetelne, błędnie zastosowano model psychometryczny, nieprawidłowo skonceptualizowano podstawową zmienną, formuły matematycznej nie dostosowywano do wyników analiz, lecz do poczynionych z góry założeń.

Social policy decisions based on algorithms affect the quality of life of people. Yet, the access to algorithms is restricted, which makes it difficult to assess their credibility. In result, it often remains unknown whether the statistical models were correctly applied or based on reliable data. The authors address this more general problem, by referring to the example of the tool for profiling the unemployed implemented in Poland. The profiling algorithm was to measure the potential of the unemployed in order to divide them into groups with different access to activation measures. Based on the analysis of the official documents, supplemented with qualitative and quantitative data, the authors performed a statistical meta-analysis of this tool. They prove that the profiling algorithm did not meet the basic methodological standards in terms of data quality and the selection and application of the statistical model.