Ocena modeli rozpoznawania pozy ręki wykorzystujących głębokie sieci neuronowe

W ostatnich latach powstały nowoczesne modele uczenia maszynowego oparte o sieci neuronowe, pozwalające na określenie punktów charakterystycznych oraz pozy ręki. Konkursy takie jak HANDS 2019 pozwoliły określić najlepsze z nich (SOTA), jednak brakuje jednolitego środowiska pozwalającego na porównanie ich do siebie, np. w celu określenia zachowania tych modeli w szczególnych warunkach i dostosowanie sieci do własnych potrzeb. W pracy przedstawiamy krótki przegląd istniejących podejść i zbiorów danych oraz opisujemy działania mające na celu stworzenie standaryzowanego środowiska do uruchamiania modeli regresji punktów charakterystycznych ręki. Opisujemy potencjalne zastosowanie – porównanie modeli do zastosowania ich przy modelowaniu ręki sparaliżowanej w celu opracowania personalizowanego robota miękkiego.

---

The paper presents a short review of modern models for hand key-point detection based on depth data. We designed a unified containerized system for their comparison and ease of use. We tested the setup and re-evaluated the models’ behaviour on the NYU hand pose dataset. The future goal of the work is to use a model with the best results for hand modelling for a personalized design of rehabilitation devices.