Intuicyjny interfejs programowania robota z neuronowymi modułami do interpretacji sceny

W niniejszym artykule badany jest problem programowania robota przy użyciu języka naturalnego. W Zaproponowanym systemie wykorzystano moduły rozpoznawania głosu, neuronowej detekcji obiektów na scenie, wskaźnika oraz estymacji gestów operatora do implementacji nowego interfejsu człowiek-robot, który pozwala na definiowanie zadanego ruchu robota. Stworzony interfejs integruje wymienione moduły oraz umożliwia programowanie i interakcję z robotem bez konieczności stosowania specjalnie zaprojektowanych interfejsów sprzętowych oraz znajomości wiedzy specjalistycznej. W artykule dokonano analizy efektywności programowania robotów za pomocą zaproponowanych interfejsów oraz porównano do standardowych metod programowania robotów.

---

In this paper, we propose a system for natural and intuitive interaction with the robot arm. The goal is to program the motion of the robot without the use of specialistic knowledge and training about robots programming. We utilize data from the RGB-D camera to segment the scene and detect objects. We also define the configuration of the operator’s hand and the position of the visual marker to estimate the intentions of the operator and define the actions of the robot. To this end, we utilize trained neural networks and operations on the input point clouds. We also use voice commands to define or trigger the execution of the motion. Finally, we performed a set of experiments to show the properties of the proposed system.