The aim of this work is to simplify and make the programming of robot trajectories more intuitive by exploiting the recognition of hand gestures and hand tracking information. A Leap motion controller was used, which it is a stereoscopic 3D vision sensor capable to detect hands and to provide tracking information about several hand’s elements. This device has been integrated with a Doosan collaborative robotic arm, mounted on the manipulator’s wrist so that it has a field view on the robot workspace. This thesis proposes a description of the state of the art of these kind of technologies followed by a presentation of all the tools adopted. Then, it is provided the description of the experiment implementation: once the initial layout has been built, the experiment starts with the detection of the left hand gestures of two different subjects, to build a data set with the aim to train a multilayer perceptron classifier for gesture recogniton, nine gestures are been discriminated and some of them are used as input command. Then the process continues with a calibration phase to establish the true position of the sensor with respect to the workspace, considering an interaction box in which measurements are regarded optimal by the builders. The right index finger tip positions were fetched to draw the desired trajectory by taking the measurements three times, these data were processed with filtering operations and a performance analysis was developed. The results suggest satisfactory performances in gesture recognition with a real-time recognition rate of 97.94%. Regarding the position measurements, better results has been obtained with respect to forecast, while the trajectory tracking results still remain insufficient for this type of application. Furthermore, the system is limited by the small interaction box so further solutions should be investigated to improve performances. Some future investigation directions are discussed in the conclusions.
Tracciamento di traiettorie per robot collaborativi Doosan utilizzando il riconoscimento dei gesti delle mani con il sensore Leap Motion. L'obiettivo di questa tesi è di semplificare e rendere più intuitiva la programmazione delle traiettorie dei robot sfruttando il riconoscimento dei gesti delle mani e le informazioni sul loro tracciamento. È stato utilizzato il Leap Motion Controller, un sensore di visione 3D stereoscopico in grado di rilevare le mani e di fornire informazioni di tracciamento di diversi elementi della mano. Questo dispositivo è stato integrato con un braccio robotico collaborativo Doosan, montato sul polso del manipolatore in modo da avere una visuale sul campo di lavoro del robot. Questa trattazione propone una descrizione dello stato dell'arte di questo tipo di tecnologie seguita da una presentazione di tutti gli strumenti adottati. Successivamente, viene fornita la descrizione dell'implementazione del progetto: una volta costruito il layout di partenza, l'esperimento inizia con la rilevazione dei gesti della mano sinistra di due diversi soggetti, per costruire un insieme di dati con lo scopo di allenare il classificatore Multilayer Perceptron per il riconoscimento dei gesti. Sono stati scelti nove gesti diversi e alcuni di questi sono stati utilizzati come comando di ingresso per il sistema. Il processo prosegue con una fase di calibrazione per stabilire la posizione reale del sensore rispetto all'area di lavoro, considerando una zona di interazione in cui le misure vengono dichiarate ottimali dai costruttori. Sono state rilevate le posizioni della punta del dito indice destro usato per disegnare la traiettoria desiderata. Per ogni traiettoria, questi dati sono stati elaborati con operazioni di filtraggio ed è stata svolta un'analisi delle prestazioni. I risultati suggeriscono prestazioni soddisfacenti nel riconoscimento dei gesti, con un tasso di riconoscimento in tempo reale del 97,94%. Per quanto riguarda le misure di posizione, sono stati ottenuti risultati migliori rispetto alle previsioni, mentre i risultati del tracciamento della traiettoria rimangono ancora insufficienti per questo tipo di applicazione. Inoltre, il sistema è limitato da una piccola area di interazione, quindi, è necessario studiare ulteriori soluzioni per migliorare le prestazioni. Nel capitolo sulle conclusioni vengono presentati alcuni possibili miglioramenti per eventuali sviluppi futuri.
Tracking trajectories for Doosan Collaborative Robot by using Hand-Gesture Recognition with Leap Motion sensor
CONTU, LUISELLA
2021/2022
Abstract
The aim of this work is to simplify and make the programming of robot trajectories more intuitive by exploiting the recognition of hand gestures and hand tracking information. A Leap motion controller was used, which it is a stereoscopic 3D vision sensor capable to detect hands and to provide tracking information about several hand’s elements. This device has been integrated with a Doosan collaborative robotic arm, mounted on the manipulator’s wrist so that it has a field view on the robot workspace. This thesis proposes a description of the state of the art of these kind of technologies followed by a presentation of all the tools adopted. Then, it is provided the description of the experiment implementation: once the initial layout has been built, the experiment starts with the detection of the left hand gestures of two different subjects, to build a data set with the aim to train a multilayer perceptron classifier for gesture recogniton, nine gestures are been discriminated and some of them are used as input command. Then the process continues with a calibration phase to establish the true position of the sensor with respect to the workspace, considering an interaction box in which measurements are regarded optimal by the builders. The right index finger tip positions were fetched to draw the desired trajectory by taking the measurements three times, these data were processed with filtering operations and a performance analysis was developed. The results suggest satisfactory performances in gesture recognition with a real-time recognition rate of 97.94%. Regarding the position measurements, better results has been obtained with respect to forecast, while the trajectory tracking results still remain insufficient for this type of application. Furthermore, the system is limited by the small interaction box so further solutions should be investigated to improve performances. Some future investigation directions are discussed in the conclusions.È consentito all'utente scaricare e condividere i documenti disponibili a testo pieno in UNITESI UNIPV nel rispetto della licenza Creative Commons del tipo CC BY NC ND.
Per maggiori informazioni e per verifiche sull'eventuale disponibilità del file scrivere a: unitesi@unipv.it.
https://hdl.handle.net/20.500.14239/15803