Obstacle avoidance in industrial robotics with hybrid motion control and deep reinforcement learning

This thesis deals with the resolution of the 'Obstacle Avoidance' problem in industrial manipulator applications, with the combination of 'motion planning' and 'Deep Reinforcement Learning' algorithms. The general concepts of Robotics theory and Deep Reinforcement Learning algorithms are introduced. The proposed algorithm wants to be applied in a real industrial context. But first, it is necessary to test and validate the algorithm in a simulated environment. To obtain a working environment to test the algorithm and in the future implement it in a real industrial manipulator, we have integrated a robotics simulator with the official development environment to program the activities of Epson robots. We introduce a method to parallelize the Deep Reinforcement Learning algorithm in real-time simulations. We move on to the presentation of the whole experimental setup, with different situations of virtualization of the environment. We show experimental results and a short explanation. Finally, we present some future ideas for the application of Deep Reinforcement Learning in contexts of real and unsimulated applications.

La presente tesi tratta della risoluzione del problema 'Obstacle Avoidance' nelle applicazioni di manipolatori industriali, con la combinazione di algoritmi di 'motion planning' e algoritmi di 'Deep Reinforcement Learning'. Vengono introdotti i concetti generali della teoria di Robotica e gli algoritmi di Deep Reinforcement Learning. L'algoritmo proposto vuole essere applicato in un contesto industriale reale. Prima però è necessario testare e validare l'algoritmo in un ambiente simulato. Per ottenere questo ambiente di lavoro e in futuro implementare l'algoritmo in un manipolatore industriale reale, abbiamo integrato un simulatore di robotica con l'ambiente di sviluppo ufficiale per programmare le attività dei robot Epson. Introduciamo un metodo per parallelizzare l'algoritmo di Deep Reinforcement Learning in simulazioni real-time. Nella tesi viene descritto l'intero setup sperimentale, con diverse situazioni di virtualizzazione dell'ambiente. Mostriamo i risultati sperimentali e una breve spiegazione. Infine si presentano alcune idee future per l'applicazione del Deep Reinforcement Learning in contesti di applicazioni reali e non simulati.