Integrazione Visuo-Motoria nella Robotica Riabilitativa: Pipeline per Ricostruzione 3D e Validazione Sperimentale di Task di Pick And Place su Robot TIAGo

Autonomous manipulation represents one of the main challenges in mobile robotics, requiring accurate spatial perception and robust trajectory planning. This thesis work presents the development and validation of a complete software architecture, based on ROS 2, for executing Pick & Place tasks using the TIAGo mobile manipulator. The proposed system integrates a visual perception module, implemented in Python, that processes data from the robot's RGB-D sensor. The pipeline leverages deep learning models (YOLO) for the semantic segmentation of target objects within the scene and filters the associated Point Cloud to dynamically compute their physical dimensions and 3D centroid. The acquired spatial coordinates, appropriately transformed into the robot's global reference frame, feed the MoveIt 2 framework for inverse kinematics management, obstacle avoidance, and safe trajectory planning. Following initial validation in a simulated environment (Gazebo), which confirmed the robustness of the software integration with sub-centimeter precision, the system underwent an extensive experimental campaign on the real robot located in the Living Lab of the REDI center of excellence at the University of Pavia. Cross-analysis of the metrics (Detection Rate, dimensional error, and centroid jitter) confirmed the high reliability of the architecture. The YOLO network guaranteed optimal detection rates in almost all scenarios, while the fusion with depth data yielded extremely precise volumetric estimates, with real deviations on the order of a few millimeters for most targets. The experimentation also made it possible to map the physical limits of the optical sensors, isolating infrared scattering phenomena on close-range curved surfaces and rare cases of chromatic camouflage. Leveraging these insights, an optimal Safe Workspace was defined at medium-long distances (> 60 cm), within which the system expresses its maximum potential, guaranteeing sub-millimeter spatial stability in calculating the centroid of objects in the scene. In conclusion, the developed hybrid architecture proved to be highly effective, successfully mitigating the intrinsic limits of the hardware and providing highly reliable coordinates. The system thus enabled the TIAGo robot to autonomously, safely, and repeatably perform manipulation maneuvers (Pick & Place) in real operational scenarios.

La manipolazione autonoma rappresenta una delle sfide principali nella robotica mobile, richiedendo un'accurata percezione spaziale e una pianificazione robusta delle traiettorie. Questo lavoro di tesi presenta lo sviluppo e la validazione di un'architettura software completa, basata su software ROS 2, per l'esecuzione di task di Pick & Place mediante il robot manipolatore TIAGo. Il sistema proposto integra un modulo di percezione visiva, implementato in linguaggio Python, che elabora i dati del sensore RGB-D del robot. La pipeline sfrutta modelli di deep learning (YOLO) per la segmentazione semantica degli oggetti target all'interno della scena e filtra la Point Cloud associata per calcolarne dinamicamente le dimensioni fisiche e il baricentro 3D. Le coordinate spaziali acquisite, opportunamente trasformate nel sistema di riferimento globale del robot, alimentano il framework MoveIt 2 per la gestione della cinematica inversa, l'evitamento degli ostacoli e la pianificazione di traiettorie sicure. Dopo una prima validazione in ambiente simulato (Gazebo), che ha confermato la solidità dell'integrazione software con precisione sub centimetrica, il sistema è stato sottoposto a un'estesa campagna sperimentale sul robot reale presente nel Living Lab del centro di eccellenza REDI dell’Università di Pavia. L'analisi incrociata delle metriche (Detection Rate, errore dimensionale e Jitter del baricentro) ha confermato l'elevata affidabilità dell'architettura. La rete YOLO ha garantito tassi di rilevamento ottimali nella quasi totalità degli scenari, mentre la fusione con il dato di profondità ha restituito stime volumetriche estremamente precise, con scostamenti reali nell'ordine di pochi millimetri per gran parte dei target. La sperimentazione ha inoltre permesso di mappare i limiti fisici dei sensori ottici, isolando i fenomeni di scattering infrarosso su superfici curve ravvicinate e rari casi di mimetismo cromatico. Sfruttando queste evidenze, è stato definito un Safe Workspace ottimale a distanze medio-lunghe (> 60 cm) all'interno del quale il sistema esprime il suo massimo potenziale, garantendo una stabilità spaziale sub millimetrica nel calcolo del baricentro degli oggetti nella scena. In conclusione, l'architettura ibrida sviluppata si è dimostrata altamente efficace, riuscendo a mitigare i limiti intrinseci dell'hardware e fornendo coordinate altamente affidabili. Il sistema ha così consentito al robot TIAGo di portare a termine manovre di manipolazione (Pick & Place) in modo autonomo, sicuro e ripetibile in scenari operativi reali.