Algorithms for stereo-based depth computation: review, selection and tailoring to an IR sensor case

Computer stereo vision aim is the extraction of three-dimensional information about a scene starting from two (or more) points of observation. It’s a highly active field in computer vision and several applications, from automated vehicles to robotics, fruitfully apply the principles and techniques developed in this area. The majority of available systems based on stereo vision is composed of a pair of passive cameras coupled with an active source of light. Although a large number of algorithms have been developed in order to infer the distance of objects from a pair of stereo images, namely to solve the stereo matching problem, relatively little work has been done on the extraction of depth information from a purely passive stereo system. This thesis presents a study of stereo matching algorithms applied to a pair of purely passive sensors, in particular to IR sensors in the long-wave band. The thesis has been developed in collaboration with the Infra Red Search And Track (IRST) team of Leonardo S.p.A. (Milan plant) and this work looks toward possible airborne applications such as collision sense and avoidance and flight aid situation awareness enhancement systems. The airborne target system, characterized by constrained resources in terms of SWAP (size, weight and power consumption), made necessary a particular care to the computational costs of the developed algorithms. The research has been conducted following the workflow presented in Scharstein and Szeliski’s taxonomy. Well-documented stereo matching techniques have been implemented with MATLAB, carrying out a tailoring operation to select the most suitable for infrared data. In order to test the final algorithm validity, both synthetic and real data have been used.

Algoritmi per il calcolo della profondità basati sulla stereovisione: ricerca, selezione e rielaborazione per applicazione a sensori IR. La stereovisione mira all’estrazione di informazione tridimensionale riguardo una scena partendo da due o più punti d’osservazione. È un’area di studi particolarmente attiva nell’ambito della visione artificiale e molteplici applicazioni, dai veicoli automatizzati alla robotica, applicano i principi e le tecniche sviluppate in questo ambito. La maggior parte dei sistemi basati sulla visione stereoscopica è composta da una coppia di sensori passivi uniti a una sorgente attiva di luce. Nonostante siano stati sviluppati un gran numero di algoritmi allo scopo di ricavare la distanza degli oggetti a partire da una coppia di immagini stereo o, in altre parole risolvere il problema della corrispondenza stereo, poca ricerca è stata svolta sull’estrazione d’informazioni sulla distanza da sistemi stereo completamente passivi. Questa tesi presenta uno studio sugli algoritmi di corrispondenza stereo applicati a una coppia di sensori passivi operanti nella banda degli infrarossi a onda lunga. Il lavoro di tesi è stato svolto in collaborazione col gruppo IRST (InfraRed Search and Track) di Leonardo S.p.A. (sede di Milano) e si prefigge la prospettiva futura di una possibile applicazione aerea, come rilevamento di collisioni e sistemi di supporto per l'aumento della sensibilità di volo. Un sistema aereo di rilevazione di target, caratterizzato da risorse limitate in termini di dimensioni, peso e consumo di energia, ha reso necessario una particolare attenzione al costo computazionale degli algoritmi implementati. La ricerca è stata portata avanti seguendo lo schema di lavoro presentato nella tassonomia di Scharstein e Szeliski. Sono stati realizzati algoritmi di corrispondenza stereo tramite l’utilizzo di MATLAB, portando avanti un’operazione di rielaborazione al fine di selezionare il più adatto all’applicazione su dati infrarossi. Per testare la validità dell’algoritmo implementato, sono stati utilizzati sia dati sintetici che dati reali.