Dense motion detection from a moving camera by multiview geometric constraints

In this project we address the problem of detecting motion regions inside frames captured by a single moving camera, in complex scenarios with strong parallax effect and where the dominant plane can evolve over time, and we will consider the scenario of an autonomous car. In particular, we analyze the applicability to this problem to Intelligent Vehicles applications and the robustness of geometric constraints over multiple views, through a study in simulated conditions. The solution we propose takes advantage of such constraints, and moves away from previous works which use them because of the different application scenarios of the latter, that are airbone images or low speed recordings with handheld cameras. We recognize that the geometric constraints cannot be exploited alone under a highly dynamic scenario, so we propose new algorithms which supports them, like the usage of a Bird Eye's View transformation to filter out the parallax effect from the road plane and to restrict the region of interest where to perform the search. The results obtained on full scale real-world sequences show a good efficiency and robustness of the method and quantifies the limits of the geometric constraints, for which we suggest original solutions which would help to improve sensibly the detection.

In questo progetto affrontiamo il problema di riconoscere regioni in movimento all'interno di frame catturati da una singola camera anch'essa in movimento, in scenari complessi con forte effetto di parallasse e dove il piano dominante può evolvere nel tempo, e considereremo lo scenario di una automobile autonoma. In particolare, analizzeremo l'applicabilità a tale problema ed applicazioni per veicoli intelligenti, e la robustezza di vincoli geometrici derivati da frame multipli, attraverso uno studio in condizioni simulate. La soluzione proposta trae vantaggio da tali vincoli, e si discosta da lavori precedenti basati su di essi a causa dei differenti scenari applicativi di questi ultimi, cioè immagini aeree o riprese a bassa velocità con camere portatili. Riconosciamo che i vincoli geometrici non possono essere sfruttati da soli, e per tale motivo proponiamo nuovi algoritmi che li supportano, come l'utilizzo di una trasformazione Bird Eye's View per filtrare via l'effetto di parallasse dal piano della strada e restringere la regione di interesse sulla quale effettuare la ricerca. I risultati ottenuti su sequenze reali in piena scala mostrano un buon rendimento e robustezza del metodo e quantificano i limiti dei vincoli geometrici, per i quali suggeriamo soluzioni originali che possono aiutare a migliorare sensibilmente il riconoscimento.