Neural networks for the recognition of the arrow of time in videos

The arrow of time is a physical concept, which is used to describe the asymmetry of time. Time flows in a single direction, no moment is repeatable. The arrow of time, in the reality in which we live, cannot be reversed. This is not entirely true if we transfer the concept of the arrow of time to a video. A video can be played in two directions, from the beginning to the end or from the end to the beginning. The arrow of time, in this case, indicates the direction in which the video is shown. For the human eye, this seems a pretty simple problem to deal with. It never occurs to us that we do not know in which direction a video is being shown. If it goes forward or if it goes backwards. This is because in almost every video we see, there is often a clear temporal reference, which can be a person walking, a car on the motorway or the fall of an object. All those elements that clearly indicate to us the direction in which we are watching a video. However, for an automatic system, this is not as obvious. The main topic of this thesis is the implementation of an artificial neural network that is capable of analysing the arrow of time of a video. Different types of networks and configurations will be considered, with the aim of finding the most suitable to solve a problem of this type. These neural networks will be trained with multiple videos showing certain actions. The videos will be analysed in both directions in order to build up a solid understanding of the course of the arrow of time. The errors that this network has made will be analysed and commented on, and I will analyse if they are errors that the human eye could also make. Because even the human eye, without temporal references, can be misled. The thesis ends with a preliminary study using the technique of Transfer Learning, which literally consists of transferring the knowledge learned in recognising the arrow of time, into a classification problem.

Reti neurali per il riconoscimento della freccia del tempo in sequenze video. La freccia del tempo è un concetto fisico, che serve per descrivere l'asimmetria del tempo. Il tempo scorre in un’unica direzione, nessun momento è ripetibile. La freccia del tempo, nella realtà in cui viviamo non può essere invertita. Ciò non è del tutto vero se trasferiamo il concetto di freccia del tempo in un video. Un video può essere riprodotto in due direzioni, dall'inizio alla fine o dalla fine all'inizio. La freccia del tempo, in questo caso, serve ad indicare la direzione nel quale il video viene mostrato. Per l'occhio umano sembra un problema abbastanza banale da affrontare. Non ci capita mai di avere il dubbio di non sapere in quale direzione ci venga mostrato un video. Se va avanti o se va all'indietro. Ciò accade perché in quasi tutti i video che vediamo, c'è spesso un chiaro riferimento temporale, che può essere una persona che cammina, una macchina in autostrada o la caduta di un oggetto. Tutti quegli elementi che ci indicano chiaramente la direzione in cui stiamo guardando un video. Tuttavia, per un sistema automatico, ciò non è altrettanto ovvio. L'argomento principale di questa tesi è l'implementazione di una rete neurale artificiale che sia capace di analizzare la freccia del tempo di un video. Verranno prese in considerazioni diversi tipi di reti e di configurazioni, con l'obbiettivo di trovare la più adatta a risolvere un problema di questo tipo. Queste reti neurali saranno allenate con molteplici video che mostrano determinate azioni. I video verranno fatti analizzare in entrambe le direzioni, in modo da costruire una solida conoscenza dell'andamento della freccia del tempo. Verranno analizzati e commentati gli errori che tale rete ha commesso, e analizzerò se sono errori che potrebbe commettere anche l'occhio umano. Poiché anche quest'ultimo, senza riferimenti temporali, può essere tratto in inganno. La tesi si chiude con uno studio preliminare che utilizza la tecnica del Transfer Learning, che consiste letteralmente nel trasferire le conoscenze apprese nel riconoscere la freccia del tempo, in un problema di classificazione.