Eye Tracking for Cultural Heritage: a Gaze-controlled System for Handless Interaction with Artworks

This thesis aims to develop an application which allows you to interact with artwork through the use of single glance. The device is used to interact with the computer is the eye tracker (theeyetribe.com). The software developed allows you to do several things: choosing the artwork, image scrolling, zoom in / zoom out, the possibility of having additional information (eg name of famous personalities) on certain parts of the artwork (called sensitive areas), data collection on the setting of the user, a chance to review where you looked, generating images containing fixations (downloaded by users through a unique code that is provided to you). The system is composed of: a first calibration phase, in which the user calibrates the device. A second phase in which it can choose the language of the interface (English or Italian). A third phase: the tutorial, that explains the user how to operate the device and what can be done using the control icons (a sort of menu). A fourth phase of full interaction, where you can explore the artwork and try the features described above. At any time you can re-do the calibration. The software was written in C #. This system has been shown in the exhibition "Pavia, the battle, the future. Nothing was like before ", at the Visconteo Castle of Pavia and will be active for six months (from June 14 to November 16, 2015). The images are loaded into the system images of tapestries depicting the famous Battle of Pavia.

Eye Tracking per i beni culturali: un sistema a controllo esclusivamente oculare per l'interazione con opere d'arte. Questa tesi si prefigge di sviluppare un’ applicazione che permetta di interagire con opere d’arte attraverso l’uso del solo sguardo. Il dispositivo utilizzato è per interagire con il computer è l’eye tracker (theeyetribe.com). Il software sviluppato permette di fare diverse cose: scelta dell’opera d’arte, scrolling dell’immagine, zoom in/zoom out, possibilità di avere informazioni aggiuntive (ad esempio nome dei personaggi conosciuti) su alcune parti delle opere d’arte (chiamate aree sensibili), raccolta dei dati sulla fissazione dell’utente, possibilità di rivedere dove si ha guardato, generazione immagini contenenti le fissazioni (scaricabili dagli utenti attraverso un codice univoco che viene fornito all’utente). Il sistema è così composto: una prima fase di calibrazione, in cui l’utente calibra il dispositivo. Una seconda fase in cui può scegliere la lingua dell’interazione (inglese o italiano). Una terza fase di tutorial, in cui viene spiegato all’utente come comandare il dispositivo e cosa si può fare utilizzando le icone di controllo (una sorta di menù). Una quarta fase di interazione completa, in cui si possono esplorare le opere d’arte e provare le funzionalità descritte in precedenza. In ogni momento è possibile rifare la calibrazione. Il software è stato scritto in linguaggio C#. Questo sistema è stato esposto nella mostra “Pavia, la battaglia, il futuro. Niente fu come prima”, presso il castello visconteo di Pavia e sarà attivo per sei mesi (dal 14 giugno al 16 novembre 2015). Le immagini caricate nel sistema sono immagini degli arazzi che raffigurano la famosa battaglia di Pavia.