Cognitive Load Estimation Using Eye-Tracking and EEG - A Deep Learning Approach

This thesis aims at estimating whether a generic user is experiencing cognitive stress during problem solving activities, using data from an eye tracker and an EEG sensor. In our experiments, data were collected through cognitive ability tests submitted to fifty-two participants, by means of an eye tracker and a simple mono-channel EEG sensor. We considered a binary state: 0 in case of no cognitive stress and 1 in case of cognitive stress. Deep learning models were trained using gaze and pupil size data coming from the eye tracker, and with brainwave data coming from the EEG sensor. We exploited combinations of convolutional neural networks and recurrent neural networks (in particular, LSTM). After testing the proposed models with different values of hyperparameters, we identified a potential optimal model for each data source. Overall, we are satisfied with the results obtained, as they are comparable with those of similar works available in the literature. Our achievements could be the starting point for more sophisticated and larger-scale studies aimed at the automatic estimation of cognitive stress.

Stima del Carico Cognitivo Mediante Eye-Tracking ed EEG - Un Approccio Basato su Deep Learning. Questa tesi si pone l'obiettivo di stimare se un generico utente sta riscontrando stress cognitivo durante attività di problem solving, utilizzando i dati di un eye tracker e di un sensore EEG. Nei nostri esperimenti, i dati sono stati raccolti tramite dei test di abilità cognitiva sottoposti a cinquantadue partecipanti, attraverso un eye tracker ed un semplice sensore EEG mono-canale. Abbiamo considerato uno stato binario: 0 in caso di non stress cognitivo e 1 in caso di stress cognitivo. I modelli di deep learning sono stati allenati utilizzando i dati relativi allo sguardo e alla dimensione della pupilla provenienti dall'eye tracker e con i dati delle onde cerebrali provenienti dal sensore EEG. Abbiamo sfruttato combinazioni di reti neurali convoluzionali e di reti neurali ricorrenti (in particolare, LSTM). Dopo aver testato i modelli proposti con diversi valori di iperparametri, abbiamo identificato un potenziale modello migliore per ognuna delle sorgenti dei dati. Complessivamente siamo soddisfatti dei risultati ottenuti, in quanto sono confrontabili con quelli di lavori simili disponibili in letteratura. I nostri risultati possono essere il punto di partenza per studi più sofisticati e su larga scala, finalizzati alla stima automatica dello stress cognitivo.