Esplorazione del bias nell'uso del deep learning per la diagnosi di molteplici patologie oculari a partire dai dati delle immagini del fondo oculare

Artificial intelligence (AI) algorithms are increasingly being applied in the medical field, influencing crucial decisions in areas ranging from diagnosis and treatment planning to resource management. Originally perceived as neutral and fair tools, deep learning (DL) algorithms have recently been criticized for their potential to reflect and perpetuate existing inequalities in the healthcare system. In response to growing concerns about algorithmic bias, a body of research is emerging that aims to understand and address these issues. In this context, we explore algorithmic biases in the specific medical field of ophthalmology. We begin with a theoretical overview and general definitions of deep learning models, followed by an introduction to the concepts of algorithmic bias and fairness. Subsequently, we go into the core of our project, which utilizes the ODIR dataset available on Kaggle, containing ocular fundus images paired with demographic information such as gender and age. The work is divided into two phases: in the first, we compare a model trained solely on images with a model trained by combining image features with demographic information to identify and detect potential algorithmic bias due to the introduction of these sensitive data and its effects, based on the observed decision outcomes. The methods used to detect these biases and the potential sources from which they may arise will be described. Finally, we proceed to the development of the model we propose for bias correction, which includes a gradient reversal layer (DANN). We will discuss the strategy that can be implemented in our context to make AI algorithms in the healthcare sector more just and reliable. This effort is crucial to ensuring that AI-based technologies promote equitable and high-quality healthcare for all patients, regardless of their individual characteristics.

Gli algoritmi di intelligenza artificiale (AI) stanno trovando applicazioni sempre più estese nel settore medico, influenzando importanti decisioni in ambiti che vanno dalla diagnosi all’elaborazione dei piani di trattamento, fino alla gestione delle risorse san- itarie. Originariamente percepiti come strumenti neutrali ed equi, gli algoritmi di deep learning (DL) sono stati recentemente oggetto di critiche per la loro capacità di riflettere e perpetuare le disuguaglianze esistenti nei processi di cura e assistenza clinica. Di fronte alle crescenti preoccupazioni relative alla parzialità degli algo- ritmi, si sta sviluppando una linea di ricerca che mira a comprendere e risolvere questi problemi di bias algoritmico. In questa tesi, esploriamo i pregiudizi algorit- mici nel settore medico dell’oftalmologia. Iniziamo con una panoramica teorica e con definizioni generali sui modelli di deep learning, per poi introdurre gli aspetti del bias algoritmico e le nozioni di equità. Successivamente, affrontiamo il cuore del nostro progetto, che utilizza il dataset ODIR disponibile su Kaggle, contenente immagini del fondo oculare abbinate a informazioni demografiche come sesso ed età. Il lavoro si articola in due fasi: nella prima, confrontiamo un modello addestrato utilizzando solo immagini con un modello addestrato combinando le caratteristiche estratte dalle immagini con le informazioni demografiche, al fine di identificare e rilevare un possibile bias algoritmico dovuto all’introduzione di queste informazioni sensibili e i suoi effetti, basandoci sugli esiti decisionali osservati. Verranno descritti i metodi utilizzati per la rilevazione di questi bias e le potenziali fonti da cui essi possono derivare. Infine, si passerà allo sviluppo del modello che proponiamo per la correzione del bias, che include uno strato di inversione del gradiente (DANN). Verrà discussa la strategia che può essere implementata nel nostro contesto per rendere gli algoritmi di AI nel settore sanitario più giusti e affidabili. Questo sforzo è vitale per assicurare che le tecnologie basate su AI promuovano un’assistenza sanitaria equa e di alta qualità per tutti i pazienti, indipendentemente dalle loro caratteristiche individuali.