Utilizzo di mappe d’attivazione nell’identificazione di fratture vertebrali in immagini radiografiche per la valutazione della sinergia uomo-AI

Il progetto Donald Duck è stato proposto dall’università di Milano-Bicocca nell’ambito di eXplainable AI – un trend di ricerca di recente sviluppo – con l’obiettivo di aiutare i medici nella diagnosi di fratture alla colonna vertebrale a partire da immagini radiologiche. L’idea di base è quella di costruire un sistema che guidi il medico mostrando prove a favore della diagnosi “frattura” e, allo stesso tempo, prove a favore della diagnosi opposta di “assenza di frattura”. Questo può essere ottenuto tramite delle mappe di attivazione, che evidenzino le zone dell’immagine a favore della diagnosi richiesta. Valutare l’utilità di queste mappe con l’aiuto dei medici è il punto di partenza per approfondire tre aspetti fondamentali: se e fino a che punto l’opinione della macchina e del medico si assomigliano, come le previsioni della AI influiscono sull’opinione del medico, ma anche fino a che punto l’uomo può fidarsi dei suggerimenti della macchina. Nel nostro progetto, proponiamo la comparazione di tre approcci per la costruzione delle suddette mappe avversarie. L’approccio single-model, in cui le mappe sono costruite tramite un algoritmo della famiglia CAM, applicato a una rete addestrata per la classificazione di immagini RX. L’approccio dual-model, poi, si basa sull’ottimizzazione di due reti neurali, una ottimizzata per sensibilità e una per specificità in modo da cogliere al meglio i pattern più utili per il riconoscimento delle classi positiva e negativa rispettivamente, e la creazione di mappe d’attivazione a partire da entrambe. L’ultimo approccio, detto generative, mira a costruire le due mappe d’attivazione attraverso reti autoencoder – allenate in modo supervisionato – e applicate direttamente all’immagine RX. È stata considerata un ulteriore strategia (l’approccio enhancing) che però è stata accantonata per questioni riguardo la sua realizzabilità a partire dai dati a disposizione. Sono state valutate le prestazioni di diversi algoritmi CAM per la generazione di mappe d’attivazione e il metodo HiResCAM si è rivelato il più robusto ed efficace. Abbiamo proposto uno studio di validazione delle mappe, che è stato condotto con successo e ha portato alla generazione di maschere ground-truth indicanti la vera collocazione della frattura secondo il parere dei medici; lo studio ha coinvolto quattro medici del Policlinico San Matteo di Pavia, le cui performance sono state comparate con un inter-annotator agreement che ha evidenziato un certo livello di variabilità tra le loro opinioni. Un secondo studio, relativo alla validazione del metodo, prevedeva di sottoporre alcuni medici alle prove controfattuali (le mappe a favore di “frattura” e “assenza di frattura”) per valutarne l’utilità in fase di diagnosi: tuttavia, lo studio è stato rimandato per le disponibilità del personale medico. Dal confronto tra i suggerimenti delle mappe d’attivazione e il parere dei medici (le maschere ground-truth) è emerso un certo livello di sovrapposizione che potrebbe indicare un’utilità delle mappe nella diagnosi: a questo proposito, l’approccio generative si dimostra più performante di tutti gli altri. In futuro, si pensa di estendere il progetto attraverso ulteriori studi per confermare l’utilità della metodologia e selezionare, in modo scrupoloso, il modello più adatto ai nostri scopi.