Intelligenza artificiale spiegabile per supporto alle decisioni cliniche: Valutazione di protocolli interazione uomo-AI e approfondimenti multidisciplinari

Artificial Intelligence (AI) has proven to be a powerful tool for clinical decision support, thanks to its unprecedented ability to identify complex patterns in vast amounts of data. However, AI models often lack transparency, as it is difficult for users to reconstruct why the algorithm came up with a certain prediction. This aspect is problematic in the healthcare domain, as it is essential that clinicians comprehend the model’s internal reasoning, to be able to trust and evaluate its predictions. Explainable AI (XAI) has emerged to address this issue, aiming to develop methods for making AI predictions more understandable to users. Moreover, XAI requires a multidisciplinary approach, as it needs to align with legal and ethical requirements and investigate how humans interpret information. This work builds up on the ALFABETO project, which developed machine learning (ML) models to support COVID-19 patient triage. The objective of this thesis is to explore how XAI can enhance medical decision-making, combining quantitative and qualitative methodologies. The research consists of three experimental activities: (i) a survey with 96 medical residents testing different Human-XAI interaction protocols, (ii) interviews with experts in law and psychology to assess multidisciplinary aspects of explainability, and (iii) an explainability analysis of chest X-ray images using Grad-CAM, to compare different explanation modalities. Results show that XAI does not inherently improve clinicians’ diagnostic accuracy in comparison to human judgement alone. In particular, the “Human-First” protocol led to lower performance, likely due to the exacerbation of the automation bias. However, explanations, when designed properly, can help users calibrate their trust toward AI. Moreover, XAI emerges as a valuable tool for meeting regulatory requirements, but it is necessary to develop more robust evaluation methods to generate explanations that are both effective and balanced. Ultimately, integrating expertise from engineering, medicine, psychology, and law is essential to create (Clinical Decision Support Systems) CDSS that are transparent, safe, and truly beneficial in real-world healthcare settings.

L’intelligenza artificiale (IA) rappresenta uno strumento potente per il supporto alle decisioni cliniche, grazie alla sua capacità di identificare relazioni complesse tra grandi quantità di dati. Tuttavia, i modelli di IA spesso mancano di trasparenza, in quanto è difficile per gli utenti capire i motivi per cui gli algoritmi producono una certa previsione. Questo aspetto risulta particolarmente problematico nel contesto sanitario, dove è fondamentale che i medici comprendano i ragionamenti dei modelli per valutarne la correttezza e l’affidabilità. L’Explainable AI (XAI) è un campo di ricerca che mira a sviluppare metodi per rendere i processi decisionali dei modelli più comprensibili agli utenti. Inoltre, XAI richiede un approccio multidisciplinare, poiché comporta sfide etiche, legali e legate a come gli umani interpretano le informazioni. Questa tesi si basa sul progetto ALFABETO, all’interno del quale sono stati sviluppati diversi modelli di machine learning (ML) per supportare il triage dei pazienti COVID-19. L’obiettivo della tesi è esplorare come le spiegazioni possano migliorare i sistemi di supporto alle decisioni cliniche, combinando metodi sia quantitativi che qualitativi. La ricerca si articola in tre attività sperimentali: (i) un questionario somministrato a 96 specializzandi, per testare diversi protocolli di interazione uomo-macchina, (ii) delle interviste con esperti in ambito giuridico e psicologico per valutare gli aspetti multidisciplinari di XAI, e (iii) la generazione di mappe di attivazione a partire da immagini radiografiche del torace tramite Grad-CAM. I risultati mostrano che le spiegazioni non migliorano necessariamente l’accuratezza diagnostica dei clinici rispetto al solo giudizio umano. In particolare, il protocollo “Human-First” ha portato a basse performance, probabilmente a causa dell'accentuarsi dell’“automation bias”. Tuttavia, emerge che spiegazioni ben progettate possono aiutare gli utenti a calibrare la fiducia nell’AI. Inoltre, le spiegazioni si configurano come uno strumento utile per soddisfare i requisiti normativi, ma è necessario sviluppare metodi di valutazione più approfonditi per generare spiegazioni che siano efficaci ed equilibrate. In conclusione, si sottolinea l’importanza di integrare competenze di ingegneria, medicina, psicologia e diritto per creare sistemi di supporto alle decisioni cliniche (CDSS) che siano trasparenti, sicuri e realmente utili nella pratica clinica.