SUPPORTO ALLA DECISIONE CLINICA BASATO SULLE LINEE GUIDA: VALUTAZIONE DELL'UTILIZZO DEI LARGE LANGUAGE MODEL E CONFRONTO CON APPROCCI TRADIZIONALI

Lo sviluppo di tecniche avanzate di elaborazione del linguaggio naturale, in concomitanza con l’avanzamento tecnologico, ha portato a una svolta significativa costituita dai cosiddetti Large Language Model. Si tratta di modelli addestrati su una grande quantità di dati testuali, che sono in grado di comprendere e generare linguaggio naturale. Tra i vari campi di applicazione di questi modelli vi è quello dell'assistenza sanitaria, dove l'intelligenza artificiale sotto varie forme sta già prendendo ampio spazio e dove i Large Language Model possono essere sfruttati per creare sistemi di supporto alla decisione in grado di affiancare i medici nel processo di diagnosi e cura dei pazienti. L’obiettivo di questa tesi è quello di valutare l’utilizzo di questi modelli come strumento di supporto nel processo decisionale clinico, in complemento o come alternativa ai sistemi tradizionali per il supporto alla decisione basato sulla formalizzazione esplicita della conoscenza contenuta nelle linee guida. Per interrogare i modelli, sono state scelte come caso d’uso le linee guida relative al carcinoma mammario in stadio precoce nell’edizione del 2023, pubblicate dall’Associazione Italiana Oncologia Medica (AIOM). Questo lavoro di valutazione è stato portato avanti da un team multidisciplinare formato da tre ingegneri del Laboratorio di Informatica Biomedica “Mario Stefanelli”, da due medici dell’Unità di Oncologia degli Istituti Clinici Scientifici Maugeri (un oncologo e un medico specializzando) e da uno studente di medicina. In prima istanza, ci si è focalizzati su una valutazione multidimensionale di ChatGPT, il modello più diffuso e più facilmente accessibile al pubblico. In seguito, sono stati confrontati diversi Large Language Model tra loro, con lo scopo di identificare il migliore effettuando un ranking delle loro risposte. Infine, utilizzando dei casi clinici, sono state confrontate le performance di ChatGPT con quelle ottenute dalla formalizzazione delle linee guida sopra citate tramite il linguaggio PROforma, con l’obiettivo di comparare lo stato dell’arte e gli approcci tradizionali. I risultati da un lato hanno evidenziato importanti vantaggi dell’utilizzo dei Large Language Model come supporto al processo decisionale clinico; dall’altro hanno fatto emergere i loro limiti, soprattutto quando confrontati con i CDSS tradizionali. Questi ultimi, infatti, pur richiedendo uno sforzo di modellizzazione e manutenzione considerevole, offrono una struttura più strutturata, ripetibile e standardizzata, il che può essere considerato un punto di forza in molti contesti clinici. Sebbene i Large Language Model abbiano dimostrato di essere degli strumenti promettenti, sono necessari ulteriori sviluppi da un lato per effettuare una valutazione più strutturata, dall’altro per superare le criticità già emerse nello studio e rendere questi modelli utili ed utilizzabili nella pratica clinica, ad esempio integrando i modelli con una base di conoscenza specifica tramite la tecnica di Retrieval-Augmented Generation.