A new method to assess machine learning reliability: development and validation on genomics data

The widespread use of Machine Learning (ML) and Deep Learning (DL) based techniques, points out the need for developing trustworthy Artificial Intelligence (AI) systems. This is especially true in healthcare, where AI unavoidably implies potential harm to support clinical decision making, as erroneous outputs may lead to serious damage to patients. Thus, adding safeguards to AI systems is a crucial point in order to develop reliable AI approaches, as also stressed by regulatory agencies. In particular, the European Union recently published a list, named ALTAI, of ethical guidelines and requirements that need to be fulfilled when developing AI systems. Among the ALTAI requirements, reliability has been emphasized as crucial. With this term, we refer to the degree of trust that the ML classification, for a single instance, is correct. In this thesis, a new method to assess machine learning reliability is presented; it relies on two fundamental principles, the density principle, and the local fit principle. Given a new instance to be tested, the density principle checks if the instance is close to the training set, while the local fit principle checks if the ML model is accurate on training samples closest to it. The method proposed in this thesis implements these two principles in an integrative framework, based on the projections of an Autoencoder and the predictions of a Multilayer Perceptron. The ability of this method to correctly distinguish reliable and unreliable instances, is demonstrated and validated on a simulated dataset and on real datasets of genomics data. The main contribution of this thesis is the development of a method which is independent from the classifier, and that does not require to keep memory of the training data in the deployment phase.

Un nuovo metodo per la valutazione dell’affidabilità dei modelli di machine learning: sviluppo e validazione su dati genomici. La grande diffusione delle tecniche di Machine Learning (ML) e Deep Learning (DL) pone l’attenzione sulla necessità di sviluppare sistemi di Intelligenza Artificiale (IA) affidabili: il loro impiego in ambito clinico implica, inevitabilmente, possibili rischi che possono essere causati ai pazienti a seguito di, per esempio, potenziali decisioni errate del sistema di IA. Di conseguenza, un punto cruciale per lo sviluppo di sistemi di IA affidabili riguarda l’introduzione di adeguate misure di sicurezza: ciò è stato sottolineato anche da agenzie regolatorie, in particolare dall'Unione Europea, con la pubblicazione di ALTAI, un elenco di linee guida e requisiti che devono essere soddisfatti nell’implementazione di approcci di IA. All'interno della lista, viene sottolineato in modo particolare il concetto dell’affidabilità, requisito fondamentale per ottenere sistemi di intelligenza artificiale sicuri, tali da garantire all’utilizzatore finale un sufficiente grado di fiducia nel sistema stesso; per affidabilità si intende infatti con che grado di fiducia riteniamo che la predizione di un modello di ML fatta su un singolo esempio sia corretta. Costruire applicazioni di ML in grado di fornire una misura della propria affidabilità è ancora un problema scarsamente affrontato. In questa tesi viene presentato un nuovo metodo per la valutazione dell'affidabilità dei sistemi di machine learning; il metodo si basa su due principi fondamentali, il Density Principle e il Local Fit Principle. Dato un nuovo esempio da testare, il Density Principle verifica se esso è simile al training set, mentre il Local Fit Principle verifica se il modello di ML implementato è sufficientemente accurato sui più vicini esempi del training set. Il metodo proposto in questa tesi implementa questi due principi in un framework integrato, basato sulla generazione di variabili latenti mediante una rete neurale di tipo Autoencoder e sulle previsioni di un Multilayer Perceptron. La capacità di questo metodo di distinguere correttamente predizioni affidabili da predizioni inaffidabili è validata e dimostrata su un dataset simulato e su dataset reali di dati genomici. Il principale contributo apportato da questa tesi riguarda lo sviluppo di un metodo indipendente dal classificatore impiegato, e tale da non richiedere dati del training set in fase di diffusione del modello.