In the following thesis, it has been analysed the vision upon the AI technology, with a particular attention on the set of norms which need to be clearly established by Governments and International Institutions, and upon the crucial role of data management of research centers, Universities and networks that have the double mission to enhance prediction performances and model explainability, and to retain and attract talent by providing an high level of education and an excellent place to work. All these points are examined through inspection of the most relevant documents and initiatives of the UE, the USA and the Chinese institutions. The second part of the paper focused on the concept of explainability and interpretability of Machine Learning models paying a particular attention on different stages in which is possible to implement AI explainability: in the dataset level or by developing models explainable by design or by applying post modelling such as the Shapley Value. In the last chapters, there have been trained several models: logistic regressions, decision tree models, random forest and neural networks. Every logistic regression has been analysed by checking the sign, the significance and the magnitude of each variable, as well as the performance indicators. The AUROC, the KS and the Gini index have been calculated also in the other three models, and in these cases, there have been trained functions from the “iml” package in order to improve the Machine Learning interpretability. Particularly, it has been trained the Local Model and the related Accumulated Local Effect plot in each ML model, and the Global Surrogate function in the random forest one, and finally, there have been plotted the Shapley Values in every neural network. The implementation of these functions helps to understand how and in which direction variables influence model prediction, or, in case of the Shapley Value, the individual observation prediction.

Nella seguente tesi è stata analizzata la visione sulla tecnologia AI, con particolare attenzione all'insieme delle norme che devono essere chiaramente stabilite da Governi e Istituzioni Internazionali, e al ruolo cruciale della gestione dei dati dei centri di ricerca, Università e reti che hanno la doppia missione di migliorare le prestazioni di previsione e la spiegabilità del modello e di trattenere e attrarre talenti fornendo un alto livello di istruzione e un luogo di lavoro eccellente. Tutti questi punti vengono esaminati attraverso l'ispezione dei documenti e delle iniziative più rilevanti dell'UE, degli Stati Uniti e delle istituzioni cinesi. La seconda parte del paper si è concentrata sul concetto di spiegabilità e interpretabilità dei modelli di Machine Learning prestando particolare attenzione alle diverse fasi in cui è possibile implementare la spiegabilità dell'IA: a livello di dataset o sviluppando modelli spiegabili in base alla progettazione o applicando post modellazione come Shapley Value. Negli ultimi capitoli sono stati sviluppati diversi modelli: regressioni logistiche, modelli di decision tree, random forest e reti neurali. Ogni regressione logistica è stata analizzata verificando il segno, la significatività e l'ampiezza di ciascuna variabile, nonché gli indicatori di performance. L'AUROC, il KS e l'indice di Gini sono stati calcolati anche negli altri tre modelli, e in questi casi sono state addestrate funzioni dal pacchetto “iml” al fine di migliorare l'interpretabilità del Machine Learning. In particolare, è stato sviluppato il "Local Model" e il relativo Effetto Locale Accumulato in ciascun modello di ML, e la funzione "Global Surrogate" in quello della foresta casuale, e infine sono stati tracciati i Valori di Shapley in ogni rete neurale. L'implementazione di queste funzioni aiuta a capire come e in quale direzione le variabili influenzano la previsione del modello o, nel caso dello Shapley Value, la previsione dell'osservazione individuale.

AI LEGISLATIONS IN THE EU, USA AND CHINA AND THE APPLICATION OF EXPLAINABLE AI METHODS TO SME PROBALITY OF DEFAULT.

MONTECUCCO, FRANCESCA
2019/2020

Abstract

In the following thesis, it has been analysed the vision upon the AI technology, with a particular attention on the set of norms which need to be clearly established by Governments and International Institutions, and upon the crucial role of data management of research centers, Universities and networks that have the double mission to enhance prediction performances and model explainability, and to retain and attract talent by providing an high level of education and an excellent place to work. All these points are examined through inspection of the most relevant documents and initiatives of the UE, the USA and the Chinese institutions. The second part of the paper focused on the concept of explainability and interpretability of Machine Learning models paying a particular attention on different stages in which is possible to implement AI explainability: in the dataset level or by developing models explainable by design or by applying post modelling such as the Shapley Value. In the last chapters, there have been trained several models: logistic regressions, decision tree models, random forest and neural networks. Every logistic regression has been analysed by checking the sign, the significance and the magnitude of each variable, as well as the performance indicators. The AUROC, the KS and the Gini index have been calculated also in the other three models, and in these cases, there have been trained functions from the “iml” package in order to improve the Machine Learning interpretability. Particularly, it has been trained the Local Model and the related Accumulated Local Effect plot in each ML model, and the Global Surrogate function in the random forest one, and finally, there have been plotted the Shapley Values in every neural network. The implementation of these functions helps to understand how and in which direction variables influence model prediction, or, in case of the Shapley Value, the individual observation prediction.
2019
AI LEGISLATIONS IN THE EU, USA AND CHINA AND THE APPLICATION OF EXPLAINABLE AI METHODS TO SME PROBALITY OF DEFAULT
Nella seguente tesi è stata analizzata la visione sulla tecnologia AI, con particolare attenzione all'insieme delle norme che devono essere chiaramente stabilite da Governi e Istituzioni Internazionali, e al ruolo cruciale della gestione dei dati dei centri di ricerca, Università e reti che hanno la doppia missione di migliorare le prestazioni di previsione e la spiegabilità del modello e di trattenere e attrarre talenti fornendo un alto livello di istruzione e un luogo di lavoro eccellente. Tutti questi punti vengono esaminati attraverso l'ispezione dei documenti e delle iniziative più rilevanti dell'UE, degli Stati Uniti e delle istituzioni cinesi. La seconda parte del paper si è concentrata sul concetto di spiegabilità e interpretabilità dei modelli di Machine Learning prestando particolare attenzione alle diverse fasi in cui è possibile implementare la spiegabilità dell'IA: a livello di dataset o sviluppando modelli spiegabili in base alla progettazione o applicando post modellazione come Shapley Value. Negli ultimi capitoli sono stati sviluppati diversi modelli: regressioni logistiche, modelli di decision tree, random forest e reti neurali. Ogni regressione logistica è stata analizzata verificando il segno, la significatività e l'ampiezza di ciascuna variabile, nonché gli indicatori di performance. L'AUROC, il KS e l'indice di Gini sono stati calcolati anche negli altri tre modelli, e in questi casi sono state addestrate funzioni dal pacchetto “iml” al fine di migliorare l'interpretabilità del Machine Learning. In particolare, è stato sviluppato il "Local Model" e il relativo Effetto Locale Accumulato in ciascun modello di ML, e la funzione "Global Surrogate" in quello della foresta casuale, e infine sono stati tracciati i Valori di Shapley in ogni rete neurale. L'implementazione di queste funzioni aiuta a capire come e in quale direzione le variabili influenzano la previsione del modello o, nel caso dello Shapley Value, la previsione dell'osservazione individuale.
File in questo prodotto:
Non ci sono file associati a questo prodotto.

È consentito all'utente scaricare e condividere i documenti disponibili a testo pieno in UNITESI UNIPV nel rispetto della licenza Creative Commons del tipo CC BY NC ND.
Per maggiori informazioni e per verifiche sull'eventuale disponibilità del file scrivere a: unitesi@unipv.it.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/20.500.14239/924