The project described in this report was carried out in collaboration with Ticinum Aerospace, a spin-off company of the University of Pavia, whose mission is to provide reliable, customer-oriented solutions taking advantage of machine learning techniques and heterogeneous remote sensing data-sets. The purpose arises from the exponential growth of data volumes in the remote sensing world that can be used for different applications, such as in the insurance field. For this scope, aerial images together with neural networks can be used for detecting significant features of buildings for estimating damages after catastrophic natural events. This information can be used by insurances in order to determine the actual damage to be compensated, and for clients to choose the appropriate type of insurance based on the value of the dwelling. In this context, the software project has been designed for detecting and localizing objects, i.e. building rooftops and their types, within Earth observation images (in this case aerial imagery) provided by the company. It is composed of well-distinguished software programs which fulfil the purpose of creating the data-sets in the proper way for the further steps (i.e. data preparation), creating and training the neural network (i.e. data processing) and, finally, testing the models. Thanks to the Faster Region-based Convolutional Neural Network, at first only buildings were discriminated from the background, namely a binary classification was made. The second phase, instead, consisted of classifying also the type of the roof: flat or gable, i.e. a multi-class classification. For this work, it was not necessary to write and train from scratch the neural network. PyTorch, an open source machine learning library, enables to fine-tune a pre-trained network. This was the approach taken, because it was not possible to afford hundreds of thousands or, even better from a training point of view, millions of labelled images for the training phase. Both for binary and multi-class classification case the results were impressive in terms of number of building rooftops detected, and the precision of the bounding box that surrounds them. This is reflected into the plots that shows the exponentially decreasing training and validation loss of the neural network along the epochs, reaching a low final value.

Il progetto è stato svolto in collaborazione con la Ticinum Aerospace: un'azienda spin-off dell'Università di Pavia, la cui missione è fornire soluzioni affidabili e customer-oriented, avvalendosi di tecniche di machine learning e data-sets eterogenei telerilevati. L'esigenza nasce dalla crescita esponenziale della quantità di dati nel mondo del telerilevamento che possono essere usati per applicazioni diverse, come nel campo assicurativo. A questo scopo, le immagini aeree insieme alle reti neurali possono essere usate per identificare parti significative di edifici per stimare i danni dopo eventi naturali catastrofici. Questa informazione può essere usata dalle assicurazioni per determinare il danno effettivo da risarcire, e per i clienti per scegliere la tipologia appropriata di assicurazione basandosi sul valore dell'edificio. In questo contesto, il progetto software è stato creato per individuare e localizzare i tetti degli edifici, e la loro tipologia, all'interno di immagini aeree telerilevate fornite all'azienda. E' composto da programmi software ben distinti che adempiono allo scopo di creare il data-set nel modo appropriato per i passi successivi (cioè preparazione dei dati), creare e addestrare la rete neurale (cioè elaborazione dei dati) e, infine, testare i modelli. Grazie alla Faster R-CNN, all'inizio solo gli edifici sono stati discriminati dallo sfondo, si è cioè effettuata una classificazione binaria. La seconda fase, invece, è consistita nella classificazione anche della tipologia del tetto: piatto o multi-falda, cioè una classificazione multiclasse. Per questo lavoro, non è stato necessario scrivere e addestrare da zero una rete neurale. PyTorch, una libreria di machine learning open-source, permette il fine-tuning di una rete pre-addestrata. Si è scelto di adottare questa soluzione, dato che non è stato possibile permettersi centinaia di migliaia, o ancora meglio milioni, di immagini etichettate per la fase di addestramento. Sia per la classificazione binaria che multiclasse i risultati sono stati molto positivi sia in termini di numero di tetti di edifici identificati sia per la precisione delle bounding box che li circondano. Questo si riscontra anche nei grafici che mostrano l'andamento esponenziale decrescente della funzione di costo di addestramento e validazione della rete neurale al procedere delle epoche, funzioni che hanno raggiunto un valore finale molto basso.

Estrazione dell'impronta di edifici e riconoscimento di tetti da immagini aeree basata sull'intelligenza artificiale in contesto di valutazione del rischio.

DI CECCA, RITA
2019/2020

Abstract

The project described in this report was carried out in collaboration with Ticinum Aerospace, a spin-off company of the University of Pavia, whose mission is to provide reliable, customer-oriented solutions taking advantage of machine learning techniques and heterogeneous remote sensing data-sets. The purpose arises from the exponential growth of data volumes in the remote sensing world that can be used for different applications, such as in the insurance field. For this scope, aerial images together with neural networks can be used for detecting significant features of buildings for estimating damages after catastrophic natural events. This information can be used by insurances in order to determine the actual damage to be compensated, and for clients to choose the appropriate type of insurance based on the value of the dwelling. In this context, the software project has been designed for detecting and localizing objects, i.e. building rooftops and their types, within Earth observation images (in this case aerial imagery) provided by the company. It is composed of well-distinguished software programs which fulfil the purpose of creating the data-sets in the proper way for the further steps (i.e. data preparation), creating and training the neural network (i.e. data processing) and, finally, testing the models. Thanks to the Faster Region-based Convolutional Neural Network, at first only buildings were discriminated from the background, namely a binary classification was made. The second phase, instead, consisted of classifying also the type of the roof: flat or gable, i.e. a multi-class classification. For this work, it was not necessary to write and train from scratch the neural network. PyTorch, an open source machine learning library, enables to fine-tune a pre-trained network. This was the approach taken, because it was not possible to afford hundreds of thousands or, even better from a training point of view, millions of labelled images for the training phase. Both for binary and multi-class classification case the results were impressive in terms of number of building rooftops detected, and the precision of the bounding box that surrounds them. This is reflected into the plots that shows the exponentially decreasing training and validation loss of the neural network along the epochs, reaching a low final value.
2019
AI-based extraction of building footprints and rooftop recognition from aerial images in a risk assessment context.
Il progetto è stato svolto in collaborazione con la Ticinum Aerospace: un'azienda spin-off dell'Università di Pavia, la cui missione è fornire soluzioni affidabili e customer-oriented, avvalendosi di tecniche di machine learning e data-sets eterogenei telerilevati. L'esigenza nasce dalla crescita esponenziale della quantità di dati nel mondo del telerilevamento che possono essere usati per applicazioni diverse, come nel campo assicurativo. A questo scopo, le immagini aeree insieme alle reti neurali possono essere usate per identificare parti significative di edifici per stimare i danni dopo eventi naturali catastrofici. Questa informazione può essere usata dalle assicurazioni per determinare il danno effettivo da risarcire, e per i clienti per scegliere la tipologia appropriata di assicurazione basandosi sul valore dell'edificio. In questo contesto, il progetto software è stato creato per individuare e localizzare i tetti degli edifici, e la loro tipologia, all'interno di immagini aeree telerilevate fornite all'azienda. E' composto da programmi software ben distinti che adempiono allo scopo di creare il data-set nel modo appropriato per i passi successivi (cioè preparazione dei dati), creare e addestrare la rete neurale (cioè elaborazione dei dati) e, infine, testare i modelli. Grazie alla Faster R-CNN, all'inizio solo gli edifici sono stati discriminati dallo sfondo, si è cioè effettuata una classificazione binaria. La seconda fase, invece, è consistita nella classificazione anche della tipologia del tetto: piatto o multi-falda, cioè una classificazione multiclasse. Per questo lavoro, non è stato necessario scrivere e addestrare da zero una rete neurale. PyTorch, una libreria di machine learning open-source, permette il fine-tuning di una rete pre-addestrata. Si è scelto di adottare questa soluzione, dato che non è stato possibile permettersi centinaia di migliaia, o ancora meglio milioni, di immagini etichettate per la fase di addestramento. Sia per la classificazione binaria che multiclasse i risultati sono stati molto positivi sia in termini di numero di tetti di edifici identificati sia per la precisione delle bounding box che li circondano. Questo si riscontra anche nei grafici che mostrano l'andamento esponenziale decrescente della funzione di costo di addestramento e validazione della rete neurale al procedere delle epoche, funzioni che hanno raggiunto un valore finale molto basso.
File in questo prodotto:
Non ci sono file associati a questo prodotto.

È consentito all'utente scaricare e condividere i documenti disponibili a testo pieno in UNITESI UNIPV nel rispetto della licenza Creative Commons del tipo CC BY NC ND.
Per maggiori informazioni e per verifiche sull'eventuale disponibilità del file scrivere a: unitesi@unipv.it.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/20.500.14239/12924