In my master thesis I worked on neural operators. Neural operators have been generalized from neural networks to enable learning between infinite dimensional function spaces. For partial differential equations (PDEs), neural operators directly learn the solution operator that map from the functional space of the parametric functions to the functional space of the solutions. They have the potential to accelerate traditional numerical methods when a mathematical description is known. When no model is available, this data-driven methodology has the potential to approximate the underlying input-output map. Since neural operators are designed on function spaces, they have the other advantage that they can be discretized with different levels of resolution, without the need for re-training. In Chapter 1 we define theoretically Neural Operators (NOs). We report some theoretical results for collocate NO with the previous literature. Furthermore we expose some possibilities for discretizing the integral operator, different strategies bring to different neural operator architectures. We expose some notable neural operator architectures and the Fourier Neural Operators (FNOs) in particular have received considerable interest in the literature due to its state-of-the-art performance on many tasks. In Chapter 2 we define in details the Fourier Neural Operators. Analyzing Fourier neural operators we reported the universal approximation theorem for FNOs. In practice, when we want to compute the FNO, we have to compute the Fourier transform and this entails computing an integral exactly. Therefore, approximations are necessary. These approximations lead to the definition of pseudo-spectral Fourier Neural Operators pseudo-FNOs. We define precisely pseudo-FNOs and we report the universal approximation theorem for pseudo-FNOs. In the last section of this chapter we study the structure and other interesting properties of pseudo-FNOs. In an infinite-dimensional setting, universality does not suffice to indicate computational viability or efficiency as the size of the underlying neural networks might grow exponentially with respect to increasing accuracy (curse of the dimensionality). In Chapter 3 we analyze a mechanism by which FNOs can efficiently approximate operators associated with PDEs. In Chapter 4 we re-implement pseudo-FNOs to approximate the solution of stationary Darcy problem on a square domain. Thanks to our methodological study we obtain new state of the art performance for the stationary Darcy problem using the relative H^1 error as loss function, instead the relative L^2 error. Another interesting numerically result that we obtain is that pseudo-FNOs cannot generalize to finer or coarser grid with respect to the one that we use for training, according to literature's theoretical results. For the Darcy problem this is not visible when we use the relative L^2 error but only using the relative H^1 error. In Chapter 5, we present two modifications of FNOs, the Geometric Fourier Operators (geo-FNO) and the Factorised Fourier Operators (F-FNO), which are intended to solve limitations of classical FNOs. In order to investigate the geometric limitation, we propose a new approach to the FNOs based on the overlapping Schwarz method, called Patch Fourier Neural Operators (P-FNOs). We investigate the approximation property numerically by implementing our P-FNO from scratch and test this with other literature's techniques involving FNOs. We notice that our P-FNO architecture achieves the best performance, in term of relative L^2 error, in approximation of solutions for the stationary Darcy problem on an L-shaped domain measured with our dataset for this problem.
Nella mia tesi di laurea magistrale mi sono occupato di operatori neurali. Gli operatori neurali sono stati generalizzati dalle reti neurali per consentire l'apprendimento tra spazi di funzioni di dimensione infinita. Per le equazioni differenziali parziali (PDE), gli operatori neurali apprendono direttamente l'operatore soluzione che mappa dallo spazio funzionale delle funzioni parametriche allo spazio funzionale delle soluzioni. Hanno il potenziale per accelerare i metodi numerici tradizionali quando è nota una descrizione matematica. Quando non è disponibile un modello, questa metodologia guidata dai dati ha il potenziale di approssimare la mappa input-output sottostante. Poiché gli operatori neurali sono progettati su spazi di funzioni, hanno l'altro vantaggio di poter essere discretizzati con diversi livelli di risoluzione, senza la necessità di un nuovo addestramento. Nel Capitolo 1 abbiamo definito teoricamente gli Operatori Neurali (NO). Riportiamo alcuni risultati teorici per collocare gli operatori neurali con la letteratura precedente. Abbiamo presentato alcune architetture di operatori neurali, gli Operatori Neurali di Fourier (FNO), in particolare, hanno riscosso un notevole interesse in letteratura grazie alle loro elevate prestazioni in molti compiti. Nel Capitolo 2 vengono definiti in dettaglio gli operatori neurali di Fourier. Analizzando gli operatori neurali di Fourier abbiamo riportato il teorema di approssimazione universale per gli FNO. In pratica, quando vogliamo calcolare l'FNO, dobbiamo calcolare la trasformata di Fourier e questo comporta il calcolo esatto di un integrale. Pertanto, sono necessarie delle approssimazioni. Queste approssimazioni portano alla definizione degli operatori neurali di Fourier pseudo-spettrali pseudo-FNO. Definiamo con precisione gli pseudo-FNO e riportiamo il teorema di approssimazione universale per gli pseudo-FNO. Nell'ultima sezione di questo capitolo studiamo la struttura e altre interessanti proprietà degli pseudo-FNO. In un contesto infinito-dimensionale, l'universalità non è sufficiente a indicare la fattibilità o l'efficienza computazionale, poiché la dimensione delle reti neurali sottostanti potrebbe crescere esponenzialmente rispetto all'aumento della precisione (maledizione della dimensionalità). Nel Capitolo 3 analizziamo un meccanismo attraverso il quale le FNO possono approssimare in modo efficiente gli operatori associati alle PDE. Nel Capitolo 4 implementiamo nuovamente gli pseudo-FNO per approssimare la soluzione del problema di Darcy stazionario su un dominio quadrato. Grazie al nostro studio metodologico otteniamo migliori risultati di approssimazione per il problema di Darcy stazionario utilizzando l'errore relativo H^1 come funzione di perdita, invece dell'errore relativo L^2. Un altro risultato numericamente interessante che otteniamo è che gli pseudo-FNO non possono generalizzare a griglie più fini o più grossolane rispetto a quella che utilizziamo per l'addestramento, secondo i risultati teorici della letteratura. Per il problema di Darcy questo non è visibile quando si utilizza l'errore relativo L^2 ma solo l'errore relativo H^1. Nel Capitolo 5 presentiamo due modificazioni delle FNO gli Operatori di FOurier geometrici (geo-FNO) e gli operatori di Fourier fattorizzati (F-FNO) che is propongono di risolvere delle limitazioni delle FNO classiche. Al fine di risolvere la limitazione geometrica, proponiamo un nuovo approccio agli FNO basato sulla sovrapposizione del metodo di Schwarz, chiamato Patch Fourier Neural Operators (P-FNOs). Abbiamo analizzato numericamente la proprietà di approssimazione implementando il nostro P-FNO e testato con altre tecniche di letteratura che coinvolgono gli FNO. Notiamo che la nostra architettura P-FNO raggiunge le migliori prestazioni, in termini di errore relativo L^2, nell'approssimazione delle soluzioni per il problema Darcy stazionario su un dominio a forma di L.
Fourier Neural Operators for the approximation of PDEs in multi-patch domains
GHIOTTO, MASSIMILIANO
2022/2023
Abstract
In my master thesis I worked on neural operators. Neural operators have been generalized from neural networks to enable learning between infinite dimensional function spaces. For partial differential equations (PDEs), neural operators directly learn the solution operator that map from the functional space of the parametric functions to the functional space of the solutions. They have the potential to accelerate traditional numerical methods when a mathematical description is known. When no model is available, this data-driven methodology has the potential to approximate the underlying input-output map. Since neural operators are designed on function spaces, they have the other advantage that they can be discretized with different levels of resolution, without the need for re-training. In Chapter 1 we define theoretically Neural Operators (NOs). We report some theoretical results for collocate NO with the previous literature. Furthermore we expose some possibilities for discretizing the integral operator, different strategies bring to different neural operator architectures. We expose some notable neural operator architectures and the Fourier Neural Operators (FNOs) in particular have received considerable interest in the literature due to its state-of-the-art performance on many tasks. In Chapter 2 we define in details the Fourier Neural Operators. Analyzing Fourier neural operators we reported the universal approximation theorem for FNOs. In practice, when we want to compute the FNO, we have to compute the Fourier transform and this entails computing an integral exactly. Therefore, approximations are necessary. These approximations lead to the definition of pseudo-spectral Fourier Neural Operators pseudo-FNOs. We define precisely pseudo-FNOs and we report the universal approximation theorem for pseudo-FNOs. In the last section of this chapter we study the structure and other interesting properties of pseudo-FNOs. In an infinite-dimensional setting, universality does not suffice to indicate computational viability or efficiency as the size of the underlying neural networks might grow exponentially with respect to increasing accuracy (curse of the dimensionality). In Chapter 3 we analyze a mechanism by which FNOs can efficiently approximate operators associated with PDEs. In Chapter 4 we re-implement pseudo-FNOs to approximate the solution of stationary Darcy problem on a square domain. Thanks to our methodological study we obtain new state of the art performance for the stationary Darcy problem using the relative H^1 error as loss function, instead the relative L^2 error. Another interesting numerically result that we obtain is that pseudo-FNOs cannot generalize to finer or coarser grid with respect to the one that we use for training, according to literature's theoretical results. For the Darcy problem this is not visible when we use the relative L^2 error but only using the relative H^1 error. In Chapter 5, we present two modifications of FNOs, the Geometric Fourier Operators (geo-FNO) and the Factorised Fourier Operators (F-FNO), which are intended to solve limitations of classical FNOs. In order to investigate the geometric limitation, we propose a new approach to the FNOs based on the overlapping Schwarz method, called Patch Fourier Neural Operators (P-FNOs). We investigate the approximation property numerically by implementing our P-FNO from scratch and test this with other literature's techniques involving FNOs. We notice that our P-FNO architecture achieves the best performance, in term of relative L^2 error, in approximation of solutions for the stationary Darcy problem on an L-shaped domain measured with our dataset for this problem.È consentito all'utente scaricare e condividere i documenti disponibili a testo pieno in UNITESI UNIPV nel rispetto della licenza Creative Commons del tipo CC BY NC ND.
Per maggiori informazioni e per verifiche sull'eventuale disponibilità del file scrivere a: unitesi@unipv.it.
https://hdl.handle.net/20.500.14239/16562