Covariance Matrix Estimation and Portfolio Optimization in High Dimensions

In multivariate high-dimensional modeling, the covariance matrix plays a central role in capturing the dependencies among variables. Yet this matrix is unobservable and must be estimated from finite data, a task that becomes unreliable in low-information regimes due to the curse of dimensionality---that is, scenarios in which the number of variables N exceeds the number of available observations T. The issue is particularly critical in finance, where the inverse covariance matrix---the precision matrix---is the cornerstone of Markowitz’s portfolio optimization theory. In this setting, inaccurate covariance estimates can lead to unstable or divergent precision matrices, underscoring the need for stable and reliable financial covariance estimators. This thesis compares six covariance estimation techniques rooted in modern Statistical Mechanics, based on Random Matrix Theory and Informational Filtering Networks, as a function of the information ratio q = N/T. The analysis is conducted on both synthetic datasets and real financial data from the 400 most liquid S&P 500 stocks over the past 20 years. Shrinkage procedures are also explored to stabilize matrix inversion, and the study extends to financial metrics such as Shannon entropy of portfolio weights, daily turnover, leverage, and weight distributions. The results reveal a clear dichotomy: while some methods collapse under information scarcity, others remain robust and deliver financially meaningful outcomes.

Nella modellizzazione multivariata ad alta dimensionalità, la matrice di covarianza gioca un ruolo centrale nel descrivere le dipendenze tra variabili. Tuttavia, tale matrice è non osservabile e deve essere stimata a partire da dati finiti, un compito che diventa inaffidabile nei regimi a bassa informazione a causa del cosiddetto curse of dimensionality---ovvero scenari in cui il numero di variabili N eccede il numero di osservazioni disponibili T. La questione è particolarmente critica in finanza, dove l’inversa della matrice di covarianza---nota come matrice di precisione---costituisce il pilastro della teoria di ottimizzazione di portafoglio di Markowitz. In questo contesto, stime inaccurate della covarianza possono condurre a matrici di precisione instabili o divergenti, evidenziando la necessità di stimatori finanziari stabili e affidabili. In questa tesi vengono confrontate sei tecniche di stima della covarianza radicate nella moderna Meccanica Statistica, basate sulla Random Matrix Theory e sugli Informational Filtering Networks, come funzione del informatio ratio q = N/T. L’analisi è condotta sia su dataset sintetici sia su dati finanziari reali, relativi ai 400 titoli più liquidi dello S&P 500 negli ultimi vent’anni. Sono inoltre esplorate procedure di shrinkage per stabilizzare l’inversione matriciale, e lo studio si estende a metriche finanziarie quali l’entropia di Shannon dei pesi di portafoglio, il turnover giornaliero, la leva finanziaria e la distribuzione dei pesi. I risultati mostrano una chiara dicotomia: alcuni metodi falliscono in condizioni di bassa informazione, mentre altri si dimostrano robusti e capaci di fornire risultati di rilevanza finanziaria.