Oltre le Distribuzioni a Priori Gaussiane: Uno Spazio Latente di Poisson per gli Autoencoder Variazionali

Variational Autoencoders conventionally rely on a continuous Gaussian prior to structure the latent space, an approach largely motivated by analytical simplicity. This thesis investigates an alternative formulation in which the Gaussian prior is replaced by a discrete Poisson distribution, parameterized by a vector of non-negative intensity rates. The adoption of a discrete latent space introduces a fundamental challenge: the Poisson sampling operator is non-differentiable and does not admit a reparametrization, ruling out standard backpropagation through the latent bottleneck. To address this, two gradient estimation strategies are implemented and evaluated: a Straight-Through Estimator based on a Gaussian surrogate gradient and a Score Function Estimator derived from reinforcement learning principles. Both are compared against a Gaussian reparameterization baseline on the CelebA face dataset. Experimental results demonstrate that the Poisson latent space supports structured and semantically meaningful representations, as evidenced by latent traversals, UMAP clustering and attribute direction manipulations. The straight-through estimator achieves competitive generation quality relative to the Gaussian baseline, while the score function estimator suffers from high gradient variance and slow convergence. An architectural scaling analysis further reveals that generation quality in Poisson VAEs is bottlenecked by encoder capacity rather than total parameter count. Finally, the Poisson latent space exhibits distinctive geometric properties, including irregular cluster structures absent in the Gaussian baseline, suggesting fundamental differences in the organization of the two latent spaces.

I Variational Autoencoder si basano convenzionalmente su una distribuzione a priori Gaussiana per strutturare lo spazio latente, una scelta dettata principalmente dalla semplicità analitica. Questa tesi investiga una formulazione alternativa in cui la distribuzione a priori Gaussiana viene sostituita da una distribuzione di Poisson discreta, parametrizzata da un vettore di tassi di intensità non negativi. L'adozione di uno spazio latente discreto introduce una sfida fondamentale: l'operatore di campionamento di Poisson non è differenziabile e non essendo continuo non permette riparametrizzazione, precludendo la backpropagation standard attraverso il collo di bottiglia latente. Per affrontare questo problema, vengono implementate e valutate due strategie di stima del gradiente: uno Straight-Through Estimator basato su un gradiente surrogato Gaussiano, e uno Score Function Estimator derivato da principi di reinforcement learning. Entrambi vengono confrontati con una baseline di riparametrizzazione Gaussiana sul dataset di volti di celebrità CelebA. I risultati sperimentali dimostrano che lo spazio latente di Poisson supporta rappresentazioni strutturate e semanticamente significative, come evidenziato dal traversal dello spazio latente, dal clustering UMAP e dalle manipolazioni delle direzioni degli attributi. Lo stimatore straight-through raggiunge una qualità generativa competitiva rispetto alla baseline Gaussiana, mentre lo stimatore della score function soffre di alta varianza del gradiente e lenta convergenza. Un'analisi della scalabilità architetturale rivela inoltre che la qualità generativa nei VAE Poissoniani è limitata dalla capacità dell'encoder piuttosto che dal numero totale di parametri. Infine, lo spazio latente di Poisson presenta proprietà geometriche distintive, tra cui strutture di cluster irregolari assenti nella baseline Gaussiana, suggerendo differenze fondamentali nell'organizzazione dei due spazi latenti.