Valutazione della Sensibilità Culturale dei LLM sui Proverbi Italo-Romanzi: Risorse e Benchmark

Proverbs condense a community's collective wisdom into brief, fixed expressions, making them a privileged testbed for evaluating the cultural sensitivity of large language models (LLMs), all the more so given their close ties to dialects and local varieties. Although recent progress in NLP has produced remarkable results across a wide range of languages, there is growing evidence that current models flatten cultural and linguistic diversity, with marked performance disparities between standard and non-standard varieties. This thesis addresses four research questions: whether LLMs can correctly match proverbs to the appropriate scenario, or whether apparent success is better explained by memorization; whether explicit geographic information in the prompt provides a useful signal for correct matching; what patterns emerge from an analysis of model errors; and whether models display any form of emergent cultural or dialectal knowledge. The thesis makes two original contributions. The first is DiPRomIt, Dialectal Proverbs written in local Romance languages of Italy, the first dataset of proverbs written in Italo-Romance varieties spoken across Italy: 1,310 proverbs manually collected from WikiQuote and enriched with geographic metadata, literal translation, meaning, original source, and inter-regional paremiological links. The second a manually curated benchmark of 147 context-rich narrative scenarios, designed to evaluate LLMs' cultural sensitivity.

I proverbi condensano in forma breve la saggezza collettiva di una comunità e costituiscono un banco di prova privilegiato per valutare la sensibilità culturale dei modelli linguistici di grandi dimensioni (LLM), tanto più se si considera la loro dimensione dialettale. Sebbene i recenti progressi del NLP abbiano prodotto risultati notevoli su un'ampia gamma di lingue, vi è evidenza crescente che i modelli attuali tendano ad appiattire la diversità culturale e linguistica, mostrando marcate disparità di prestazione tra varietà standard e non standard. Il presente lavoro affronta quattro domande di ricerca: se gli LLM sappiano abbinare correttamente i proverbi allo scenario appropriato o si affidino piuttosto a meccanismi di memorizzazione; se l'informazione geografica esplicita nel prompt fornisca un segnale utile per l'abbinamento corretto; quali pattern emergano dall'analisi degli errori dei modelli; e se questi ultimi mostrino una forma di conoscenza culturale/dialettale emergente. Il lavoro apporta due contributi originali. Il primo è un dataset di proverbi scritti in dialetti romanzi d'Italia: 1.310 proverbi raccolti manualmente da WikiQuote e arricchiti di metadati geografici, traduzione letterale, significato, fonte originale e correlazioni paremiologiche inter-regionali. Il secondo è un benchmark composto manualmente da 147 scenari narrativi, progettato per valutare la sensibilità culturale dei LLM.