A Survey on Adapters for Cross-Lingual Transfer: Theory and Recent Applications

Negli ultimi anni, la Linguistica Computazionale (LC) ha assistito a notevoli progressi, principalmente a causa di alcune innovazioni tecnologiche e della grande disponibilità di dati testuali in forma digitale. Tuttavia, il fatto che la stragrande maggioranza di questi dati sia in lingua inglese ha ostacolato lo sviluppo di modelli computazionali multilingui, che pure si basano su una grande quantità di dati linguistic. Una strategia tipica della LC è quindi quella, nominata "Cross-Lingual Transfer" di trasferire le conoscenze (dati e modelli) acquisite per una lingua con risorse abbondanti (ad esempio, l'inglese) per risolvere compiti in un'altra lingue, con più a basso contenuto di risorse. In questo contesto, gli "adapters" sono una recentissima tecnica che consente di fare cross-lingual transfer in modo modulare ed efficiente (in termini di parametri). Questi adapters consentono di separare i diversi aspetti dei dati testuali (lingua, task e dominio) e ricombinarli per nuove impostazioni e applicazioni. Nella tesi di laurea, proponiamo un survey sugli adapters. Dalla loro introduzione tre anni fa, diverse varianti architettoniche, strategie di combinazione, e una pletora di applicazioni sono state proposte per questi. Questo lavoro riassume e riorganizza tutte le ricerche sull'argomento. Dopo aver descritto le loro architetture e proprietà, presentiamo tre applicazioni estremamente recenti degli adapters per cross-lingual transfer.

In the last years, researchers in Computational Linguistics (CL) have witnessed considerable progress in the field, mainly due to some technological breakthroughs and the large availability of textual data. However, the overflow of digital textual data in English has hampered the development of multilingual CL resources, which typically rely on a large amount of language data to be trained. In this context, cross-lingual transfer is the CL methodology to transfer the knowledge (data and models) acquired for one language with abundant resources (e.g., English) to solve tasks in another, commonly more low-resource, language. Adapters are a cutting-edge CL technique which enables modular and parameter-efficient cross-lingual transfer. These small modules allow to decouple different facets of the textual data (language, task, and domain) and recombine them for new settings and applications. In the Master's thesis, we propose a survey on adapters. Since their introduction three years ago, different architectural variants, combination strategies, and a plethora of applications have been proposed for adapters. To our knowledge, this is the first work that organises all the research on the argument. Having described their architectures and properties, we present three extremely recent of adapters' applications for cross-lingual transfer.