Identifying Causal Relations between Events with Artificial Neural Networks

Causal relations in natural language link pairs of events. This work outlines the main components of events (participants, aspect, and internal structure) and provides a review of the formal features signalling causal relations at multiple levels, from the lexicon to pragmatics. Then, it traces back to cognitive motivations such as iconicity and relevance some unifying principles underlying causation. These features are employed for machine learning and in particular to shape the architecture of convolutional neural networks. Their task is identifying causal relations in texts. These networks are evaluated and compared to other shallow classifiers, such as multi-layer perceptrons with a single hidden layer, or kernel-based classifiers, such as support vector machines. The work’s hypothesis is that the former achieve better precision and recall for two main reasons. On the one hand, deep neural networks can derive abstract representations from the input data, thus approximating the world knowledge necessary for identifying causal relations. On the other hand, they can manage huge amounts of training data for learning. These data are obtained from corpora in an unsupervised way, i.e. through explicit markers (e.g. because).

Le relazioni causali nel linguaggio naturale collegano coppie di eventi. Questo lavoro, dopo aver tratteggiato le componenti degli eventi (partecipanti, aspetto, struttura interna) offre una rassegna dei tratti formali che contraddistinguono le relazioni a vari livelli, dal lessico alla pragmatica, e cerca di rintracciare in motivazioni cognitive come l’iconicità e la pertinenza un principio unificatore della causalità. Questi tratti vengono utilizzati per l’apprendimento automatico da parte di calcolatori, e in particolare per determinare l’architettura di reti neurali artificiali convoluzionali con il compito di identificare le relazioni causali nei testi. Queste reti vengono valutate e comparate ad altri classificatori non profondi, come percettroni a livelli multipli con un singolo hidden layer, o basati su kernel, come le macchine a vettori di supporto. L’ipotesi è che le prime raggiungano migliori precisione e richiamo perché capaci di derivare rappresentazioni astratte dai dati iniziali (così approssimando la conoscenza del mondo necessaria all’identificazione di relazioni causali), nonché di gestire una grande quantità di dati di allenamento per l’apprendimento. Questi dati sono ottenuti in modo non-supervisionato da corpora attraverso marcatori espliciti (ad esempio perché).