The project aims to study inter-annotator disagreement on a dataset formed by English tweets, each of them assigned by 5 annotators to the binary label “offensive” (1) or “not offensive” (0). Therefore, the tweets are assigned to 3 categories, A++ if 5 out of 5 annotators agreed, A+ if 4 out of 5 annotators agreed and A0 if 3 out of 5 annotators agreed. We created a linguistic taxonomy with classes and sub-classes containing possible linguistic sources of disagreement – i.e., figurative language (Ambiguity macro class), deixis (Missing Information macro class), annotators’ personal opinions (Subjectivity macro class) and noise (Sloppy Annotation macro class) – and we annotated tweets that belong to the most difficult categories, namely A+ and A0. Thus, a computational analysis was carried out on annotated data through classifiers based on neural networks (BERT), with the purpose of evaluating how source of disagreement-annotated data would affect the classifiers’ performance on an offensive language detection task. The best system is trained on the complete dataset and it is tested on data from the annotators’ personal opinion source of disagreement. Indeed, Subjectivity grants the best performance of the classifier. Exploratory experiments were also carried out on a disagreement detection task. The best system learns both from information about disagreement and offensiveness and reaches the best results when tested on the Subjectivity macro class, as well.
La tesi si propone di studiare il disaccordo tra annotatori in un dataset formato da tweet in lingua inglese, ognuno assegnato da 5 annotatori all'etichetta "offensive" (1) o "not offensive" (0), risultando in questo modo appartenente alla categoria A++ se 5/5 annotatori hanno assegnato la stessa etichetta, A+ se 4/5 annotatori hanno assegnato la stessa etichetta e A0 se 3/5 annotatori hanno assegnato la stessa etichetta. Attraverso la creazione di una tassonomia linguistica contenente classi e sottoclassi di possibili fonti del disaccordo (come linguaggio figurativo, deissi, opinioni personali dell'annotatore), si sono annotati tweet appartenenti alle categorie più problematiche, A+ e A0, per poi procedere a un’analisi computazionale dei dati annotati attraverso classificatori basati su reti neurali (BERT), per valutare quanto i dati annotati secondo la tassonomia possano influire su un miglioramento della performance dei classificatori. Il modello che presenta il rendimento migliore è allenato sul dataset completo e testato sui dati appartenenti alla categoria contenente disaccordo a causa delle opinioni personali dell’annotatore. Si è inoltre implementato un secondo task, improntato sul riconoscimento del disaccordo tra annotatori. Il modello che presenta il rendimento migliore è allenato su entrambe le informazioni di disaccordo tra annotatori e linguaggio offensivo e raggiunge anch'esso i risultati migliori quando testato sulla categoria contenente disaccordo a causa delle opinioni personali dell'annotatore.
Identificazione di linguaggio offensivo: analisi e predizione del disaccordo tra annotatori
SANDRI, MARTA
2021/2022
Abstract
The project aims to study inter-annotator disagreement on a dataset formed by English tweets, each of them assigned by 5 annotators to the binary label “offensive” (1) or “not offensive” (0). Therefore, the tweets are assigned to 3 categories, A++ if 5 out of 5 annotators agreed, A+ if 4 out of 5 annotators agreed and A0 if 3 out of 5 annotators agreed. We created a linguistic taxonomy with classes and sub-classes containing possible linguistic sources of disagreement – i.e., figurative language (Ambiguity macro class), deixis (Missing Information macro class), annotators’ personal opinions (Subjectivity macro class) and noise (Sloppy Annotation macro class) – and we annotated tweets that belong to the most difficult categories, namely A+ and A0. Thus, a computational analysis was carried out on annotated data through classifiers based on neural networks (BERT), with the purpose of evaluating how source of disagreement-annotated data would affect the classifiers’ performance on an offensive language detection task. The best system is trained on the complete dataset and it is tested on data from the annotators’ personal opinion source of disagreement. Indeed, Subjectivity grants the best performance of the classifier. Exploratory experiments were also carried out on a disagreement detection task. The best system learns both from information about disagreement and offensiveness and reaches the best results when tested on the Subjectivity macro class, as well.È consentito all'utente scaricare e condividere i documenti disponibili a testo pieno in UNITESI UNIPV nel rispetto della licenza Creative Commons del tipo CC BY NC ND.
Per maggiori informazioni e per verifiche sull'eventuale disponibilità del file scrivere a: unitesi@unipv.it.
https://hdl.handle.net/20.500.14239/2144