In recent years, writing scientific and academic texts in English has been a challenge for many people, especially non-native English speakers. Problems such as grammatical errors, incorrect choice of words, and lack of appropriate writing style are among the issues that can affect the quality of text. With the development of Large Language Models (LLMs), it has become possible to automatically identify and correct language errors and provide suggestions for improving writing. On the other hand, eye-tracking technology, as one of the new methods of human-computer interaction, allows for analyzing user behavior while reading and writing text. In this thesis, a writing assistant system based on eye tracking and large language models is presented, which aims to help improve the quality of users' writing in English or other languages. In this system, using eye-tracking data, the sentence on which the user's gaze is focused is identified and sent to a language model to be checked grammatically. If there are errors, the system identifies the incorrect part of the sentence and suggests corrections. In addition to grammatical corrections, the system is able to produce a simpler version as well as a more formal version of the sentence to help improve the writing style. The proposed system includes components for receiving eye-tracking data, recognizing the sentence that the user is focused on, linguistic analysis using a large language model, and an interactive user interface for displaying suggestions. The proposed system demonstrates that combining eye-tracking technology with language models can provide an innovative approach to assisted writing systems and help users improve the quality of writing, especially in a foreign language.

Negli ultimi anni, la scrittura di testi scientifici e accademici in inglese si è rivelata una sfida per molte persone, soprattutto per i non madrelingua. Problemi come errori grammaticali, scelta inappropriata delle parole e mancanza di uno stile di scrittura adeguato sono tra le problematiche che possono compromettere la qualità del testo. Con lo sviluppo dei Large Language Models (LLM), è diventato possibile identificare e correggere automaticamente gli errori linguistici e fornire suggerimenti per migliorare la scrittura. D'altra parte, la tecnologia dell'eye tracking, come uno dei nuovi metodi di interazione uomo-computer, consente di analizzare il comportamento dell'utente durante la lettura e la scrittura di testi. In questa tesi, viene presentato un sistema di assistenza alla scrittura basato su eye-tracking e LLM che mira a migliorare la qualità della scrittura. In questo sistema, utilizzando i dati di eye tracking, la frase su cui si concentra lo sguardo dell'utente viene identificata e inviata a un modello linguistico per un controllo grammaticale. In caso di errori, il sistema identifica la parte errata della frase e suggerisce le correzioni. Oltre alle correzioni grammaticali, il sistema è in grado di produrre sia una versione semplificata che una più formale della frase, contribuendo così a migliorare lo stile di scrittura. Il sistema proposto include componenti per la ricezione dei dati di eye tracking, il riconoscimento della frase su cui l'utente si concentra, l'analisi linguistica tramite LLM e un'interfaccia utente interattiva per la visualizzazione dei suggerimenti. Il sistema proposto dimostra che la combinazione della tecnologia di eye-tracking con i modelli linguistici può fornire un approccio innovativo ai sistemi di scrittura assistita e aiutare gli utenti a migliorare la qualità della scrittura, soprattutto in una lingua straniera.

Progettazione e sviluppo di un assistente alla scrittura basato su eye tracking e supportato da modelli linguistici di grandi dimensioni

KHORNEGAH, ALIREZA
2024/2025

Abstract

In recent years, writing scientific and academic texts in English has been a challenge for many people, especially non-native English speakers. Problems such as grammatical errors, incorrect choice of words, and lack of appropriate writing style are among the issues that can affect the quality of text. With the development of Large Language Models (LLMs), it has become possible to automatically identify and correct language errors and provide suggestions for improving writing. On the other hand, eye-tracking technology, as one of the new methods of human-computer interaction, allows for analyzing user behavior while reading and writing text. In this thesis, a writing assistant system based on eye tracking and large language models is presented, which aims to help improve the quality of users' writing in English or other languages. In this system, using eye-tracking data, the sentence on which the user's gaze is focused is identified and sent to a language model to be checked grammatically. If there are errors, the system identifies the incorrect part of the sentence and suggests corrections. In addition to grammatical corrections, the system is able to produce a simpler version as well as a more formal version of the sentence to help improve the writing style. The proposed system includes components for receiving eye-tracking data, recognizing the sentence that the user is focused on, linguistic analysis using a large language model, and an interactive user interface for displaying suggestions. The proposed system demonstrates that combining eye-tracking technology with language models can provide an innovative approach to assisted writing systems and help users improve the quality of writing, especially in a foreign language.
2024
Design and Development of an Eye‑Tracking‑Enhanced Writing Assistant Leveraging Large Language Models
Negli ultimi anni, la scrittura di testi scientifici e accademici in inglese si è rivelata una sfida per molte persone, soprattutto per i non madrelingua. Problemi come errori grammaticali, scelta inappropriata delle parole e mancanza di uno stile di scrittura adeguato sono tra le problematiche che possono compromettere la qualità del testo. Con lo sviluppo dei Large Language Models (LLM), è diventato possibile identificare e correggere automaticamente gli errori linguistici e fornire suggerimenti per migliorare la scrittura. D'altra parte, la tecnologia dell'eye tracking, come uno dei nuovi metodi di interazione uomo-computer, consente di analizzare il comportamento dell'utente durante la lettura e la scrittura di testi. In questa tesi, viene presentato un sistema di assistenza alla scrittura basato su eye-tracking e LLM che mira a migliorare la qualità della scrittura. In questo sistema, utilizzando i dati di eye tracking, la frase su cui si concentra lo sguardo dell'utente viene identificata e inviata a un modello linguistico per un controllo grammaticale. In caso di errori, il sistema identifica la parte errata della frase e suggerisce le correzioni. Oltre alle correzioni grammaticali, il sistema è in grado di produrre sia una versione semplificata che una più formale della frase, contribuendo così a migliorare lo stile di scrittura. Il sistema proposto include componenti per la ricezione dei dati di eye tracking, il riconoscimento della frase su cui l'utente si concentra, l'analisi linguistica tramite LLM e un'interfaccia utente interattiva per la visualizzazione dei suggerimenti. Il sistema proposto dimostra che la combinazione della tecnologia di eye-tracking con i modelli linguistici può fornire un approccio innovativo ai sistemi di scrittura assistita e aiutare gli utenti a migliorare la qualità della scrittura, soprattutto in una lingua straniera.
File in questo prodotto:
File Dimensione Formato  
Thesis_Alireza_Khornegah (515243).pdf

accesso aperto

Dimensione 2.65 MB
Formato Adobe PDF
2.65 MB Adobe PDF Visualizza/Apri

È consentito all'utente scaricare e condividere i documenti disponibili a testo pieno in UNITESI UNIPV nel rispetto della licenza Creative Commons del tipo CC BY NC ND.
Per maggiori informazioni e per verifiche sull'eventuale disponibilità del file scrivere a: [email protected].

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/20.500.14239/34971