Enhancing RAG-Based Chatbots: Implicit Information Processing and Multi-Hop Reasoning

The growing adoption of Large Language Models (LLMs) has revolutionized Natural Language Processing (NLP), enabling increasingly accurate and context-aware chatbot interactions. Among these advancements, Retrieval-Augmented Generation (RAG) has emerged as an effective approach to enhancing language models by integrating external documents. However, when applied to anonymized documents, RAG systems face significant challenges in extracting and processing implicit information. This thesis investigates the ability of RAG-based chatbots to process implicit content through multi-hop reasoning while ensuring data protection. The study evaluates different models, including LLaMA 3.1, GPT-4o, and Gemini 2.0, analyzing their performance in retrieval and reasoning over anonymized knowledge bases. Particular attention is given to RAGFlow, a locally deployed implementation designed to operate in restricted environments where sensitive information cannot be shared externally. The research follows a structured methodology encompassing knowledge base creation, implicit information annotation, advanced prompting techniques, and comparative evaluation of LLMs. The results indicate that, although optimized multi-hop reasoning enhances the models' inference capabilities, local implementations suffer from computational constraints and inefficiencies in data retrieval, limiting their ability to handle complex reasoning tasks. This study highlights the trade-off between privacy-preserving AI and inference capabilities, emphasizing the need for more efficient retrieval strategies and advanced prompt optimization techniques. Future research should focus on improving local RAG architectures to bridge the gap between data security requirements and effective knowledge extraction in enterprise settings.

L’adozione crescente dei Large Language Models (LLMs) ha rivoluzionato il Natural Language Processing (NLP), consentendo interazioni basate sul Chatbot sempre più accurate e contestualizzate. Tra questi sviluppi, il Retrieval-Augmented Generation (RAG) si è affermato come un approccio efficace per migliorare i modelli linguistici attraverso l’integrazione di documenti esterni. Tuttavia, quando applicati a documenti anonimizzati, i sistemi RAG incontrano difficoltà significative nell’estrazione e nell’elaborazione di informazioni implicite. Questa tesi indaga la capacità dei chatbot basati su RAG di processare contenuti impliciti attraverso il ragionamento multi-hop, garantendo al contempo la protezione dei dati. Lo studio valuta diversi modelli, tra cui LLaMA 3.1, GPT-4o e Gemini 2.0, analizzandone le prestazioni nel recupero e nel ragionamento su basi di conoscenza anonimizzate. Particolare attenzione è rivolta a RAGFlow, un’implementazione in locale progettata per operare in ambienti con restrizioni, dove le informazioni sensibili non possono essere condivise esternamente. La ricerca segue una metodologia strutturata che include la creazione della knowledge base, l’annotazione delle informazioni implicite, l’uso di tecniche avanzate di prompting e la valutazione comparativa degli LLM. I risultati evidenziano che, sebbene il multi-hop reasoning ottimizzato migliori le capacità di reasoning dei modelli, le implementazioni locali soffrono di vincoli computazionali e inefficienze nel recupero dei dati, limitando la loro capacità di gestire compiti di ragionamento complessi. Questo studio mette in luce il compromesso tra l’uso di AI privacy-preserving e le capacità di inferenza, sottolineando la necessità di strategie di recupero più efficienti e di tecniche avanzate di ottimizzazione del prompting. Le ricerche future dovrebbero concentrarsi sul miglioramento delle architetture RAG locali per colmare il divario tra le esigenze di sicurezza dei dati e l’estrazione efficace della conoscenza in contesti aziendali.