Google AI Overview in the era of generative AI for online search. A qualitative analysis of source selection and response generation

Generative artificial intelligence (Gen AI) is progressively transforming the way users conduct searches and interact with online content. Google AI Overview, still in its experimental stage, represents a significant step forward in this field. Despite its potential, several tests have highlighted issues of accuracy and consistency in the generated responses, thus raising concerns about the tool’s actual ability to correctly interpret users’ search intent and to provide reliable information. Based on the analysis of 100 queries submitted to Google AI Overview, this thesis aims to investigate the limitations of this tool in the process of response generation. Specifically, the objective is to evaluate the quality and accuracy of the answers, with particular attention to potential cases of hallucinations or bias. Furthermore, through a textual and contextual analysis of the websites listed as sources for each generated response, the research reflects on the possible selection criteria adopted by Google and on the level of authority and credibility of the referenced pages. Finally, the study explores the role of AI Overview within the SERP, to understand how this new feature contributes to enhancing the overall user search and navigation experience.

L’intelligenza artificiale generativa sta progressivamente trasformando il modo in cui gli utenti effettuano ricerche e interagiscono con i contenuti online. Google AI Overview, ancora in fase sperimentale, rappresenta un passo in avanti in questo campo. Nonostante le sue potenzialità, diversi test hanno evidenziato problemi di accuratezza e coerenza delle risposte generate, sollevando così dubbi sulla reale capacità di questa funzionalità di interpretare correttamente l’intento di ricerca degli utenti e di fornire risposte affidabili. A partire dall’analisi di 100 query sottoposte a Google AI Overview, questa tesi si propone quindi di indagare i limiti di questo strumento nel processo di generazione delle risposte. In particolare, l’obiettivo è valutare la qualità e l’accuratezza delle risposte, con particolare attenzione ad eventuali casi di allucinazioni o bias. Inoltre, attraverso un’analisi testuale e contestuale dei siti web citati come fonti per ogni risposta generata, si propone una riflessione sui possibili criteri di selezione adottati da Google e sul livello di autorevolezza delle pagine utilizzate. Infine, viene esplorato il ruolo di AI Overview all’interno della SERP, per comprendere in che misura questa nuova funzionalità contribuisca a migliorare l’esperienza complessiva di navigazione dell’utente.