The integration of Large Language Models (LLMs) into Clinical Decision Support Systems (CDSSs) promises to transform medical practice, but it raises fundamental concerns regarding transparency, reliability, and safety. This thesis presents an epistemological framework for diagnostic reasoning based on Ramoni et al.’s Select-and-Test Model (ST-Model), implemented as a computational graph orchestrated through LangGraph. The architecture decomposes the diagnostic process into five distinct inferential stages—abstraction, abduction (unfocused and focused), ranking, deduction, and induction—each constrained by structured output schemas (Pydantic) to ensure traceability, interoperability, and inspectability of the process. This work introduces three main contributions. First, it optimizes the abstraction node by transitioning from discursive prompting to a hybrid configuration combining few-shot prompting, structural constraints, and semantic consolidation. This reduces prompt load and improves the granularity of the clinical representation, although at the cost of a trade-off in top-rank prioritization. Second, it proposes three approaches for integrating new clinical evidence: (I) zero-shot versus framework-aware Script Concordance Testing (SCT) score evaluation, (II) inductive updating with re-ranking, and (III) complete cognitive re-looping with regeneration of the hypothesis space. Experimental validation shows that neither advanced approach (II or III) recovers actual diagnostic omissions in the tested sample; however, both preserve diagnoses that were already correctly identified, a safety-relevant property in clinical settings. Third, a Human-in-the-Loop (HITL) graphical interface developed in Dash exposes the complete inferential process to the operator, enables manual modification of the diagnostic ranking, and ensures traceable state persistence, thereby concretely implementing the human–machine alignment discussed in the literature. The results highlight a trade-off between two desirable properties: the atomized representation improves output granularity and compactness but reduces access to the narrative gradients that guide diagnostic prioritization. The framework is not intended to return the correct diagnosis at the first rank; rather, it aims to provide a structured set of hypotheses and evidence on which the clinician can operate. Future developments include the integration of SGLang as a model-independent inference infrastructure, RAG modules for clinical literature retrieval, prospective validation in simulation environments, and extension to therapeutic planning and monitoring tasks.

L'integrazione dei Large Language Models (LLM) nei sistemi di supporto alle decisioni cliniche (CDSS) promette di trasformare la pratica medica, ma solleva criticità fondamentali relative alla trasparenza, all'affidabilità e alla sicurezza. Questa tesi presenta un framework epistemologico per il ragionamento diagnostico basato sul Select-and-Test Model (ST-Model) di Ramoni et al., implementato come grafo computazionale orchestrato tramite LangGraph. L'architettura scompone il processo diagnostico in cinque fasi inferenziali distinte — astrazione, abduzione (non focalizzata e focalizzata), ranking, deduzione e induzione — ciascuna vincolata a schemi di output strutturati (Pydantic) per garantire tracciabilità, interoperabilità e ispezionabilità del processo. Il lavoro introduce tre contributi principali. In primo luogo, un'ottimizzazione del nodo di astrazione che transita da un prompting discorsivo a una configurazione ibrida (few-shot prompting, vincoli strutturali, consolidamento semantico), riducendo il prompt load del e migliorando la granularità della rappresentazione clinica, sebbene con un trade-off nella prioritarizzazione di vertice. In secondo luogo, tre approcci per l'integrazione di nuove evidenze cliniche: (I) valutazione dello score SCT (Script Concordance Testing) zero-shot vs. framework-aware, (II) aggiornamento induttivo con reranking, e (III) re-looping cognitivo completo con rigenerazione dello spazio delle ipotesi. La validazione sperimentale mostra che nessuno dei due approcci avanzati (II e III) recupera omissioni diagnostiche reali nel campione testato, ma entrambi preservano le diagnosi già correttamente identificate, una proprietà di sicurezza rilevante per contesti clinici. In terzo luogo, un'interfaccia grafica Human-in-the-Loop (HITL) sviluppata in Dash, che espone all'operatore il processo inferenziale completo, consente la modifica manuale del ranking e garantisce la persistenza tracciabile dello stato, realizzando concretamente l'allineamento uomo-macchina discusso in letteratura. I risultati delineano un compromesso tra due proprietà desiderabili: la rappresentazione atomizzata migliora la granularità e la compattezza dell'output, ma riduce l'accesso ai gradienti narrativi che orientano la prioritarizzazione diagnostica. Il framework non mira a restituire la diagnosi corretta al primo rango, ma a rendere disponibile un insieme strutturato di ipotesi ed evidenze su cui il clinico possa operare. Gli sviluppi futuri includono l'integrazione di SGLang come infrastruttura di inferenza modello-indipendente, moduli RAG per il recupero di letteratura clinica, validazione prospettica in ambienti di simulazione e l'estensione ai task di pianificazione terapeutica e monitoraggio.

Implementazione di un Framework Epistemologico per il Ragionamento Clinico Basato su LLM: dall'Architettura di Base al Supporto alla Diagnosi Differenziale

STAFFORINI, LORENZO
2025/2026

Abstract

The integration of Large Language Models (LLMs) into Clinical Decision Support Systems (CDSSs) promises to transform medical practice, but it raises fundamental concerns regarding transparency, reliability, and safety. This thesis presents an epistemological framework for diagnostic reasoning based on Ramoni et al.’s Select-and-Test Model (ST-Model), implemented as a computational graph orchestrated through LangGraph. The architecture decomposes the diagnostic process into five distinct inferential stages—abstraction, abduction (unfocused and focused), ranking, deduction, and induction—each constrained by structured output schemas (Pydantic) to ensure traceability, interoperability, and inspectability of the process. This work introduces three main contributions. First, it optimizes the abstraction node by transitioning from discursive prompting to a hybrid configuration combining few-shot prompting, structural constraints, and semantic consolidation. This reduces prompt load and improves the granularity of the clinical representation, although at the cost of a trade-off in top-rank prioritization. Second, it proposes three approaches for integrating new clinical evidence: (I) zero-shot versus framework-aware Script Concordance Testing (SCT) score evaluation, (II) inductive updating with re-ranking, and (III) complete cognitive re-looping with regeneration of the hypothesis space. Experimental validation shows that neither advanced approach (II or III) recovers actual diagnostic omissions in the tested sample; however, both preserve diagnoses that were already correctly identified, a safety-relevant property in clinical settings. Third, a Human-in-the-Loop (HITL) graphical interface developed in Dash exposes the complete inferential process to the operator, enables manual modification of the diagnostic ranking, and ensures traceable state persistence, thereby concretely implementing the human–machine alignment discussed in the literature. The results highlight a trade-off between two desirable properties: the atomized representation improves output granularity and compactness but reduces access to the narrative gradients that guide diagnostic prioritization. The framework is not intended to return the correct diagnosis at the first rank; rather, it aims to provide a structured set of hypotheses and evidence on which the clinician can operate. Future developments include the integration of SGLang as a model-independent inference infrastructure, RAG modules for clinical literature retrieval, prospective validation in simulation environments, and extension to therapeutic planning and monitoring tasks.
2025
Implementation of an Epistemological Framework for LLM-Based Clinical Reasoning: From Foundation Architecture to Differential Diagnosis Support
L'integrazione dei Large Language Models (LLM) nei sistemi di supporto alle decisioni cliniche (CDSS) promette di trasformare la pratica medica, ma solleva criticità fondamentali relative alla trasparenza, all'affidabilità e alla sicurezza. Questa tesi presenta un framework epistemologico per il ragionamento diagnostico basato sul Select-and-Test Model (ST-Model) di Ramoni et al., implementato come grafo computazionale orchestrato tramite LangGraph. L'architettura scompone il processo diagnostico in cinque fasi inferenziali distinte — astrazione, abduzione (non focalizzata e focalizzata), ranking, deduzione e induzione — ciascuna vincolata a schemi di output strutturati (Pydantic) per garantire tracciabilità, interoperabilità e ispezionabilità del processo. Il lavoro introduce tre contributi principali. In primo luogo, un'ottimizzazione del nodo di astrazione che transita da un prompting discorsivo a una configurazione ibrida (few-shot prompting, vincoli strutturali, consolidamento semantico), riducendo il prompt load del e migliorando la granularità della rappresentazione clinica, sebbene con un trade-off nella prioritarizzazione di vertice. In secondo luogo, tre approcci per l'integrazione di nuove evidenze cliniche: (I) valutazione dello score SCT (Script Concordance Testing) zero-shot vs. framework-aware, (II) aggiornamento induttivo con reranking, e (III) re-looping cognitivo completo con rigenerazione dello spazio delle ipotesi. La validazione sperimentale mostra che nessuno dei due approcci avanzati (II e III) recupera omissioni diagnostiche reali nel campione testato, ma entrambi preservano le diagnosi già correttamente identificate, una proprietà di sicurezza rilevante per contesti clinici. In terzo luogo, un'interfaccia grafica Human-in-the-Loop (HITL) sviluppata in Dash, che espone all'operatore il processo inferenziale completo, consente la modifica manuale del ranking e garantisce la persistenza tracciabile dello stato, realizzando concretamente l'allineamento uomo-macchina discusso in letteratura. I risultati delineano un compromesso tra due proprietà desiderabili: la rappresentazione atomizzata migliora la granularità e la compattezza dell'output, ma riduce l'accesso ai gradienti narrativi che orientano la prioritarizzazione diagnostica. Il framework non mira a restituire la diagnosi corretta al primo rango, ma a rendere disponibile un insieme strutturato di ipotesi ed evidenze su cui il clinico possa operare. Gli sviluppi futuri includono l'integrazione di SGLang come infrastruttura di inferenza modello-indipendente, moduli RAG per il recupero di letteratura clinica, validazione prospettica in ambienti di simulazione e l'estensione ai task di pianificazione terapeutica e monitoraggio.
File in questo prodotto:
File Dimensione Formato  
Stafforini_Lorenzo_Tesi.pdf

accesso aperto

Descrizione: File in formato PDF/A dell'elaborato di tesi definitivo.
Dimensione 5.82 MB
Formato Adobe PDF
5.82 MB Adobe PDF Visualizza/Apri

È consentito all'utente scaricare e condividere i documenti disponibili a testo pieno in UNITESI UNIPV nel rispetto della licenza Creative Commons del tipo CC BY NC ND.
Per maggiori informazioni e per verifiche sull'eventuale disponibilità del file scrivere a: [email protected].

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/20.500.14239/37286