Codifica neuromorfa in tempo reale di dati di sensori tattili MEMS su sistema edge per feedback aptico indossabile

Human tactile processing is organized across multiple hierarchical layers involving different neuron types. First-order neurons receive raw input from skin mechanoreceptors and transmit this information to higher-order neurons. Second-order neurons integrate these signals to extract features, representing tactile qualities such as shape, intensity and roughness. Finally, higher-order neurons further refine the encoded signals, enabling high-level cognition. These processing pathways can be impaired by traumatic events, such as limb loss or sensory dysfunction. However, such mechanisms can be restored in part through sensory substitution devices, integrating embedded neuromorphic encoding that emulate physiological processing. The objective of this thesis is to develop, characterize and validate a two-layer neuromorphic embedded system, for processing tactile information acquired from a biomimetic artificial fingertip based on a MEMS sensor array, to drive a wearable haptic interface, providing non-invasive, intuitive tactile feedback. Such architecture was implemented on two STM32 boards, each modelling a distinct layer of elaboration, while a third custom board was employed to drive the haptic interface actuators for feedback. The first processing layer consists of an Izhikevich neuron model, receiving as input the electrical signal from the artificial fingertip, scaled by a gain factor. The second layer, implemented on the second board, also employs an Izhikevich neuron model, that processes the spike trains generated by the first layer, which are convolved with a kernel, to produce coherent output spikes. The resulting spike trains are then used to trigger the actuators of the haptic interface. The first layer firmware was characterized using von Frey hairs to apply calibrated, constant stimuli for parameter optimization, while the second layer firmware was characterized by simulating input spike trains at constant frequencies to tune the model parameters and evaluate system performance. The full system was validated through a two-alternative forced choice psychophysical experiment, involving four healthy subjects who were asked to identify the more intense stimulus between pairs presented in sequence. Results evidenced that the system is capable of reproducing a real-time neuron-like behaviour, and generating distinguishable stimulation patterns through the haptic interface. These findings confirm the effectiveness of the proposed approach in translating tactile stimuli into meaningful feedback and producing perceptually distinguishable responses in human subjects.

L’elaborazione tattile umana è organizzata su più livelli gerarchici che coinvolgono diversi tipi di neuroni. I neuroni di primo ordine ricevono input primari dai meccanocettori e trasmettono queste informazioni a neuroni di ordine superiore. I neuroni di secondo ordine integrano questi segnali per estrarre caratteristiche, che rappresentano qualità tattili come forma, intensità e rugosità. Infine, i neuroni di ordine superiore raffinano ulteriormente i segnali codificati, consentendo processi cognitivi di alto livello. Questi percorsi di elaborazione possono essere compromessi da eventi traumatici, come perdita di un arto o disfunzioni sensoriali. Tuttavia, questi meccanismi possono essere ripristinati in parte tramite dispositivi di sostituzione sensoriale, che integrano codifiche neuromorfe embedded in grado di imitare l’elaborazione fisiologica. L’obiettivo di questa tesi è di sviluppare, caratterizzare e validare un sistema embedded neuromorfo a due livelli, per l’elaborazione dell’informazione tattile acquisita da un polpastrello artificiale basato su un array di sensori MEMS, al fine di pilotare un’interfaccia aptica indossabile, fornendo un feedback tattile non invasivo ed intuitivo. Tale architettura è stata implementata su due schede STM32, ciascuna che modellizza un diverso livello di elaborazione, mentre una terza board personalizzata è stata utilizzata per pilotare gli attuatori dell’interfaccia aptica per il feedback. Il primo livello di elaborazione consiste in un modello neuronale di Izhikevich, che riceve in ingresso il segnale elettrico proveniente dal polpastrello artificiale, scalato tramite un fattore di guadagno. Il secondo livello, implementato sulla seconda scheda, utilizza anch’esso un modello neuronale di Izhikevich, che elabora i treni di spike provenienti dal primo livello, che vengono convoluti con un kernel per produrre spike di uscita coerenti. I treni di spike risultanti vengono usati per attivare gli attuatori dell’interfaccia aptica. Il firmware del primo livello di elaborazione è stato caratterizzato usando dei filamenti di Von Frey per applicare stimoli calibrati e costanti, al fine di adattare i parametri, mentre il firmware del secondo livello è stato caratterizzato usando treni di spike in ingresso a frequenze costanti, per ottimizzare i parametri del modello e valutare le prestazioni del sistema. Il sistema completo è stato validato tramite un esperimento psicofisico a scelta forzata tra due alternative, che ha coinvolto quattro soggetti sani, ai quali è stato chiesto di identificare lo stimolo più intenso tra coppie in sequenza. I risultati hanno evidenziato che il sistema è in grado di riprodurre in tempo reale un comportamento simile a un neurone e di generare pattern di stimolazione distinguibili tramite l’interfaccia aptica. Questi risultati confermano l’efficacia dell’approccio proposto nel tradurre gli stimoli tattili in feedback significativi e nel produrre risposte percettivamente distinguibili nei soggetti umani.