Model Based Reinforcement Learning Applied to Persuasive-task-oriented Conversational Agent

A conversational agent is any dialogue system that not only conducts natural language processing but also responds automatically using human language. A typical conversational agent is defined by two fundamental aspects: natural language and dialogue management. In this work we focused on dialogue management developed through machine learning. In particular, the traditional conversational agent architecture will be improved by exploiting results coming from the field of Psychology of Persuasion. The aim is to achieve a personalized task-oriented conversational agent which takes into account user's characteristics to enhance its policy. In the specific case study considered, the agent has to learn the user's involvement about red meat consumption, and subsequently send the most persuasive recommendation message that could encourage him/her toward healthier habits. Thanks to the Psychology group of the Università Cattolica del Sacro Cuore of Milan, personality traits and the efficacy of different messages were studied, resulting in a Structural Equation Model (SEMs). This has been translated in a Dynamic Bayesian Networks(DBNs) for conditional probability analysis and finally, turning to the machine learning field, in a Partially Observable Markov Decision Process(POMDPs). In order to define the agent's best policy we applied, in a preliminary attempt, the Monte Carlo Tree Search(MCTS)and secondarily an enhanced solution by using MCTS together with Deep Neural Networks.

Un agente conversazionale è qualsiasi sistema di dialogo che interpreta e risponde alle dichiarazioni fatte dagli utenti in un linguaggio naturale normale. Un tipico agente conversazionale è composto da natural language managment e dialogue managment. Concentrandoci su questo, il nostro lavoro ha come obiettivo lo sviluppo di un agente conversazionale con tecniche di machine learning. In particolare, l'architettura tradizionale verrà migliorata grazie al contributo di alcuni risultati nel campo della Psicologia Sociale applicata alla persuasione. L'obiettivo finale è quello di sviluppare un agente conversazionale personalizzato e cioè che consideri le caratteristiche personali dell'utilizzatore per migliorare la propria strategia comunicativa. Nel caso specifico, l'agente deve apprendere il coinvolgimento personale dell'utente nei riguardi del consumo di carne rossa e, successivamente, inviare il messaggio che più lo persuaderà a migliorare le sue abitudine alimentari. Grazie al gruppo di ricerca dell' Università Cattolica del Sacro Cuore di Milano, sono stati individuati i tratti della personalità e l'efficacia, sulla base di questi, di diverse strategie comunicative, che sono state poi formalizzate usando un Structural Equation Model (SEMs). Per poterne calcolare le probabilità condizionate, questo è stato successivamente tradotto in una Dynamic Bayesian Networks (DBNs). Infine, ritornando nel campo del machine learning, il DBN descrive dal punto di vista probabilistico un Partially Observable Markov Decision Process (POMDPs). Con l'obbiettivo di convergere alla strategia ottima, un primo approccio al problema ha portato all'utilizzo del Monte Carlo Tree Search (MCTS) e successivamente abbiamo deciso di adottare una soluzione più innovativa che combina un MCTS ad una Deep Neural Network (DNN).