Trusting the machine: An explorative study of differences in trust and adoption of AI and human recommendations

AI recommendation systems are increasingly being used in a variety of business areas, taking over tasks previously performed by human managers, such as screening job applications and recommending candidates. Existing research shows that trust, which includes an emotional and a cognitive dimension, is a critical factor for the adoption of such recommendations. However, there is only little research has examined the differences in trust and adoption of AI recommendations compared to those of other managers. Therefore, this paper examines trust and adoption factors in AI and human recommendations and aims to show whether cognitive or emotional trust is more decisive for the final adoption. For this purpose, a think-aloud study was conducted (N=12) to capture trust factors and the underlying adoption reasons from the user perspective. The results show that the main factors contributing to emotional and cognitive trust are the same for AI and human recommendations and that cognitive trust in the recommender was more important for adoption, except when there is a strong negative impact on the emotional trust. A recommendation is beneficial when providing an overview of the candidate’s skills along with a short justification. This justification should include additional, two-sided information and rational formulations, otherwise it can be detrimental for both trust dimensions. The results lastly indicate that in a preselection task also other factors than trust influence the adoption of a recommendation. These findings have critical implications for the design of and trust in recommendations, thereby creating opportunities for future research.

I sistemi di raccomandazione dell’intelligenza artificiale sono sempre più utilizzati in diverse aree aziendali e svolgono sempre più ruoli precedentemente ricoperti da manager umani, come ad esempio lo screening delle domande di lavoro e la raccomandazione di candidati. La ricerca esistente mostra che la fiducia, che comprende una dimensione emotiva e una dimensione cognitiva, è un fattore critico per l’adozione di tali raccomandazioni. Tuttavia, solo poche ricerche hanno esaminato le differenze nella fiducia e nell’adozione delle raccomandazioni basate sull’IA rispetto a quelle di altri manager. Pertanto, il presente lavoro esamina i fattori di fiducia e di adozione delle raccomandazioni dell’IA e di quelle umane e mira, inoltre, a dimostrare quale tipo di fiducia, se cognitiva o emotiva, risulta essere più decisiva per l'adozione delle raccomandazioni. A tal fine, è stato condotto uno studio con metodologia think-aloud (N=12) per rilevare i fattori di fiducia e le ragioni sottostanti l'adozione dal punto di vista dell'utente finale. I risultati mostrano che i principali fattori che contribuiscono alla fiducia emotiva e cognitiva sono gli stessi per le raccomandazioni AI e umane e che la fiducia cognitiva nel raccomandatore è più importante per l'adozione, tranne quando c'è un forte impatto negativo sulla fiducia emotiva. Una raccomandazione è vantaggiosa quando fornisce una panoramica delle competenze del candidato insieme a una breve giustificazione. Questa giustificazione dovrebbe includere informazioni aggiuntive, bidirezionali e formulazioni razionali, altrimenti potrebbe essere dannosa per la fiducia cognitiva ed emotiva. I risultati indicano infine che in un compito di preselezione anche altri fattori oltre alla fiducia influenzano l'adozione di una raccomandazione. Questi risultati mostrano implicazioni critiche per la progettazione delle raccomandazioni e per la fiducia in esse, che, a loro volta, aprono strade per la ricerca futura.