A reinforcement learning approach for image enhancement

Image Enhancement is one of the most important topics in image processing. As the name suggests, this area of research involves a process to improve the quality of a digital image in terms of its colours, brightness and other features. This provides a better experience to the final consumer of that image. The process of enhancing an image is usually performed by professional photographers through specialised software such as Adobe Photoshop. But in recent times, mainly due to social networks based on images, such as Instagram, Pinterest, and Snapchat, the enhancement process is increasingly widespread. However, since many casual photographers lack the expertise to do this, which can be also true for some professionals, the results are not always optimal. For this reason, those apps allow users to enhance their images through standard filters. The purpose of this thesis is to propose a way to build a filter of this kind, which applies directly to the input image, resulting in an enhanced image as output, based on the style of our reference professional. This is made possible thanks Deep Reinforcement Learning and in particular via Convolutional Neural Networks, since they combine both “bottom-up" feature-based information with “top-down” high level semantic cues and can learn from human ground-truths. Bringing together concepts and ideas from machine learning, in particular reinforcement learning, and image processing was possible to analyse this problem and produce some models together with the most popular data sets and benchmarks.

Apprendimento per rinforzo applicato al miglioramento delle immagini. Il miglioramento delle immagini è uno degli argomenti più importanti nell'elaborazione delle immagini. Come suggerisce il nome, quest'area di ricerca coinvolge un processo per migliorare la qualità di un'immagine digitale in termini di colori, luminosità e altre caratteristiche. Questo fornisce una migliore esperienza al consumatore finale di quell'immagine. Il processo di miglioramento di un'immagine è solitamente eseguito da fotografi professionisti attraverso software specializzati come Adobe Photoshop. Ma negli ultimi tempi, soprattutto a causa dei social network basati sulle immagini, come Instagram, Pinterest e Snapchat, il processo di miglioramento è sempre più diffuso. Tuttavia, poiché molti fotografi occasionali non hanno la competenza per farlo, cosa che può essere vera anche per alcuni professionisti, i risultati non sono sempre ottimali. Per questo motivo, queste app permettono agli utenti di migliorare le loro immagini attraverso filtri standard. Lo scopo di questa tesi è proporre un modo per costruire un filtro di questo tipo, che si applica direttamente all'immagine di input, ottenendo come output un'immagine migliorata, basata sullo stile del nostro professionista di riferimento. Questo è reso possibile grazie al Deep Reinforcement Learning e in particolare tramite le Reti Neurali Convoluzionali, poiché esse combinano sia informazioni "bottom-up" basate sulle caratteristiche con spunti semantici di alto livello "top-down" e possono imparare dalle verità di base umane. Mettendo insieme concetti e idee dal machine learning, in particolare dal reinforcement learning, e dall'elaborazione delle immagini è stato possibile analizzare questo problema e produrre alcuni modelli insieme ai set di dati e ai benchmark più popolari.