Mirage : une app pour détecter les photos retouchées

Mirage fait partie de ses apps qui font leur petit effet. En me baladant sur Reddit, j’ai trouvé la publication d’un développeur nommé Akshat Jagga qui venait de publier une application de détection d’images retouchées. Après quelques tests, nous étions obligés de vous la partager !

Mirage : une app en machine-learning pour savoir si une photo est passée par la case Photoshop

C’est le genre d’outil qui devient vite indispensable. En effet, combien de fois vous êtes vous demandé si telle ou telle photo avait été retouchée ? Mirage permet d’y répondre, en tout cas en partie.

Fonctionnant pour le moment uniquement sur les visages, Mirage se base sur une très sérieuse étude qui a mis au point un ensemble de données pour différencier les images originales des images passées par Photoshop. Le but initial est de détecter les fakes news, qui représentent selon les chercheurs de UC Berkeley et d’Adobe Research, une part significative des informations publiées en ligne.

Voici un extrait du PDF publié. C’est un peu long mais cela aide à comprendre sur quel travail s’appuie Akshat Jagga :

Dans ce travail, nous nous concentrons sur un type spécifique de manipulation de Photoshop - la déformation d'image appliquée aux visages.  Il s'agit d'une tâche extrêmement courante utilisée pour «l'embellissement» et l'édition d'expression.  La déformation du visage est un problème intéressant car c'est un domaine qui est étonnamment difficile à détecter pour les gens, mais il est couramment utilisé et a de vastes implications. Nous montrons dans une étude d'utilisateurs que les humains n'ont que 53,5% de précision pour identifier de telles modifications (la chance est de 50%).
 
Comme pour toute méthode d'apprentissage en profondeur, la collecte de suffisamment de données de formation supervisée est toujours un défi. Cela est particulièrement vrai pour les applications médico-légales, car il n'y a pas de jeux de données à grande échelle de contrefaçons visuelles créées manuellement. Dans ce travail, nous résolvons ce problème en utilisant Photoshop lui-même pour générer automatiquement de fausses données d'entraînement réalistes. Nous collectons d'abord un grand ensemble de données d'images de visage réel, extraites de différentes sources Internet. Nous scénarisons ensuite directement l'outil Face-Aware Liquify dans Photoshop, qui résume les manipulations faciales en opérations sémantiques de haut niveau, telles que «augmenter la largeur du nez» et «diminuer la distance des yeux».  En échantillonnant au hasard les manipulations dans cet espace (figure 2b), nous nous retrouvons avec un ensemble d'apprentissage composé de paires d'images sources et de modifications déformées d'aspect réaliste.
Nous formons des réseaux de classification globale et de prédiction de champ de déformation locale sur cet ensemble de données. En particulier, notre méthode de prédiction locale utilise une combinaison de fonctions de perte, y compris la prédiction de déformation de flux, la préservation de déformation relative et une perte de reconstruction par pixel. Enfin, nous évaluons notre approche sur un certain nombre de cas de test, y compris des images issues de diverses sources, ainsi que sur des opérations de déformation effectuées par d'autres moyens.

Le développeur de Mirage a donc repris ce travail (publié sur Github) et notamment la base de données pour l’intégrer à CoreML d’Apple. On compte ainsi plus de 1.1 million d’images traitées qui permettent une prédiction précise des retouches. En effet, en lisant l’étude, on s’aperçoit que les humains ne détectent que la moitié des retouches alors que l’algorithme atteint 90% sur des formats haute résolution.

Resultat, après avoir payé deux euros (l’abonnement n’est plus nécessaire, le développeur explique qu’Apple n’autorise pas la suppression des abonnements), on peut s’amuser à voir si, par exemple, son influenceur préféré use et abuse de Photoshop. En faisant deux essais, l’app a trouvé à chaque fois quelque chose. Mieux, il propose même de revenir en arrière en supprimant les retouches. Il faut par contre qu’il y ait un visage, sinon Mirage ne détectera rien, comme ce fut le cas pour notre troisième essai.

Il est aussi dommage qu’on ne puisse pas zoomer sur l’image originale qui est reproduite pour mieux distinguer les modifications, à droite de l’image de base. Mais Jagga nous assure qu’il travaille dessus.

Enfin, regardez la vidéo explicative de l’étude initiale si vous êtes intéressés par les procédés :

 

Télécharger Mirage à 2,29 €