IMX500 : Sony dévoile un capteur photo intelligent pour l'iPhone

Vous le savez, Apple utilise déjà l'intelligence artificielle pour aider au traitement des images prises par l'iPhone via le moteur neuronal qui fait partie des puces AXX depuis l'iPhone 8 et l'iPhone X. Il s'agit d'un traitement spécifique aux photos et vidéos qui décharge le processeur principal et qui permet d'avoir des algorithmes plus optimisées pour la réalité augmentée, le mode nuit, Deep Fusion, etc.

 Mais les futurs iPhones, comme l'iPhone 13 disons, pourraient voir un traitement de l'IA effectué directement par le capteur de l'appareil photo lui-même...

 

IMX500 : la future caméra de l'iPhone ?

The Verge rapporte que Sony - qui fournit les capteurs d'image avancés à 60% du marché dont les iPhones 11 et iPhone 11 pro - travaille à l'intégration de l'intelligence artificielle directement dans le module photo. Il vient d'annoncer le premier d'entre eux, le IMX500 qui est un modèle orienté vers les applications commerciales plutôt que les applications grand public.

Sony explique que le nouveau capteur IMX500 intègre à la fois la puissance de traitement et la mémoire, ce qui lui permet d'effectuer des tâches de vision artificielle basées sur l'apprentissage automatique sans matériel supplémentaire. Selon Sony, le résultat sera des caméras à base d'AI plus rapides, moins chères et plus sécurisées.

De nombreuses applications reposent sur l'envoi d'images et de vidéos vers le cloud à analyser. Cela peut être un périple long et peu sécurisé, exposant notamment des données aux personnes malintentionnées. Pour éviter cela, Apple et Google par exemple ont inclus des cœurs de traitement spécialisés sur les appareils pour gérer la demande de calcul supplémentaire.

La puce IMX500 à gauche et la version packagée à droite

Mais Sony affirme que son nouveau capteur d'image offre une solution rationnelle que l'une ou l'autre de ces approches.

En gros, avec un capteur d'image IMX500 et l'algorithme approprié, la caméra peut envoyer rapidement "oui" ou "non" pour savoir si la personne sur l'image porte un masque par exemple. Cela fonctionne sur un flux vidéo 4K en 60 images par secondes, sans connexion requise. Cela réduit ainsi le trafic de données et la latence.

Sony affirme que l'IMX500 est beaucoup plus rapide pour ce type de tâches que de nombreuses autres caméras AI, avec la possibilité d'appliquer un algorithme de reconnaissance d'image standard (MobileNet V1) à une seule image vidéo en seulement 3,1 millisecondes. En comparaison, explique le nippon, les puces de concurrents, telles que celles fabriquées par Movidius appartenant à Intel (qui sont utilisées dans la caméra Google Clips et le drone DJI Phantom 4) peuvent prendre des centaines de millisecondes - voire des secondes - à traiter la demande.

L'IMX500 est destiné à des utilisations commerciales et industrielles, telles que la reconnaissance faciale pour prendre en charge les magasins sans caisse, mais la société envisage clairement les applications pour smartphones. Ce serait évidemment une bonne idée sur les futurs iPhone comme l'iPhone 13 dans deux ans avec des performances améliorées, une meilleure gestion énergétique et donc une meilleure sécurité.

Le prix estimé des premiers IMX500 est inférieur à 100$ l'unité, ce qui est relativement cher pour l'inclure dans un smartphone à date. Mais nul doute que les prochaines générations seront encore meilleures et moins onéreuses.

Source