ARKit : Un système thermique infrarouge pour améliorer la précision

Les futurs iPhones pourraient utiliser l'imagerie thermique ou infrarouge pour compléter les caméras de vision ordinaires, ce qui facilitera l'utilisation en réalité augmentée dans des environnements sombres ou occupés.

Apple veut vraiment que nous nous éloignions de l'idée de l'AR impliquant que nous nous couvrions la tête avec des lunettes géantes et que nous nous tenions sur place pendant que les jeux se déplacent autour de nous. Au lieu de cela, la firme travaille sur des casques moins intrusifs comme les Apple Glass, et maintenant le constructeur étudie également comment résoudre les problèmes supplémentaires que le mouvement apporte.

Des améliorations sur les futurs iPhone et Apple Glass

Le brevet intitulé «Méthode et système pour déterminer au moins une propriété liée à une partie d'un environnement réel» est extrêmement long et détaillé. Bien qu'il entre dans des détails très précis sur les multiples méthodes pour atteindre les objectifs, il est cependant centré sur le même problème.

«Les méthodes de vision par ordinateur qui impliquent l'analyse d'images sont souvent utilisées, par exemple, dans la navigation, la reconnaissance d'objets, la reconstruction 3D, l'estimation de la pose de la caméra et les applications de réalité augmentée, pour n'en nommer que quelques-unes», souligne la demande de brevet.

Cependant, comme le soulignent les ingénieurs, lorsque un algorithme d'estimation de position est utilisé dans des environnements dynamiques où au moins un objet réel se déplace, la précision de l'algorithme est souvent réduit de manière significative. Il faut donc chercher un moyen de compenser les erreurs de calculs.

Le problème clair qui en résulte est que l'AR peut se tromper lorsqu'elle tente de positionner un objet virtuel dans l'environnement réel. Apple dit qu'en fait, le problème est un peu plus profond que cela, et donc la solution l'est également.

Le brevet explique que le postulat qui consiste à dire que seul la caméra bouge est donc faux. Il faut que le système puisse suivre les mouvements dans la scène.

«Il existe dans l'état actuel de la technique de nombreux algorithmes de détection et de segmentation d'objets dynamiques (c'est-à-dire en mouvement) dans la scène», explique Apple. «Cependant, de telles approches sont généralement coûteuses en calcul et reposent sur des techniques de segmentation de mouvement et / ou de flux optique.» La raison est simple, ces techniques ont besoin d'un grand nombre d'images pour effectuer une détection fiable des objets en mouvement.

La solution d'Apple consiste à agrémenter les caméras visuelles pour l'AR avec d'autres qui reposent sur l'imagerie thermique ou infrarouge. «Les propriétés [thermiques] des objets réels dans la scène pourraient être utilisées afin d'améliorer la robustesse et la précision des algorithmes de vision par ordinateur, par exemple, le suivi et la reconnaissance d'objets basés sur la vision».


lors que la demande de brevet décrit presque exclusivement l'utilisation de ces méthodes pour améliorer la précision dans des environnements occupés et en mouvement, il y a un autre élément. Les scènes en faible luminosité devraient également en profiter, comme avec Face ID finalement.

Le document est attribué à Darko Stanimirovic et Daniel Kurz et les prochaines versions d'ARKit devraient en profiter.

Source