La gestuelle de l'Apple Vision Pro impressionne les chercheurs

Même avant l'annonce du Vision Pro, des chercheurs avaient étudié l'efficacité de ce qui s'est avéré être le choix de commandes d'Apple pour son premier casque de réalité mixte.

Révélé pour la première fois à la WWDC 23, l'ordinateur spatial, comme aime à l'appeler Apple, sélectionne automatiquement tout ce que l'utilisateur regarde sur son écran. Ensuite, ses caméras environnantes détectent quand l'utilisateur effectue un mouvement de pincement pour "taper" efficacement sur l'objet.

La meilleure façon d'utiliser un casque AR/VR

Les chercheurs ont mené des expériences sur cette technique, appelée "Regarder et Pincer" en 2022, sans savoir qu'Apple l'utiliserait. Ils l'ont comparée à un système où l'utilisateur pointe d'abord vers un objet à l'aide d'un accessoire, avant de pincer pour l'activer.

Selon le professeur Ken Pfeuffer de l'Université d'Aarhus, "Regarder + Pincer" est plus rapide et demande moins d'efforts physiques si l'eye tracker est précis. Autrement dit, si le casque suit précisément où l'utilisateur regarde, le regard et le pincement sont la meilleure méthode à utiliser.

Justement, les premiers tests du Vision Pro ont été épatés par la précision du contrôle par les yeux et les mains, chose qu'on n'a pas pu véritablement testé via le SDK de visionOS. Apple détient plusieurs brevets à ce sujet, dont un de 2019. Et vous connaissez déjà tous les gestes du Vision Pro.

Globalement, "Regard et Pincement" est supérieur, sauf dans un cas où il peut être battu par un pointeur qu'on tiendrait en main, qui s'avère meilleure pour sélectionner précisément ce que l'utilisateur souhaite.

Dans les tests pratiques, personne n'a préféré l'approche à la main, tandis qu'environ 6 des 16 personnes interrogées ont préféré activement le "Look & Pinch".

La recherche référencée dans le fil Twitter est un document intitulé "Une étude de la loi de Fitts sur l'alignement du regard et de la main pour la sélection dans les interfaces utilisateur 3D".

What's science saying on the UI of the @Apple's new HMD? In 2021-22 we studied the techniques of Gaze+Pinch (#VisionPro) vs Handray (#HoloLens #MetaQuest).

Result: Gaze+Pinch is faster & less physical effort if targets fit the eyetracker accuracy. More details & papers below. pic.twitter.com/UdAdiZg5jy

— Ken Pfeuffer (@KenPfeuffer) June 28, 2023

Par ailleurs, le professeur Pfeuffer a également partagé un lien vers un article intitulé "PalmGazer : menus œil-main unimanuels en réalité augmentée", consultable en ligne.

Date de sortie de l'Apple Vision Pro

Bien que la date de sortie d'Apple Vision Pro n'interviendra qu'en 2024 avec des possibles changements en cours de route (l'appareil étant encore en bêta), nul doute que les bases solides du contrôle de l'appareil n'évolueront pas, ou seulement à la marge.

En tout cas, nous avons de plus en plus envie de le tester, pas vous ?