L'API RoomPlan d'iOS 16 permet de créer des plans 3D avec l'iPhone

Un nouveau framework de développement baptisé RoomPlan va permettre aux applications de créer rapidement des plans en 3D des pièces à l'aide du scanner LiDAR des iPhones et iPads récents. Voilà qui devrait ravir les décorateurs en herbe, mais aussi quelques professionnels comme ceux de l'immobilier qui cherchent toujours à améliorer l'expérience de visites d'un bien.

Enfin des nouvelles d'ARKIT sous iOS 16

L'API proposée par le SDK d'iOS 16 et écrite en Swift permettra donc aux applications immobilières et de commerce électronique de scanner et de créer le plan d'une pièce. Ce plan pourra ensuite être utilisé pour la visite, la rénovation ou encore la décoration intérieure. Malgré l'intérêt de cette API, Apple n'a pas parlé de RoomPlan sur scène lors de la keynote en ouverture de la WWDC22 de lundi. Une bonne nouvelle pour tous les développeurs qui attendaient du nouveau sur ARKit, même si ils auraient certainement préféré avec un aperçu du casque AR/VR d'Apple...

© Apple

Apple parle de RoomPlan en détail dans la section consacrée à la réalité augmentée de son site web pour les développeurs. Il y est indiqué que les applications peuvent utiliser l'API pour "créer un plan en 3D d'une pièce, avec des caractéristiques clés telles que les dimensions et les types de meubles".

Propulsée par la plateforme de réalité augmentée d'Apple, ARKit, la version bêta de l'API RoomPlan fonctionnera dans iOS 16, iPadOS 16 ainsi que Mac Catalyst 16.

Voici ce que dit la page de documentation technique de Roomplan :

Utilisez RoomPlan pour créer un modèle 3D d'une pièce intérieure. Le framework utilise les capteurs d'un appareil, des modèles ML formés et les capacités de rendu de RealityKit pour capturer l'environnement physique d'une pièce intérieure. Par exemple, le cadre inspecte le flux de la caméra d'un appareil et les relevés LiDAR et identifie les murs, les fenêtres, les ouvertures et les portes. RoomPlan reconnaît également les caractéristiques, le mobilier et les appareils de la pièce, par exemple une cheminée, un lit ou un réfrigérateur, et fournit ces informations à l'application.

Pour commencer une capture, l'application présente une vue (RoomCaptureView) que l'utilisateur parcourt pour voir sa pièce en AR. La vue affiche des repères virtuels à mesure qu'il se déplace dans la pièce :

• Des superpositions graphiques en temps réel s'affichent au-dessus des structures physiques de la pièce pour indiquer la progression de la numérisation.
• Si le cadre nécessite un type de mouvement ou de perspective spécifique de l'appareil pour réaliser la capture, l'interface utilisateur affiche des instructions qui expliquent comment positionner l'appareil.

Au final, le modèle 3D est exportable dans les nombreux formats USD afin de l'intégrer dans un jeu, prendre des mesures ou insérer un objet dans une scène pour un site e-commerce par exemple.

PhotoCatch est la première app à intégrer RoomPlan

Les développeurs de PhotoCatch se sont rués sur RoomPlan pour l'intégrer dans leur application. Cette intégration permet à leur service de créer des plans d'étage en 3D d'un espace en quelques secondes seulement. Une fois scanné et créé, vous pouvez revoir le plan dans l'espace 3D avec les cotes exactes et des détails comme les meubles ou les renfoncements.

Si vous utilisez déjà iOS 16 ou iPadOS 16 sur votre iPhone ou iPad Pro et que vous avez un compte développeur, vous pouvez foncer pour tester cette nouvelle API. Sinon, regardez simplement la démonstration rapide dans la vidéo intégrée ci-dessous :

PhotoCatch is the first app to integrate Apple's RoomPlan to create 3D floor plans of a space in seconds.

If you have iOS 16, you can already try our beta! https://t.co/9R71JQP8XA#WWDC22 #WWDC #RoomPlan #iOS16 #ARKit #ARKit6 #LiDAR #3D #AR #AugmentedReality pic.twitter.com/5IPeULKjyi

— PhotoCatch (@PhotoCatch3D) June 7, 2022

Jonathan Stephens, évangéliste en chef chez EveryPoint, a utilisé RoomPlan pour scanner différentes pièces de sa maison à l'aide d'un iPad Pro et a partagé ses conclusions dans un fil Twitter. Ses tests montrent que la numérisation de RoomPlan ne sera pas trompée si elle est utilisée devant un miroir.

Ce qui est encore plus impressionnant, c'est que RoomPlan a réussi à créer un modèle 3D précis d'une salle de jeux en désordre. La fonctionnalité alimentée par ARKit n'est cependant pas parfaite. Elle a peiné à scanner correctement des plafonds voûtés ou des murs avec un angle oblique. Elle n'a pas non plus réussi à détecter une énorme ouverture dans un mur, certainement un défaut de jeunesse.

Follow along as I do a series of structured @Apple RoomPlan tests and share my findings/notes in this thread.

First up, I tried tricking RoomPlan with a large mirror. Surprisingly it wasn't fooled! Also, it was way off on french doors height.#WWDC22 #AR #ARKit #AI @Scobleizer pic.twitter.com/R4hJbO57Km

— Jonathan Stephens (@jonstephens85) June 7, 2022

Une API disponible en septembre avec iOS 16

iOS 16 vient de commencer sa période de bêta-test qui devrait durer trois mois. Cela laisse un peu de temps aux ingénieux d'Apple pour peaufiner le framework RoomPlan avant la version finale qui est attendue pour septembre prochain.

RoomPlan est certainement l'un des outils sur lesquels se baser le casque AR/VR d'Apple dont le lancement est maintenant prévu pour 2023.