Apple entraîne une IA à concevoir seule de belles interfaces SwiftUI

Apple a mis au point une méthode innovante pour apprendre à une intelligence artificielle à créer des interfaces SwiftUI de qualité, alliant fiabilité et esthétique.

Apple entraîne une IA à concevoir seule de belles interfaces SwiftUI

Apple a mis au point une méthode ingénieuse permettant à un modèle de langage open-source d’apprendre à concevoir des interfaces utilisateur de qualité en SwiftUI, son framework déclaratif pour créer des interfaces sur iOS, macOS et autres plateformes.

• iSoft v9 : une nouvelle app en SwiftUI pour iOS, iPadOS et visionOS !

Malgré leurs progrès, les modèles de langage rencontrent encore des difficultés à générer du code d’interface à la fois correct sur le plan syntaxique et esthétique. L’une des principales raisons est que les jeux de données d’entraînement contiennent très peu d’exemples de code UI, souvent moins de 1 % du total.

Pour résoudre ce problème, les chercheurs sont partis d’un modèle spécialisé dans le code, StarChat-Beta. Ils lui ont fourni des descriptions d’interfaces et l’ont invité à générer massivement des programmes SwiftUI synthétiques. Chaque code produit passait par une phase de compilation, éliminant ceux qui ne fonctionnaient pas, puis par une vérification visuelle grâce à un modèle vision-langage. Les résultats non pertinents ou en double étaient écartés, ne conservant qu’un jeu de données de haute qualité pour affiner le modèle.

Ce processus a été répété sur cinq itérations. À chaque cycle, la génération de code devenait plus pertinente et plus fidèle aux descriptions. Au final, les chercheurs ont constitué un corpus de 996 000 programmes SwiftUI et créé un modèle affiné baptisé UICoder.

Les tests montrent que UICoder surpasse nettement StarChat-Beta, aussi bien sur des métriques automatisées que lors d’évaluations humaines. Il rivalise même avec GPT-4 sur la qualité globale et le dépasse pour le taux de compilation réussi.

Un fait étonnant est que StarChat-Beta avait initialement très peu, voire pas du tout, été exposé à du code SwiftUI, la plupart des ensembles de données utilisés ne l’incluant pas. Les rares exemples provenaient de pages web moins structurées, ce qui rend la progression obtenue d’autant plus impressionnante.

Grâce à cette approche basée sur l’auto-apprentissage, Apple a pu former un modèle capable de concevoir des interfaces SwiftUI fiables et esthétiques, ouvrant la voie à des IA plus autonomes dans la génération d’interfaces au sein de son écosystème. Manque plus qu'à le mettre à dispotion des développeurs.

Source