L'outil StableDiffusion génère une image sur Mac M2 en 18 secondes

Sur son blog consacré à l'apprentissage automatique, Apple a annoncé un soutien retentissant au projet StableDiffusion. Cela inclut des mises à jour dans macOS 13.1 bêta 4 et iOS 16.2 bêta 4, qui viennent d'être publiés, afin d'améliorer les performances d'exécution de ces modèles sur les puces Apple Silicon.

Apple montre l'exemple avec Core ML

Apple ne s'est pas arrêté à la mise à jour de ses systèmes d'exploitation, la société a également publié un document détaillé et des exemples de code (cf Github plus bas) pour montrer comment convertir les modèles sources de StableDiffusion en un format natif Core ML.

Cette annonce est le plus grand soutien officiel qu'Apple ait apporté à l'émergence récente des générateurs d'images basés sur l'apprentissage automatique.

Pour rappel, les techniques de génération d'images basées sur l'apprentissage automatique se sont fait connaître grâce aux résultats surprenants du modèle DALL-E. Ces générateurs d'images IA acceptent une chaîne de texte comme invite et tentent de créer une image de ce que vous avez demandé. Une variante appelée StableDiffusion a été lancée en août 2022 et a rapidement suscité l'intérêt de la communauté. Rappelons que Meta a lancé un concept similaire pour des vidéos avec Make-A-Video.

Grâce aux nouvelles optimisations matérielles et logicielles, les modèles Core ML de StableDiffusion tirent pleinement parti du moteur neuronal et des architectures GPU d'Apple que l'on trouve dans les puces de la série M. Cela conduit à des générateurs d'une rapidité impressionnante. Selon Apple, un MacBook Air M2 de base peut générer une image à l'aide d'un modèle StableDiffusion à 50 itérations en moins de 18 secondes (au lieu de 23 auparavant). Même un iPad Pro M1 peut effectuer la même tâche en moins de 30 secondes (au lieu de 38 secondes) d'après le Github d'Apple.

Apple en profite pour encourager les développeurs à intégrer StableDiffusion 2 dans leurs applications pour qu'elles s'exécutent sur le client, plutôt que de dépendre de services en ligne, dits Cloud. L'exécution sur l'appareil est "gratuite" et préserve la vie privée.