Le nouveau modèle d'IA d'Apple se nomme DiffuCode-7B-cpGRPO

Apple a lancé un nouveau modèle d'IA sur Hugging Face, sobrement nommé DiffuCode-7B-cpGRPO, avec une approche originale pour générer du code. Contrairement aux modèles classiques qui s'écrivent comme un texte classique, de gauche à droite, celui-ci peut travailler sur plusieurs parties à la fois, ce qui accélère le processus et produit un code de qualité, rivalisant avec les meilleurs modèles open-source. Mais attendez de voir d'où tire-t-il sa base.

Les bases

Avant de rentrer dans le vif du sujet, voici quelques explications techniques :

• Autorégression : Les modèles traditionnels traitent une requête, prédisent un mot, puis recommencent pour le suivant, comme on lit : de gauche à droite.
• Température : Ce réglage contrôle la créativité. Une température basse donne des résultats prévisibles, une température haute permet plus de liberté.
• Diffusion : Utilisée dans la génération d’images (comme Stable Diffusion), cette méthode affine tout le contenu en parallèle, au lieu d’aller étape par étape.

Pourquoi c’est intéressant

Les modèles de diffusion sont plus rapides pour générer du texte, car ils améliorent tout en même temps. C’est idéal pour programmer, où la structure globale compte plus que l’ordre des mots. Et Apple ne s'y est pas trompé.

Le modèle d’Apple : DiffuCode-7B-cpGRPO

Le modèle open-source d’Apple, DiffuCode-7B-cpGRPO, s’inspire d’un article récent. Il utilise la diffusion, mais peut ajuster son comportement : à basse température, il fonctionne comme un modèle classique (gauche à droite) ; à température plus élevée, il génère du code dans n’importe quel ordre. Une technique spéciale, appelée coupled-GRPO, lui permet de produire un code de meilleure qualité plus rapidement.

Mais le plus intéressant est probablement la source d'inspiration des équipes de Tim Cook. Apple a utilisé Qwen2.5-7B, un modèle open-source d’Alibaba, optimisé pour le codage. Ils l’ont modifié avec un décodeur basé sur la diffusion et entraîné avec plus de 20 000 exemples de code.

Résultats et limites

DiffuCode-7B-cpGRPO a amélioré ses performances de 4,4 % sur un test de codage populaire, surpassant d’autres modèles de diffusion. Cependant, il reste derrière des géants comme GPT-4 d'OpenAI. Ses 7 milliards de paramètres peuvent limiter ses capacités, et la génération peut parfois sembler séquentielle. Malgré cela, Apple montre son ambition dans l’IA avec des idées novatrices, ce qui laisse entrevoir un avenir très intéressant pour iOS 27, macOS 27 et autres.