ReDrafter : Apple et NVIDIA collaborent sur l'intelligence artificielle
- 👨 Alexandre Godard
- Il y a 6 heures (Màj il y a 5 heures)
- 💬 Réagir
Une collaboration pour accélérer les modèles de langage (LLM) grâce à ReDrafter
Apple et NVIDIA, deux géants de la technologie, unissent leurs forces pour repousser les limites de l’intelligence artificielle (IA) avec une nouvelle approche de génération de texte plus rapide. Dans un article de blog, les ingénieurs d’Apple ont dévoilé les détails de leur collaboration visant à intégrer leur méthode ReDrafter au framework NVIDIA TensorRT-LLM.
Cette avancée promet de transformer la manière dont les modèles de langage de grande taille (LLM) sont utilisés en production, en réduisant significativement la latence et les besoins en ressources matérielles.
ReDrafter : une innovation dans la génération de texte
Introduit par Apple plus tôt cette année, ReDrafter est une méthode avancée de génération de texte qui combine deux techniques innovantes :
- La recherche de faisceau : une méthode qui explore plusieurs chemins possibles pour générer le texte le plus cohérent.
- L’attention dynamique de l’arbre : une technique qui optimise la gestion des choix en utilisant une structure arborescente, améliorant ainsi la rapidité et l’efficacité.
ReDrafter offre une génération de texte plus rapide tout en maintenant une qualité de pointe. Cette innovation est particulièrement utile pour les modèles de langage de grande taille utilisés dans des applications complexes.
Une collaboration stratégique avec NVIDIA
Pour déployer ReDrafter à grande échelle, Apple s’est associé à NVIDIA, leader des GPU et des outils d’accélération de l’intelligence artificielle. Grâce à cette collaboration, ReDrafter a été intégré à TensorRT-LLM, un cadre de référence de NVIDIA conçu pour accélérer l’inférence des modèles de langage sur les GPU.
Améliorations apportées par NVIDIA
Pour permettre cette intégration, NVIDIA a ajouté de nouveaux opérateurs ou exposé des opérateurs existants dans TensorRT-LLM, ce qui rend le framework plus flexible et performant. De plus, ils ont optimisé le processus de génération de texte, apportant ainsi des avantages significatifs aux développeurs utilisant des GPU NVIDIA pour des applications LLM en production.
Des résultats impressionnants : une accélération de 2,7 fois
Lors de tests en production avec un modèle comprenant des dizaines de milliards de paramètres, Apple et NVIDIA ont constaté une accélération de 2,7 fois dans le nombre de jetons générés par seconde lors d’un décodage gourmand.
Les avantages clés incluent la réduction de la latence, ce qui permet aux utilisateurs de ressentir moins de temps d’attente pour les réponses générées par l’IA. De plus, la diminution des coûts est notable car moins de GPU sont nécessaires pour obtenir des performances similaires, réduisant ainsi les coûts de calcul. Enfin, l’efficacité énergétique accrue entraîne une diminution de la consommation énergétique, contribuant à une empreinte carbone plus faible pour les applications de production.
Un impact significatif pour les développeurs et les entreprises
Les chercheurs d’Apple soulignent que cette avancée répond à une demande croissante pour des solutions efficaces en production. Les LLM sont aujourd’hui utilisés dans des domaines tels que :
- Les assistants virtuels
- La génération de contenu automatisée
- Les outils d’analyse avancée
Avec l’intégration de ReDrafter dans TensorRT-LLM, les développeurs peuvent désormais exploiter des performances améliorées sur des GPU NVIDIA pour créer des applications plus rapides et plus accessibles.
Une révolution dans l’IA générative
Cette collaboration entre Apple et NVIDIA marque une étape importante dans l’optimisation des modèles de langage de grande taille. En combinant les innovations algorithmiques d’Apple avec les capacités matérielles et logicielles de NVIDIA, les deux entreprises montrent comment les partenariats stratégiques peuvent accélérer l’adoption de l’IA dans le monde réel.