OpenAI en grande difficulté pour développer GPT-5

Le développement du successeur de GPT-4, nom de code "Orion", traverse une période difficile chez OpenAI. Selon une enquête approfondie du Wall Street Journal, le projet accumule les retards et les coûts astronomiques sans atteindre les performances espérées. Une situation préoccupante pour l'entreprise de Sam Altman, qui avait promis une révolution dans le domaine de l'intelligence artificielle.

Des investissements colossaux pour des résultats décevants

Le développement de GPT-5 mobilise les équipes depuis plus de 18 mois avec des coûts vertigineux. Chaque session d'entraînement peut atteindre 500 millions de dollars uniquement en puissance de calcul, nécessitant des dizaines de milliers de puces Nvidia dans des centres de données. Malgré au moins deux grandes phases d'entraînement réalisées, les résultats restent en deçà des attentes. Si le modèle surpasse ses prédécesseurs, les améliorations ne justifient pas encore les coûts faramineux de son exploitation.

Microsoft, principal investisseur d'OpenAI, espérait voir le nouveau modèle vers mi-2024. Sam Altman avait même déclaré aux étudiants de Stanford qu'OpenAI pouvait affirmer "avec un haut degré de certitude scientifique" que GPT-5 serait nettement plus intelligent que le modèle actuel. L'objectif était d'obtenir un modèle capable de réaliser des découvertes scientifiques et d'effectuer des tâches quotidiennes complexes avec la précision d'un docteur dans certains domaines.

Une nouvelle stratégie face aux défis techniques

Face à ces obstacles, OpenAI a dû repenser entièrement son approche :

• Recrutement d'experts pour créer des données d'entraînement originales
• Utilisation de données synthétiques générées par ses modèles o1 et o3
• Développement d'une approche basée sur le raisonnement plutôt que sur la quantité de données
• Collaboration avec des physiciens théoriciens pour améliorer la résolution de problèmes complexes

L'entreprise fait également face à des défis internes, avec le départ de plus de deux douzaines d'executives et chercheurs clés en 2024, dont le co-fondateur Ilya Sutskever et la CTO Mira Murati. Le récent départ d'Alec Radford, chercheur respecté et auteur principal de plusieurs publications scientifiques d'OpenAI, illustre cette instabilité.

L'avenir incertain des grands modèles de langage

La situation d'OpenAI soulève des questions fondamentales sur l'avenir des LLM (Large Language Models). Ilya Sutskever, ancien scientifique en chef d'OpenAI, a récemment déclaré que "l'ère des données maximales est révolue", comparant les données à un "combustible fossile de l'IA" dont les réserves s'épuisent.

Les chercheurs d'Apple ont notamment critiqué les modèles de raisonnement actuels, affirmant qu'ils ne font que "mimer" les données d'entraînement plutôt que de véritablement résoudre de nouveaux problèmes. Leurs tests ont révélé des "baisses de performance catastrophiques" lorsque des détails non pertinents étaient ajoutés aux problèmes.

Vendredi dernier, Sam Altman a annoncé le développement d'un nouveau modèle de raisonnement plus intelligent que tout ce que l'entreprise a produit jusqu'à présent, sans toutefois mentionner GPT-5. L'entreprise a d'ores et déjà confirmé qu'aucun modèle nommé GPT-5 ne serait publié en 2024, laissant planer le doute sur l'avenir de cette nouvelle génération d'IA tant attendue.

Source

Télécharger l'app gratuite ChatGPT