OpenELM : un nouveau modèle de langage open-source by Apple

Apple ne s'arrête plus. Plusieurs nouveaux grands modèles de langage open-source sont disponibles sur le web. Plus de doutes, l'entreprise est prête pour les mois à venir et toutes les grandes annonces autour de l'IA.

Une nouvelle famille LLM pour Apple

Apple vient de publier une nouvelle famille de grands modèles de langage (LLM) open-source baptisée OpenELM. De quoi nous confirmer, une fois de plus, que 2024 est bien l'année de l'intelligence artificielle chez Apple.

La pomme croquée affirme qu'OpenELM est aussi performant que la concurrence actuelle et se permet même d'utiliser moins de données pour s'entraîner. Un procédé mieux structuré, un temps de réponse diminué et une base de données moins importante. Sans oublier que c'est open-source, autrement dit libre d'accès.

Nous publions OpenELM, un modèle de langage ouvert de pointe. OpenELM utilise une stratégie de mise à l'échelle par couche pour allouer efficacement les paramètres au sein de chaque couche du modèle de transformateur, ce qui conduit à une précision accrue. Par exemple, avec un budget de paramètres d'environ un milliard de paramètres, OpenELM affiche une amélioration de 2,36 % de la précision par rapport à OLMo tout en exigeant 2 fois moins de jetons de pré-entraînement.

Divergent des pratiques précédentes qui ne fournissent que des pondérations de modèle et un code d'inférence, et une préformation sur des ensembles de données privés, notre version comprend le cadre complet pour la formation et l'évaluation du modèle linguistique sur les ensembles de données accessibles au public, y compris les journaux de formation, les multiples points de contrôle et les configurations de pré-formation. Nous publions également du code pour convertir les modèles en bibliothèque MLX pour l'inférence et le réglage fin sur les appareils Apple. Cette version complète vise à responsabiliser et à renforcer la communauté de la recherche ouverte, ouvrant la voie à de futurs efforts de recherche ouverte.

Apple va profiter de la WWDC24 du 10 au 14 juin pour dévoiler son grand projet IA. Un projet qui devrait offrir aux utilisateurs une nouvelle couche d'intelligence artificielle générative dans l'iPhone, le Mac et l'iPad. Spotlight, Siri, Safari, Raccourcis ou encore iMessage, tout le monde devrait avoir le droit à sa petite dose d'IA. Sans oublier qu'Apple aurait l'intention de rendre tout cela disponible en local, sans serveur. Parfait pour la confidentialité, un point de communication vital dans chaque conférence de la marque.