Nvidia présente un chatbot en local, comme imaginé par Apple

En secret, Apple travaille d'arrache-pied sur une intelligence artificielle générative en local, comprenez directement sur l'appareil et sans connexion Internet, afin de se démarquer de ses concurrents. Ce chatbot, comparable à ChatGPT, serait capable d'accéder aux données stockées sur votre iPhone sans compromettre la confidentialité. Et bien, avant une officialisation attendue avec iOS 18, Nvidia a adopté la même approche, avec un chatbot fonctionnant sur un PC Windows - naturellement équipé de l'un des GPU haut de gamme de l'entreprise.

"Chat With RTX" de Nvidia

Nvidia a donc créé une version de démonstration d'un chatbot sans connexion aux multiples possibilités.

Avec l'application "Chat With RTX", vous pouvez personnaliser un grand modèle de langage (LLM) GPT connecté à votre propre contenu (documents, notes, vidéos ou autres données). Grâce à la génération augmentée par récupération (RAG), à TensorRT-LLM et à l'accélération RTX, afin d'interroger un chatbot personnalisé pour obtenir rapidement des réponses pertinentes.

Et comme tout s'exécute localement sur votre PC ou station de travail Windows RTX, vous obtiendrez des résultats rapides et sécurisés [...]
Chat with RTX prend en charge différents formats de fichiers, dont le texte, le pdf, le doc/docx et le xml. Il suffit de pointer l'application vers le dossier contenant vos fichiers pour qu'elle les charge dans la bibliothèque en quelques secondes. En outre, vous pouvez fournir l'url d'une liste de lecture YouTube et l'application chargera les transcriptions des vidéos de la liste de lecture, ce qui vous permettra d'interroger le contenu qu'elles couvrent.

Si cela vous intéresse, sachez que votre ordinateur Windows doit être équipé d'un GPU NVIDIA GeForce RTX 30 ou 40, ou d'un GPU RTX Ampere ou Ada Generation avec au moins 8 Go de VRAM. Autrement dit, ce n'est pas pour tout le monde.

Apple travaille sur un chatbot pour l'iPhone

Pour mémoire, dans un document de recherche d'Apple publié à la fin de l'année dernière, l'entreprise américaine a démontré qu'elle penchait sur un chatbot fonctionnant sur l'iPhone. Le plus intéressant était une solution pour utiliser des grands modèles de langage (LLM) en local en réduisant la quantité de mémoire requise. Cette approche permet à une IA générative de fonctionner jusqu'à 25 fois plus vite.

Bien que le document ne révèle aucun détail sur les projets d'Apple, de plus en plus d'indices laissent à penser qu'iOS 18 sera le moment parfait pour présenter un Siri dopé à l'IA, une sorte d'AppleGPT. La prochaine version d'iOS, qui sera dévoilée lors de la conférence WWDC en juin 2024, devrait être la plus importante mise à jour de l'histoire de l'entreprise.