Les nouveautés IA de Google qu'Apple devrait intégrer à iOS 18

Prenant Apple de court, lors de sa conférence I/O 2024 d'hier, Google a annoncé une série de nouvelles fonctionnalités et outils pour ses utilisateurs à travers tout son écosystème, incluant notamment Android et le web. Comme on pouvait s'y attendre, l'événement était axé sur l'IA et ses nouvelles capacités pour révolutionner le quotidien des utilisateurs. Les responsables de Google ont prononcé plus de 120 fois le mot "IA". C'est dire.

Ces annonces mettent la pression sur Apple, à quelques semaines avant le keynote WWDC 2024 où l'entreprise devrait dévoiler son nouveau système d'exploitation iOS 18 pour iPhone, ainsi qu'iPadOS 18, macOS 15, watchOS 11 et autre visionOS 2. Tout comme Google, Apple devrait se concentrer pleinement sur l'IA, notamment pour booster Siri, Messages, Safari et autre Plans. En attendant l'officialisation, voici cinq nouveautés de Google qui devraient inspirer Apple.

Gérer les appels frauduleux avec Gemini Nano

La nouvelle fonctionnalité de surveillance des appels frauduleux d'Android a été l'une des stars de la conférence Google I/O 2024.

Nous testons une nouvelle fonctionnalité qui utilise Gemini Nano pour fournir des alertes en temps réel pendant un appel si elle détecte des schémas de conversation généralement associés aux escroqueries.

Google affirme que Gemini Nano (son modèle de langage de grande taille mais allégé) peut écouter les appels en direct au fur et à mesure qu'ils se produisent, détectant les appels susceptibles d'être des escroqueries. Par exemple, Gemini Nano pourrait vous alerter si quelqu'un vous appelle pour vous demander de faire un virement bancaire ou de donner des informations personnelles comme un code PIN ou un mot de passe. La surveillance se fait sur l'appareil, il ne devrait donc pas y avoir de problèmes de confidentialité, mais, avec Google, ce n'est pas certain.

Apple aurait le bon goût de nous proposer cela dans iOS 18.

Les yeux du malvoyant : TalkBack x Gemini Nano

Apple est toujours largement en tête en ce qui concerne l'accessibilité sur iPhone, mais Android proposera bientôt une fonctionnalité incroyable. Gemini Nano va permettre de produire des descriptions d'images plus claires et plus riches, essentiellement du texte alternatif narré en direct par l'IA. Comme ChatGPT-4o d'OpenAI, cela décrira vocalement des images pour les utilisateurs malvoyants et aveugles, de la même manière qu'un lecteur d'écran pourrait actuellement lire un texte alternatif. Comme démontré par Google, la fonctionnalité peut être utilisée au-delà du web (où vous pourriez vous attendre à trouver du texte alternatif) dans des applications comme Messages, ou encore dans l'appareil photo. On peut même filmer la pièce et Gemini Nano décrit tout que vous voulez, tel un Victor Hugo.

Un prof de mathématiques alimenté par l'IA

Bien qu'il existe une astuce rapide qui vous permet d'utiliser la fonctionnalité "Circle to Search" d'Android sur iPhone en utilisant l'application Raccourcis, la version native Android est beaucoup plus intuitive et dispose maintenant de nouveaux outils dopés à l'intelligence artificielle. Dans sa nouvelle version, "Circle to Search" peut maintenant aider les étudiants avec leurs devoirs. Lorsqu'ils encerclent une zone, comme une équation mathématique, ils obtiendront de l'aide étape par étape qui, crucialement, ne fera pas le travail à leur place. Une idée déjà vue également chez OpenAI, mais pas encore sur iOS.

Ask Photos

Google Photos a introduit une nouvelle fonctionnalité appelée « Ask Photos », développée par l'équipe de Gemini, qui utilise l'intelligence artificielle pour aider les utilisateurs à trouver et à extraire des informations de leur photothèque à l'aide d'invites en langage naturel. Par exemple, vous pouvez lui demander de vous montrer la meilleure photo de chaque parc national que vous avez visité, ou de vous renseigner sur les thèmes des fêtes d'anniversaire passées en se basant sur les décorations et le contexte des images. On peut imaginer qu'il peut ainsi deviner l'âge du fils de votre ami ou bien vous confirmer que vous n'avez pas déjà offert un parfum à votre femme l'an dernier. Apple a déjà ajouté de l'intelligence à Photos, comme les souvenirs animés ou la détection d'objets et de personnes, mais cela va encore plus loin chez Google.

Intégrer Gemini dans les apps

Google améliore également l'interaction entre l'utilisateur et son IA en intégrant Gemini dans d'autres applications de manière plus transparente. Par exemple, les utilisateurs peuvent utiliser Gemini pour rechercher des informations dans une vidéo qu'ils regardent ou même glisser et déposer des messages générés par l'IA dans un texto ou un email. Il est aussi possible de demander un résumé des points clé d'un document, comme un PDF par exemple.

La réponse d'Apple dans un mois

Comme à son habitude, Apple va vouloir se démarquer. D'après les rumeurs, la firme se concentrerait sur l'intégration de l'IA dans les applications existantes, en offrant des fonctionnalités plus subtiles mais transparentes sur des appareils tels que l'iPhone. Les cinq cas évoqués plus haut sont de cet acabit, Apple n'ayant pas vraiment le choix que d'embarquer dans le train de l'IA générative.

Réponse le 10 juin 2024 avec la conférence WWDC 24 et la présentation d'iOS 18.