Craig Federighi explique comment fonctionne Griffonner d’iPadOS 14

L'une des nouveautés phares d'iPadOS 14 est une fonctionnalité appelée Scribble ou Griffonner en français, qui convertit automatiquement les notes manuscrites de l'Apple Pencil en texte numérique. S'adressant à nos confrères de Popular Mechanics, le vice-président senior de l'ingénierie logicielle d'Apple, Craig Federighi, a fourni des détails supplémentaires sur son fonctionnement.

 

Griffonner à nécessité une large collecte de données

La fonction Griffonner d'iPadOS 14 permet aux utilisateurs d'Apple Pencil d'écrire à la main dans presque tous les champs de texte, tels que la barre d'adresse dans Safari ou le champ de rédaction dans Messages, Mail et autres. L'écriture manuscrite est ensuite automatiquement convertie en texte dactylographié, ce qui signifie que les utilisateurs n'ont pas à basculer entre l'utilisation du clavier et de l'Apple Pencil pour la saisie. Une expérience plus fluide sur iPad.

Federighi a expliqué à Popular Mechanics que la base de la fonction Scribble est la collecte de données. Au cours du développement de la fonctionnalité, Apple a trouvé des gens partout dans le monde et leur a demandé d'écrire des choses avec l'Apple Pencil :

Lorsqu'il s'agit de comprendre les traits (d'écriture manuscrite), nous recueillons des données. Nous trouvons des gens partout dans le monde et leur faisons écrire des choses. Nous leur donnons un crayon, et nous leur faisons écrire rapidement, nous leur faisons écrire lentement, en inclinant. Toutes les variations.

Cette méthodologie est distincte de l'approche relativement simple consistant à scanner et analyser l'écriture manuscrite existante. Federighi explique que pour la technologie d'Apple, les exemples statiques ne suffisaient pas. Ils avaient besoin de voir les traits qui formaient chaque lettre.

Si vous comprenez les traits et comment les traits se sont déroulés, cela peut être utilisé pour lever l'ambiguïté sur ce qui était écrit.

Comme pour la plupart des fonctionnalités d'apprentissage automatique des produits Apple, tout le traitement est effectué sur l'appareil, ce qui présente un autre ensemble de défis.

Cela doit se produire en temps réel, en ce moment, sur l'appareil que vous tenez. Ce qui signifie que la puissance de calcul de l'appareil doit être telle qu'il puisse effectuer ce niveau de traitement localement.

Si vous souhaitez avoir un aperçu de la fonction Griffonner sur iPadOS 14, il suffit de télécharger la mise à jour et d’avoir un Apple Pencil. En revanche, le français n’est pas encore supporté, seul l’anglais et le chinois traditionnel et simplifié.