Adobe Max 2024 : Firefly révolutionne l'édition vidéo par l'IA

Adobe a lancé de nouvelles capacités de génération vidéo pour sa plateforme d'IA Firefly en amont de son événement Adobe MAX lundi. Les utilisateurs peuvent désormais tester pour la première fois le générateur vidéo de Firefly sur le site web d'Adobe, ou essayer sa nouvelle fonctionnalité vidéo alimentée par l'IA, Generative Extend, dans la version bêta de Premiere Pro. Des avancées significatives qui pourraient bien intéresser les créateurs de contenu sur iOS et macOS.

Du texte et des images à la vidéo

Sur le site web de Firefly, les utilisateurs peuvent essayer un modèle de texte à vidéo ou d'image à vidéo, produisant jusqu'à cinq secondes de vidéo générée par l'IA. Adobe affirme avoir entraîné Firefly à créer à la fois du contenu animé et des médias photoréalistes, en fonction des spécifications d'une invite.

Firefly est également capable de produire des vidéos avec du texte, en théorie du moins, ce qui est quelque chose avec lequel les générateurs d'images d'IA ont historiquement eu du mal. L'application web vidéo Firefly comprend des paramètres pour activer les panoramiques de caméra, l'intensité du mouvement de la caméra, l'angle et la taille du plan.

Adobe Firefly s'érige petit à petit en concurrent direct de Dall-E, Midjourney ou Sora en étant capable de générer de la photo et de la vidéo à partir de langage naturel. Inclus dans la suite Adobe Creative Cloud, Firefly pourrait bien être la porte d'entrée de beaucoup de créateurs vers l'IA générative faisant ainsi de l'ombre aux autres acteurs du marché.

Étendre les clips vidéo dans Premiere Pro

Dans la version bêta de Premiere Pro, certains utilisateurs peuvent essayer la fonction Generative Extend de Firefly pour prolonger les clips vidéo jusqu'à deux secondes. Cette fonction est conçue pour générer un temps supplémentaire dans une scène, en poursuivant le mouvement de la caméra et les mouvements du sujet. L'audio de fond sera également étendu.

Lors des démos partagées avec TechCrunch avant le lancement, la fonction Generative Extend de Firefly a produit des vidéos plus impressionnantes que son modèle de texte à vidéo, et semblait plus pratique. Adobe dit avoir mis davantage l'accent sur les fonctionnalités d'édition d'IA que sur la génération de vidéos d'IA, probablement pour plaire à sa base d'utilisateurs.

Équilibrer l'IA et les besoins des créatifs

Les fonctionnalités d'IA d'Adobe doivent trouver un équilibre délicat avec son public créatif. La société essaie de mener dans un espace encombré de startups d'IA et d'entreprises technologiques qui font la démonstration de modèles d'IA impressionnants. D'un autre côté, de nombreux créatifs ne sont pas satisfaits du fait que les fonctionnalités d'IA puissent bientôt remplacer le travail qu'ils ont fait avec leur souris, leur clavier et leur stylet pendant des décennies.

C'est pourquoi la première fonctionnalité vidéo Firefly d'Adobe, Generative Extend, utilise l'IA pour résoudre un problème existant pour les éditeurs vidéo quand votre clip n'est pas assez long, au lieu de générer une nouvelle vidéo à partir de zéro. Une approche prudente et pragmatique qui pourrait bien séduire les créateurs sur la plateforme Apple.

Source