1. Gen-2 est un outil d’intelligence artificielle générative permettant de créer des vidéos à partir de textes ou d’images. Lancé en mars 2023 par Runway, startup fondée à New York en 2018, Gen-2 semble repousser encore plus loin les limites de l’IA Générative, avec un rythme de progression extrêmement rapide.
2. Gen-2 appartient à la famille des “modèles de diffusion”, tout comme Dall.e2, Stable Diffusion ou Midjourney, ces produits clés de la transformation du texte en image.
3. Pour obtenir ces performances, Gen-2 a été “entraîné” avec une base de données interne de 240 millions d’images et 6,4 millions d’extraits vidéos.
4. Gen-2 fonctionne selon 3 modes principaux :
- Transformer des textes en vidéo : un texte (ou prompt) suffit à l’outil pour synthétiser la demande et produire la vidéo correspondante.
- Transformer une image et un texte en vidéo : l’image sert de point de référence visuel pour générer la vidéo.
- Transformer une image en vidéo : l’image fournie devient automatiquement une vidéo. Exemple : une photo de paysage devient une vidéo de coucher de soleil.
5. Comme ses concurrents, Gen-2 intègre des fonctions de “stylisation” : n’importe quel style visuel issu d’une image de référence ou d’un prompt peut être appliqué à votre vidéo.
Vous pouvez demander une vidéo dans le style de Wes Anderson ou Fritz Lang, en super 8, cinémascope…
6. Le “Text-to-video” est considéré comme la prochaine frontière de l’intelligence artificielle. Selon l’institut GM Insights, ce marché devrait croître de 35 % par an, passant de 122 millions de dollars en 2022 à 2 milliards de dollars en 2032, à l’échelle mondiale.
7. Bientôt des longs métrages générés en “Text-to-video” ? The Frost, réalisé ou plutôt prompté par Josh Rubin, est un court métrage de 12 minutes entièrement conçu en IA Générative. Un peu bizarre certes mais ça se tient… Laissons le dernier mot à Joe Russo, réalisateur de Avengers: Endgame : “d’ici 2 ans, l’AI sera capable de créer un long métrage en entier”. Parole d’expert ?
La leçon à retenir
Une AI saura-t-elle générer le magnétisme étrange d’un Julian Sand ou l’œil qui frise de Clooney ?
Pour aller plus loin
- Le tutoriel – Comment utiliser Gen-2 ?
- L’analyse technique des modèles de diffusion – Structure and Content-Guided Video Synthesis with Diffusion Models, Arxiv
- L’article du MIT – Welcome to the new surreal: how AI generated video is changing films
- Le film de fiction – The frost, behind the scenes de Josh Rubin
Cet article vous a plu ? N’hésitez pas à le faire suivre à vos amis… Vous pouvez aussi vous abonner à notre Newsletter pour recevoir nos articles directement dans votre boîte mail chaque vendredi.
