Sora (OpenAI)
Sora est le nom le plus récent à être annoncé mais celui qui a fait le plus de bruit, en partie parce qu'il s'agit d'un produit d'OpenAI - le célèbre développeur de ChatGPT, mais surtout en raison de la qualité des vidéos que le programme crée à partir de simples commandes textuelles.
Le succès de ChatGPT confère également à l’intelligence artificielle de l’entreprise des capacités de compréhension approfondie du langage. Les clips illustrant les capacités de Sora montrent les mouvements et les nuances du personnage de manière très vivante, comme dans un film d'action en direct.
Vidéo « surréaliste » créée par Sora à partir de commandes textuelles
Mais Sora n’est pas encore disponible sur le marché pour des raisons de sécurité. OpenAI prendra des mesures prudentes avant de proposer ce produit au grand public, en particulier dans le contexte de l'exploitation de l'intelligence artificielle par des criminels à des fins malveillantes, en se faisant passer pour des utilisateurs ou illégalement.
Lumière (Google)
Lumiere est un produit de Google, également capable de produire des vidéos à partir de commandes de texte saisies, fonctionnant sur la base du modèle de diffusion structuré STUNet (Space-Time-U-Net). Lumiere ne s'embarrasse pas d'assemblage d'images fixes, au lieu de cela, cette IA identifie les détails de la vidéo (partie spatiale), suit la façon dont ils se déplacent, changent en même temps (partie temporelle), aidant ainsi le processus à fonctionner sans problème.
Comme Sora, Lumière n'a pas été rendu public. La société n'a introduit ce modèle qu'à la fin janvier 2024 après le lancement de Gemini - un grand modèle linguistique qui a récemment été synchronisé avec Bard.
VidéoPoète (Google)
Ce grand modèle de langage (LLM) est formé à partir d'un immense référentiel de vidéos, d'images, d'audio et de texte développé par Google Search en 2023. VideoPoet peut effectuer diverses tâches à partir de sources d'entrée telles que du texte, des images, des vidéos... pour créer des vidéos, mettre en évidence du contenu, convertir des vidéos en audio, transformer des images fixes en animations...
L'idée originale de VideoPoet est née de la nécessité de convertir tout modèle de langage autorégressif en un système de génération vidéo. Les modèles de langage autorégressifs actuels peuvent traiter du texte et du code de programmation comme les humains, mais se heurtent à un mur lorsqu'il s'agit de vidéo. VideoPoet résout ce problème en utilisant la tokenisation pour convertir les entrées de n'importe quel format dans un langage qu'il peut comprendre.
Les outils de création de vidéos à partir de texte testent de plus en plus leurs limites
Vidéo Emu (méta)
Outre Google et OpenAI, Meta est également l’une des Big Tech actives dans l’innovation en IA. La société propriétaire de Facebook a également développé une IA de création de vidéos appelée Emu Video, qui peut convertir des images en texte, puis les utiliser comme données pour créer des clips.
Emu Video reçoit des critiques positives de la part des participants au programme de test, avec 81 % préférant cette IA à Imagen Video (Google). Plus de 90 % ont choisi le modèle de Meta plutôt que PYOCO (Nvidia), encore mieux que Make-A-Video de Meta (96 % ont choisi).
CogVideo (Université Tsinghua, Chine)
Contrairement aux modèles ci-dessus, qui sont tous des produits des plus grandes entreprises technologiques mondiales, CogVideo est une IA développée par une équipe de recherche de l'Université Tsinghua - une université prestigieuse de premier plan en Chine ainsi qu'en Asie. Le programme est basé sur CogView2, un modèle texte-image pré-entraîné.
Glenn Marshall, expert en art informatique qui a testé CogVideo, a déclaré que « les réalisateurs pourraient perdre leur emploi ». Le clip intitulé The Crow , qu'il a créé avec l'aide de CogVideo, a reçu de nombreux éloges et a été nominé pour un British Academy Film Award (BAFTA).
Lien source
Comment (0)