La génération de vidéos par IA désigne la création automatique de séquences animées à partir d'un texte, d'une image ou d'un son. Sora (OpenAI) est un exemple de modèle capable de produire des clips réalistes depuis une simple description textuelle.
NVIDIA publie Cosmos 3, une collection de modèles omnimodaux (Nano 16B, Super 64B) capables de générer vidéo, image, audio et commandes d'action à partir de texte, image, vidéo et trajectoires. Disponible sur Hugging Face pour applications Physical AI.
GEM est une méthode d'effacement de concepts pour les modèles Rectified Flow Transformers. Elle combine des signaux de trajectoire (Generative Flow Networks) et un guidage par enseignant pour supprimer sélectivement les contenus nuisibles (deepfakes, violations de copyright) tout en préservant la génération bénigne.
NVIDIA annonce Cosmos 3 (modèle vidéo), Nemotron 3 Ultra (LLM optimisé) et RTX Spark. Jensen Huang revendique une victoire majeure pour l'entreprise.
Ethan He, responsable de Grok Imagine chez xAI, explique le développement du modèle de génération vidéo en 3 mois, compare l'approche vidéo aux modèles du monde, et argumente pourquoi les agents vidéo sont la prochaine frontière.
Nvidia lance à GTC Taipei trois modèles pour l'IA physique : Cosmos 3 (world model), Alpamayo 2 Super (modèle de conduite autonome amélioré) et une plateforme de référence ouverte pour robots humanoïdes.
Google corrige des bugs dans les limites d'utilisation de Gemini : une vidéo Omni consommait la totalité du quota. Les membres Ultra obtiennent désormais deux fois plus de générations vidéo, les requêtes échouées ne sont plus facturées, et Google prévoit plus de transparence.
Amazon MGM Studios et AWS lancent un fonds pour créateurs IA et une plateforme interne « Project Nara ». Trois séries animées sont en production avec des délais de cinq semaines pour les pilotes. Amazon revendique le seul écosystème de contenu IA end-to-end du secteur.
Utilisation de modèles de diffusion pour simuler des trajectoires de basketball conditionnées par des esquisses partielles de mouvements. Le modèle affine conjointement les trajectoires de tous les joueurs, produisant des simulations plus naturelles qu'une génération autoregressive. Code et modèle open-sourcés.
YouTube déploie un système de détection automatique pour signaler les contenus générés ou fortement modifiés par l'IA à partir de mai 2026. Les labels seront affichés de manière plus visible : sous le lecteur pour les vidéos longues et en overlay sur les Shorts. Les recommandations et la monétisation ne seront pas affectées.
YouTube impose des labels visibles pour identifier les vidéos générées par IA. Cette mesure vise à améliorer la transparence et aider les utilisateurs à distinguer le contenu authentique du contenu synthétique.
MoneyPrinterTurbo : outil open-source générant des vidéos courtes haute définition en un clic via modèles IA. Automatise la création de contenu vidéo.
MoneyPrinterTurbo : outil open-source générant des vidéos courtes HD en un clic via modèles IA. Automatise la création de contenu vidéo.
Les modèles de diffusion vidéo autorégressifs utilisent un cache KV quantifié pour réduire la mémoire, mais la quantization crée un biais d'attention (Jensen bias) qui dégrade la qualité. Les auteurs proposent une correction per-attention-score calculée à partir des pas de quantization, récupérant la qualité perdue avec INT2 tout en utilisant 50% moins de mémoire qu'INT4.
Tail-Aware HiFloat4 applique la quantification post-entraînement W4A4 au modèle Wan2.2 de génération vidéo texte. La méthode adapte ViDiT-Q en utilisant le format HiFloat4, quantifie les couches linéaires du transformer, préserve les modules sensibles en haute précision, et introduit un calibrage percentile conscient des queues d'activation pour réduire l'impact des valeurs aberrantes.
Créateurs ont produit une bande-annonce de film de braquage cinématographique en combinant 4 modèles IA pour 60 dollars. Démonstration de faisabilité de production vidéo IA à bas coût.
Un court-métrage présenté à Cannes a coûté 500 k$ à produire, dont 400 k$ en calcul IA. Le ratio révèle l'importance croissante des coûts d'infrastructure pour la génération vidéo et contenu créatif.
Meituan annonce LongCat-Video-Avatar 1.5, framework open-source pour la génération vidéo d'avatars humains pilotée par l'audio. Remplace Wav2Vec2 par Whisper-Large, supporte Audio-Text-to-Video et Video Continuation avec inférence en 8 étapes. Évaluation humaine sur 508 paires image-audio couvrant 6 scénarios et 2 langues.
xAI lance Grok Imagine Video 1.5, capable de transformer une image statique en clip court avec audio synchronisé en une seule passe. Guide d'utilisation pour optimiser les résultats.
PRISM est un benchmark de 10 372 paires instruction-code pour l'évaluation de la génération vidéo programmatique par LLM. Il propose 4 métriques : fiabilité du code, cohérence spatiale, complexité visuelle et densité temporelle. L'évaluation de 7 LLM révèle un écart d'exécution-spatial de 41% : le code exécutable ne garantit pas une sortie visuellement cohérente.
Google dévoile Gemini Omni lors de sa conférence I/O 2026, une IA vidéo capable de maîtriser la physique et de maintenir la cohérence des personnages dans les générations vidéo.
ByteDance publie Lance, un modèle multimodal open-source de 3B paramètres actifs. Supporte génération/édition d'images et vidéos dans un seul framework. Entraîné from scratch sur 128 A100-GPU.
Hyperframes est un framework permettant aux agents IA de générer du contenu vidéo via HTML. Outil conçu pour automatiser la création vidéo dans les workflows d'agents.
ViMax est un système de génération vidéo agentique intégrant directeur, scénariste, producteur et générateur vidéo. Le projet GitHub propose une architecture multi-agents pour orchestrer la création vidéo de bout en bout.
Focused Forcing optimise les caches KV dans la génération vidéo diffusion autorégressive en sélectionnant par frame et par head les frames historiques pertinents. La méthode combine scores d'attention et scores de diversité, atteignant 1.48× d'accélération sans entraînement tout en améliorant la qualité visuelle et l'alignement textuel.
ANVIL est un système génératif multimodal qui automatise la création d'animations pédagogiques basées sur des analogies pour l'informatique. À partir d'une définition de concept, il génère une analogie textuelle, la compile en scénario visuel structuré, et produit du code manim exécutable. Évaluation via études enseignants et utilisateurs.
TinySAM 2 compresse SAM 2 pour la segmentation vidéo efficace. Mécanisme de gestion de qualité mémoire + compression spatio-temporelle des tokens. Atteint 90% des performances de SAM 2.1 avec 7% des tokens mémoire et 3% des données d'entraînement. Réduit paramètres, charge computationnelle et coûts de déploiement.
TAPE, une méthode de pruning sans entraînement pour la génération vidéo par diffusion, réduit la complexité computationnelle en supprimant intelligemment les tokens tout en préservant la cohérence temporelle. Elle applique un lissage temporel entre frames, réalectionne les tokens par couche et ajuste le budget selon les étapes de diffusion.
Lance est un modèle multimodal unifié léger supportant compréhension, génération et édition d'images et vidéos. Basé sur une architecture dual-stream mixture-of-experts avec encodage positionnel rotatif modulé par modalité, il combine apprentissage multi-tâche collaboratif et planification adaptative des données pour surpasser les modèles open-source existants en génération visuelle.
Méthode d'amélioration d'inférence vidéo utilisant un contrôleur flou (FC-r) pour adapter dynamiquement la taille des modèles selon les ressources disponibles. Exploite la corrélation spatio-temporelle entre frames adjacentes. Équilibre performance et efficacité énergétique sans augmenter la complexité architecturale.
Genflow est une architecture IA composée pour la génération vidéo alignée à la marque. Elle combine un module d'extraction 'Brand DNA' par récupération et une boucle de contrôle qualité multi-agents adversariale. Le système itère entre générateurs et évaluateurs jusqu'à consensus, améliorant la conformité de 42% à 89%.
AdaptiveLoad optimise l'entraînement des Transformers de diffusion vidéo (DiT, MMDiT) en résolvant le déséquilibre de charge causé par la complexité quadratique de l'attention. Deux composants : équilibrage adaptatif dual et kernel CUDA LayerNorm-Modulate fusionné. Sur Wan 2.1 : déséquilibre computationnel réduit de 39% à 18,9%, utilisation VRAM +22,7%, débit +27,2%.
Modèle de génération vidéo 4D pour la manipulation robotique qui enforce la cohérence multi-vue 3D via supervision par alignement de pointmap cross-view. Génère des séquences vidéo spatio-temporellement alignées à partir d'une seule image RGB-D par vue, sans poser en entrée. Démontre stabilité visuelle supérieure et récupération de trajectoires d'effecteur robot sur datasets simulés et réels.
Fre-Res propose une compression adaptative des tokens vidéo pour les MLLMs vidéo. Le framework sépare les détails spatiaux (ancres haute-fidélité) et l'évolution temporelle (tokens résidus-fréquence via DCT 1D). Un Spatial-Guided Absorber aligne les dynamiques fréquentielles avec les embeddings visuels. Résultats : performance proche du full-token avec réduction substantielle de la longueur des tokens.
UniversalRAG est un framework RAG multi-modal qui récupère et intègre des connaissances de sources hétérogènes (texte, images, vidéos) à granularités variables. Il introduit le routage conscient de la modalité pour éviter le biais intra-modal et organise chaque modalité en niveaux de granularité. Validé sur 10 benchmarks, il surpasse les baselines mono-modales et unifiées.
SIPO stabilise l'alignement des modèles de diffusion sur les préférences humaines en résolvant l'instabilité d'entraînement et le biais off-policy. La méthode introduit DPO-C&M pour clipper les timesteps non-informatifs et un schéma de pondération par importance conscient des timesteps. Tests sur SD1.5, SDXL, CogVideoX-2B/5B et Wan2.1-1.3B montrent amélioration vs Diffusion-DPO.
MAVEN est un framework multi-agent pour améliorer la fidélité culturelle dans la génération vidéo à partir de texte. Il décompose les prompts en dimensions personne/action/lieu traitées par des agents spécialisés. Benchmark de 243 prompts culturels et 972 vidéos (chinois, américain, roumain) avec évaluation CLIP + VLM.
Hugging Face publie un guide pour fine-tuner NVIDIA Cosmos Predict 2.5, un modèle de génération vidéo robotique, via LoRA/DoRA. La méthode réduit les besoins en ressources GPU tout en maintenant la qualité de génération pour des cas d'usage robotiques spécialisés.
Google DeepMind élargit l'accès à Google AI Ultra aux abonnés mondiaux et introduit une nouvelle capacité alimentée par Street View pour simuler des lieux réels.
Google DeepMind lance Gemma 4, un modèle multimodal frontier capable de traiter texte, images et vidéo. Optimisé pour l'inférence sur appareil, il offre des capacités de raisonnement avancées et surpasse les modèles concurrents sur les benchmarks clés.
OpenAI déploie Sora 2 et son app avec des protections de sécurité intégrées pour gérer les risques d'un modèle vidéo avancé et d'une plateforme de création sociale. L'approche repose sur des mécanismes concrets de modération et de contrôle.