La génération d'images désigne la capacité d'un modèle d'IA à créer des visuels à partir d'une description textuelle. Stable Diffusion, par exemple, produit des images réalistes ou artistiques en quelques secondes à partir d'un simple prompt.
Bonsai Image 4B propose des modèles de génération d'images quantifiés (1-bit et ternaire) pesant respectivement 0,93 GB et 1,21 GB. Ces versions compressées de Diffusion Transformer s'exécutent sur appareils locaux avec empreinte mémoire minimale.
NVIDIA publie Cosmos 3, une collection de modèles omnimodaux (Nano 16B, Super 64B) capables de générer vidéo, image, audio et commandes d'action à partir de texte, image, vidéo et trajectoires. Disponible sur Hugging Face pour applications Physical AI.
GEM est une méthode d'effacement de concepts pour les modèles Rectified Flow Transformers. Elle combine des signaux de trajectoire (Generative Flow Networks) et un guidage par enseignant pour supprimer sélectivement les contenus nuisibles (deepfakes, violations de copyright) tout en préservant la génération bénigne.
Bonsai Image 4B est un modèle de génération d'images quantifié en 1-bit, conçu pour fonctionner sur appareils locaux. Le modèle compresse les poids à 1 bit pour réduire drastiquement la taille et les besoins en calcul, permettant l'inférence sur hardware limité.
ComfyUI est une interface graphique modulaire pour les modèles de diffusion, offrant une API et un backend basés sur un système de nœuds et graphes pour la génération d'images.
Discussion sur les défis de production des modèles de diffusion : gestion des pics de charge GPU, démarrages à froid et coûts d'inférence. Passage de 100 à 10k requêtes révèle des problèmes d'architecture et de multi-tenancy.
Des arnaqueurs utilisent des images générées par IA de personnes noires fictives pour promouvoir des produits Shein sur les réseaux sociaux. Pratique de marketing frauduleux exploitant la génération d'images et les biais raciaux.
MONET, un dataset Apache 2.0 de 104,9 millions d'images haute qualité avec captions et métadonnées, publié sur Hugging Face. Construit à partir de 2,9 milliards d'images et raffiné. Accompagné d'un paper, d'outils de visualisation UMAP, d'un moteur de recherche texte/image et d'une codebase pour entraîner des modèles T2I.
Removerized est un toolkit IA pour le traitement d'images fonctionnant entièrement dans le navigateur. Gratuit, privé et hors ligne, il ne nécessite aucun serveur.
Amazon MGM Studios et AWS lancent un fonds pour créateurs IA et une plateforme interne « Project Nara ». Trois séries animées sont en production avec des délais de cinq semaines pour les pilotes. Amazon revendique le seul écosystème de contenu IA end-to-end du secteur.
CapCut lance Design Studio 2.0, une plateforme d'IA pour la création graphique qui remplace les templates traditionnels. L'outil propose une direction artistique automatisée pour la conception visuelle.
Microsoft MAI-Image-2.5 atteint la 3e place du classement Arena text-to-image, au même niveau que Google Nano Banana 2, mais derrière OpenAI Image-2. Le modèle progresse nettement sur le rendu de texte dans les images et les visuels commerciaux.
Un module Engram (mémoire associative O(1) par hash) injecté dans des Transformers pour la génération d'images autorégressives sur ImageNet 256×256 n'améliore pas la qualité (FID) malgré des gains FLOP. Les expériences (gate-clamp, donor-probe, table gelée) révèlent que le module fonctionne comme un chemin résiduel architectural gated, non comme un mécanisme de récupération adressée par contenu.
Benchmark de performance en compute (diffusion texte-image) comparant RTX 5090 (400-600W) vs RTX 6000 PRO MaxQ (325W) et 6000 PRO WS (600W). Tests sur Forge Neo avec SageAttention 2.1, résolution 896x1088, batch size 4. 5090 undervolté/overclocké (2930MHz, +4400MHz VRAM), 6000 PRO MaxQ modifié (+550MHz core).
PrismML publie Bonsai Image 4B, des modèles de diffusion texte-vers-image quantifiés en 1-bit/ternaire. Taille ~3GB (vs 16GB pour FLUX.2 Klein), exécutables 100% localement en WebGPU. Licence Apache-2.0.
Cadre unifié (FPMC) modélisant les fonctions de débruitage des diffusion models. Consolide approches existantes via vecteurs de précision, poids de réponse et distributions sources. Améliore performance par relaxations souples et augmentations de distributions.
Cadre variationnel hiérarchique pour adapter les modèles de diffusion prétrained à des objectifs de récompense. Formule l'adaptation en temps de test comme une politique stochastique légère qui amortit le contrôle par étape. Sur super-résolution 4x : qualité perceptuelle supérieure avec inférence 5x plus rapide que les baselines.
Un utilisateur entraîne un modèle DCGAN from scratch sur 350 images d'un gobelet rouge Solo prises avec un iPod touch 4, en variant les conditions d'éclairage et arrière-plans. L'objectif : capturer les artefacts spécifiques du capteur de l'appareil. Les résultats rappellent DALL-E 2022.
OpenAI ajoute une marque invisible aux images générées par ChatGPT pour les identifier et lutter contre la désinformation. Cette technique de watermarking permet de détecter les contenus IA générés.
OpenAI intègre le watermark SynthID de Google dans DALL-E pour marquer les images générées par IA. Un outil de vérification permet de détecter ces marquages invisibles, renforçant la traçabilité des contenus synthétiques.
Une histoire générée par IA a été publiée dans Granta et a remporté un prix littéraire majeur. L'événement soulève des questions sur l'authenticité créative et la place de l'IA dans les domaines artistiques traditionnels.
ByteDance publie Lance, un modèle multimodal open-source de 3B paramètres actifs. Supporte génération/édition d'images et vidéos dans un seul framework. Entraîné from scratch sur 128 A100-GPU.
NVIDIA Labs publie Sana, un modèle de diffusion transformer linéaire pour la synthèse d'images haute résolution. Architecture efficace réduisant la complexité computationnelle tout en maintenant la qualité visuelle.
Article proposant un cadre de compression générative pour le débruitage d'images basé sur la perception. Deux approches : un débruiteur WGAN conditionnel contrôlant le compromis rate-distortion-perception, et une stratégie de reconstruction par diffusion itérative guidée par des latents compressés. Garanties théoriques et améliorations perceptuelles validées sur benchmarks.
ConceptAgent, un framework multi-agent sans entraînement, contourne l'effacement de concepts dans les modèles de diffusion en exploitant la dynamique du débruitage. L'approche black-box réveille des concepts supprimés en initialisant la trajectoire de débruitage via des états bruyants guidés par substitut, sans accès aux paramètres du modèle.
Semantic Generative Tuning (SGT) aligne la compréhension visuelle et la génération dans les modèles multimodaux unifiés en utilisant la segmentation d'image comme proxy génératif. Les tâches sémantiques de haut niveau améliorent la séparabilité linéaire des features et l'allocation d'attention visuo-textuelle, surpassant les approches découplées.
Optimisation systématique de modèles de diffusion en temps réel sur Apple M3 Ultra (GPU 60-cœurs, 512 GB mémoire unifiée). Combinaison de CoreML, quantization, Token Merging, distillation (SDXS-512) et pipeline caméra 3-threads atteint 22.7 FPS à 512×512. Révèle que les optimisations CUDA ne s'appliquent pas à l'architecture mémoire unifiée d'Apple Silicon.
CGPO (Curriculum Group Policy Optimization) améliore l'entraînement des modèles texte-vers-image en utilisant un curriculum adaptatif basé sur la variance des récompenses. La méthode priorise les prompts partiellement maîtrisés (variance élevée) et équilibre les catégories via optimisation de fairness proportionnelle. Gains validés sur GenEval, T2I-CompBench++, DPG Bench.
SIPO stabilise l'alignement des modèles de diffusion sur les préférences humaines en résolvant l'instabilité d'entraînement et le biais off-policy. La méthode introduit DPO-C&M pour clipper les timesteps non-informatifs et un schéma de pondération par importance conscient des timesteps. Tests sur SD1.5, SDXL, CogVideoX-2B/5B et Wan2.1-1.3B montrent amélioration vs Diffusion-DPO.
Lance est un modèle multimodal unifié léger supportant compréhension, génération et édition d'images et vidéos. Basé sur une architecture dual-stream mixture-of-experts avec encodage positionnel rotatif modulé par modalité, il combine apprentissage multi-tâche collaboratif et planification adaptative des données pour surpasser les modèles open-source existants en génération visuelle.
IdGlow est un framework sans masque basé sur Flow Matching pour la génération multi-sujets. Il utilise un ordonnancement adaptatif des timesteps et un mécanisme de gating temporel pour préserver les identités lors de transformations complexes (ex: vieillissement). Une étape DPO affine-grained élimine les artefacts et harmonise les textures.
GAG (Geometry-Aware Attention Guidance) améliore les modèles de diffusion sans entraînement supplémentaire en guidant l'attention via la dynamique de Hopfield moderne. Analyse théorique prouve que la discordance sparse-dense agit comme signal d'accélération directionnel. Méthode universelle testée sur FLUX.1, FLUX.2, Qwen-Image avec gains de qualité et surcoût minimal.
Nouvel article arXiv proposant CSDI (content-style differential independence) pour identifier les facteurs de contenu et style dans les modèles génératifs multi-domaines. Relaxe les conditions d'indépendance statistique antérieures via une contrainte d'orthogonalité sur les sous-espaces jacobiens. Démontre l'identifiabilité même avec contenu/style dépendants et jacobien dense.
StyleText est un dataset de 28,518 triplets image-masque-prompt pour l'inpainting de texte en scène avec préservation de style. Pipeline automatisé combinant LLM, Flux avec injection KV-cache, OCR, extraction de masques polygonaux et augmentation FluxFill. Baseline FluxFill+LoRA améliore significativement la précision OCR tout en maintenant la cohérence stylistique.
Representation Autoencoders v2 améliore les VAE en utilisant des encodeurs vision préentraînés. Les auteurs découvrent que combiner les k dernières couches d'encodeur, fusionner RAE et REPA (representation alignment), et re-paramétrer la guidance sans classifier accélère 10x la convergence. RAEv2 atteint gFID 1.06 en 80 epochs sur ImageNet-256 et EP_FID@2 de 35 epochs.
Des auto-encodeurs creux supervisés améliorent l'interprétabilité des modèles en alignant les features apprises avec la sémantique humaine. Testés sur Stable Diffusion 3.5, ils permettent la généralisation compositionnelle et l'édition d'images par intervention au niveau des features.
Drift Flow Matching (DFM) combine les modèles de drift (génération en une étape) avec le flow matching itératif. Le framework préserve l'efficacité des transport maps directs tout en permettant un raffinement multi-étapes. Expériences validées sur plusieurs tâches et datasets.
SENSE est un framework génératif basé sur diffusion qui synthétise conjointement des images satellite urbaines réalistes et des cartes d'énergie/hauteur de bâtiments alignées. Testé sur NYC, Boston, Lyon et Busan, il génère des données annotées avec <20% de données étiquetées, améliorant la performance de prédiction de 10% IoU et réduisant l'erreur de 3-11% NMBE.
LAC (Latent Action Control) rend le raisonnement actionnable dans les modèles génératifs unifiés en représentant la planification et le diagnostic comme des actions latentes continues. Intégré à BAGEL-7B-MoT, LAC améliore la génération compositionnelle et fondée sur les connaissances via alignement variationnel et GRPO, avec gains majeurs sur les relations spatiales et les liaisons d'attributs.
Les auteurs identifient que l'enchevêtrement des trajectoires dans Rectified Flow provient de régions à divergence non-nulle dans le champ de vitesse appris. Ils proposent une correction hors-ligne qui atténue la composante divergente lors de la génération du couplage, sans surcoût au déploiement. Améliorations validées sur benchmarks 2D et génération d'images.