La vision par ordinateur (computer vision) est le domaine de l'IA qui permet aux machines d'analyser et d'interpréter des images ou des vidéos. GPT-4o, par exemple, peut décrire le contenu d'une photo, lire du texte imprimé ou identifier des objets dans une scène.
ToolGate est un contrôleur léger qui décide d'exécuter ou ignorer les appels d'outils proposés par des agents vision-langage. Sur cinq benchmarks avec Qwen3-VL, il réduit le coût en tokens à 64-69% du baseline ReAct tout en préservant la précision, et améliore même la précision de 1,65 points avec entraînement sur domaine.
MiniMax introduit une nouvelle architecture d'attention (MSA) supportant nativement 1M tokens sans complexité quadratique. Approche « KV outer gather Q » offrant 4× plus rapide que Flash-Sparse-Attention, réduction compute à 1/20e, 9× speedup prefilling, 15× decoding. Premier modèle open-weight combinant coding frontier, 1M contexte et multimodalité native.
Gemma 4 E4B en format LiteRT avec moteur Google atteint 157.2 tok/s en génération de texte, 2.4× plus rapide que Q4 GGUF (66.3 tok/s) grâce à la prédiction multi-tokens (MTP). Captionnage d'images : gain marginal de 1.1× car le goulot est l'encodeur vision. Testé sur RTX 4060 Ti 16GB.
Starbucks retire NomadGo, son outil de vision par ordinateur déployé dans 11 000 magasins après neuf mois. Le système, validé à 99% en environnement contrôlé, a échoué à l'échelle de production, illustrant le fossé entre les tests en sandbox et le déploiement réel.
Nvidia présente Cosmos 3, un modèle IA annoncé lors du GTC de Taipei aux côtés du robot humanoïde Isaac GROOT. Le modèle vise à améliorer la compréhension des scènes du monde réel.
DraDDP est le premier dataset public multimodal pour l'analyse de structures de discours en dialogues multi-parties. Construit à partir de séries TV américaines, il contient 495 segments de dialogue (6 374 énoncés, 9.1 heures de vidéo). Les benchmarks montrent l'utilité des informations multimodales pour identifier les dépendances et types de relations entre énoncés.
TIGER est une méthode d'inférence pour réduire les hallucinations dans la génération multimodale. Elle construit un graphe d'observations à partir de l'entrée et un graphe de claims à partir de la sortie, puis assigne des scores de risque basés sur le support et les conflits. Le modèle répare les claims à haut risque sans modifier le backbone. Convergence garantie avec réduction géométrique du risque.
Hoeffding Concept Bottleneck Models (HCBM) remplacent l'agrégation linéaire des concepts par une décomposition non-linéaire et sparse basée sur les arbres boostés. Robustes aux fuites inter-concepts, ils améliorent l'explainabilité des prédictions en vision par ordinateur, notamment sur images aériennes.
Demo2Reward optimise les instructions textuelles des modèles de récompense VLM au moment du test, en utilisant 3-10 démonstrations d'experts pour réduire les faux positifs en robotique. Aucun entraînement supplémentaire requis. Validation sur tâches simulées et transfert réel.
CTRL-STEER propose un cadre de contrôle en boucle fermée pour les modèles Vision-Language-Action (VLA). Au lieu d'utiliser un coefficient de direction fixe, la méthode adapte dynamiquement la force d'intervention via des contrôleurs PID ou par apprentissage par renforcement. Tests sur OpenVLA et LIBERO montrent une meilleure stabilité et un meilleur compromis entre direction et succès de tâche.
VESTA est un framework d'agents statistiques équipant les VLMs d'une boîte à outils exploratoire dynamique pour affiner les modèles quantitatifs. Évalué sur DAWN (benchmark de modélisation de distributions et séries temporelles), VESTA surpasse les systèmes antérieurs, notamment sur tâches complexes en astronomie (fonctions de masse initiale, signaux d'ondes gravitationnelles).
Nouvelle méthode de récompense basée sur les distances entre ensembles pour l'entraînement par renforcement de modèles vision-langage sur la génération de rapports radiologiques. Testée sur Qwen3-VL, Gemma3 avec GRPO : amélioration de 6,80% (BERTScore), 7,82% (RadGraph F1), 4,45% (CheXbert F1) vs fine-tuning supervisé. Permet aussi sélection test-time et élagage mid-generation réduisant tokens de 50%.
Nouvelle approche pour détecter la dépression majeure à partir d'EEG sans augmentation de données. La méthode SGC (Score-Guided Classification) utilise un réseau génératif non supervisé pour modéliser les anomalies pathologiques comme prior, fusionné avec les représentations profondes. Un module d'adaptation spatiale gère l'hétérogénéité des canaux multi-centres. Validation sur Mumtaz2016 et MODMA.
UniKE, premier benchmark pour l'édition de connaissances cross-modal dans les modèles multimodaux unifiés (UMMs), révèle un écart critique : l'efficacité textuelle atteint 92% mais la précision VQA en génération d'images chute à 18,5%. Une méthode d'édition paramétrique augmentée par raisonnement améliore les résultats jusqu'à +18,6 points.
Un développeur entraîne un modèle local pour détecter les moustiques et les éliminer avec un laser. Projet de robotique appliquée combinant vision et contrôle automatisé.
Qwen3.7-Plus introduit des capacités multimodales pour les agents IA. Le modèle traite texte, image et vidéo dans une architecture unifiée destinée aux tâches d'agents autonomes.
Google déploie une mise à jour du scanner Google Drive sur Android avec trois nouvelles fonctions IA pour la numérisation. Les appareils Android anciens pourraient ne pas être compatibles avec ces nouvelles capacités.
MiniMax lance M3, un modèle open-weight avec fenêtre contextuelle d'un million de tokens, performances de codage haut de gamme et multimodalité native. Premier modèle open-source à combiner ces trois capacités.
Qwen 3.7 Plus d'Alibaba est désormais disponible sur Vercel AI Gateway. Ce modèle multimodal unifie vision et langage pour les agents IA, couvrant GUI/CLI, coding et tâches visuelles. Accès via SDK avec tarification transparente et zéro frais de plateforme.
NVIDIA lance Cosmos 3, un modèle omni ouvert pour l'IA physique capable de raisonner et d'agir. Le modèle traite vidéo, texte et images pour comprendre la physique du monde réel et générer des actions robotiques.
CoSee, un framework d'audit, analyse les défaillances de systèmes de raisonnement visuel modulaires utilisant une mémoire partagée. Sur des modèles 4B–8B, deux modes de défaillance dominent : Noise Reinforcement (réutilisation de notes non fondées) et Policy Collapse (réponses sous-spécifiées). L'étude montre que les espaces de travail partagés naïfs amplifient les hallucinations sans vérification explicite.
FAM-Bench est un benchmark multimodal de 2500 instances vérifiées par des experts en nutrition, évaluant le raisonnement « Food-as-Medicine » sur 13 conditions de santé. Deux tâches : évaluer l'adéquation d'un plat pour une condition (image + ingrédients) et classer 4 plats par pertinence clinique. Teste l'intégration de contraintes nutritionnelles, indices visuels et preuves d'ingrédients.
Étude de biais dans les modèles de reconnaissance vocale multimodaux (audio-visuel). Les chercheurs créent des vidéos appairant différents visages au même audio et mesurent les variations de précision de transcription. Résultats : écarts de qualité jusqu'à 4,05 points d'erreur selon le genre, l'ethnicité et leur intersection sur Whisper-Flamingo et Gemini.
DSFM (Dual-Spectral Flow Matching) génère des séries temporelles fMRI synthétiques en combinant transformée en ondelettes discrète (DWT) et transformée en cosinus discret (DCT) avec flow matching spectral. Le modèle capture la non-stationnarité et la dynamique spatiotemporelle des signaux BOLD pour améliorer la classification de réseaux cérébraux.
PhyDrawGen est un pipeline neuro-symbolique qui génère des diagrammes de physique à partir de texte en respectant les lois physiques. Un LLM extrait un graphe de scène typé, un solveur déterministe le convertit en graphe planaire, et Qwen-VL affine une boucle propose-vérifier. Évalué sur 1 449 problèmes (mécanique, optique, électromagnétisme), il surpasse GPT-5-image et Gemini.
SCALE est un framework d'auto-amélioration pour agents web basé sur MLLMs. Il utilise trois rôles adversariaux (Selector, Predictor, Judger) pour explorer autonomement les limites de l'agent et élargir ses capacités cognitives. SCALE-Hop optimise la planification globale. Un dataset SCALE-20k de 19 sites réels avec 20k démonstrations structurées valide l'approche sur plusieurs MLLMs.
TRINE est un accélérateur FPGA et compilateur pour l'inférence multimodale (ViT, CNN, GNN, transformers) sans reconfiguration. Il unifie les couches en opérations matricielles, bascule entre architectures systoliques et SIMD, et applique l'élagage de tokens en flux. Sur Alveo U50 et ZCU104, il réduit la latence de 22,57x vs RTX 4090 et consomme 20-21 W.
Méthode pour aligner texte et gestes co-verbaux via des « ancres de mouvement sémantique » : discrétisation de gestes 3D en primitives, verbalisation structurée et supervision contrastive. Amélioration de 8,2% en R@1 sur BEAT2 ; les gestes récupérés sont sémantiquement pertinents plutôt que génériques.
TeachObs est un benchmark multimodal validé par des humains pour l'analyse de vidéos de classe. Il contient 30 leçons publiques de 8 pays, divisées en 5 158 scènes de 15 secondes, annotées par 7 chercheurs avec 39 codes d'observation (20 visuels, 19 non-visuels). Évaluation de 5 LLMs vision sur 3 tâches : aucun modèle ne surpasse les autres systématiquement.
MiniMax M3 annoncé avec 1M tokens de contexte, capacités de coding et agentic avancées, support multimodal. Positionnement sur la frontière des modèles open-source haute performance.
Stepfun 3.7 Flash offre une qualité proche de GLM 5.1 avec 80% de compréhension 3D, tout en consommant 75% moins de paramètres et intégrant la vision native. Recommandé pour les contraintes RAM.
MiniMax M3, premier modèle de MiniMax avec fenêtre contextuelle de 1M tokens et multimodalité native, est désormais disponible sur Vercel AI Gateway. M3 excelle en ingénierie logicielle, utilisation d'outils en ligne de commande et navigation web agentique, optimisé pour la collaboration multi-tours.
Un million de fragments de textes grecs anciens seront traduits grâce à l'IA. Le projet utilise des modèles de vision et de traitement du langage pour déchiffrer des manuscrits endommagés et produire des traductions automatiques.
Llama.cpp version B9406 corrige un crash GGML_ASSERT dans get_rows/mtmd_helper_decode_image_chunk lors de l'utilisation simultanée de MTP, MoE et vision avec Qwen 3.6-35B-A3B.
PaddleOCR est un toolkit OCR léger et multilingue (100+ langues) conçu pour convertir documents PDF et images en données structurées exploitables par les LLM.
VFEAgent est un système multi-agent multimodal qui automatise l'analyse par éléments finis (FEA) à partir d'images et de descriptions textuelles. Le framework combine un pipeline vision-langage avec raisonnement ReAct et une synthèse de code vérifiée pour générer des simulations physiquement valides, surpassant les approches LLM existantes.
Nouvelle méthode BMLR pour équilibrer l'apprentissage multimodal en restructurant l'espace des labels. Adresse le problème d'imbalance modale où certaines modalités convergent plus vite que d'autres. Approche novatrice agissant au niveau du label plutôt que du gradient.
Article proposant une méthode de résumé de graphiques via Program-of-Thoughts (PoT) : les VLMs génèrent des programmes Python pour extraire des statistiques valides plutôt que du texte direct. Introduit une tâche auxiliaire chart-to-dictionary. Résultats comparables aux méthodes existantes sur métriques sémantiques et factuelles.
Étude de l'effet des personas sur les explications générées par des agents multimodaux LLM en perception urbaine. Analyse de 59,808 annotations de 1,200 agents avec personas : les légendes convergent fortement, les justifications varient selon les attributs socioéconomiques/politiques, les tags de perception restent stables.
Framework de classification de défauts d'équipements de transmission électrique utilisant un MLLM. Approche par in-context learning sur modèles commerciaux, génération de Q&A par chain-of-thought pour réduire l'annotation manuelle, puis fine-tuning de Qwen3-VL-8B via LoRA. SOTA sur trois tâches de classification.