OmniMem: Perturbation-aware Memory Compression for Streaming Audio-Visual LLMs

En 3 lignesOmniMem est un framework de compression mémoire pour LLMs audio-visuels en streaming. Il gère séparément les contextes visuels et audio via une allocation mémoire modulaire, et sélectionne les états KV informatifs par perturbation. Sur VideoMME Long, LVBench et LVOmniBench, OmniMem améliore les baselines de 2-4% en précision avec budgets mémoire identiques.

Résumé généré par Claude — vérifié par l'humain