Topic

#Mistral

Mistral est une entreprise française fondée en 2023 qui développe des modèles de langage open-weight performants et accessibles. Son modèle Mistral 7B, publié librement, a démontré qu'un modèle compact pouvait rivaliser avec des modèles bien plus grands sur de nombreuses tâches.

39Articles
12Sources
63Signal moyen
Reddit r/LocalLLaMA·

Open sourcing InfiniteKV: a KV cache that files old tokens as 104-byte searchable records in RAM or on disk instead of deleting them. Mistral-7B answered from token 76,747, 2.3x past its trained window. Colab demo

InfiniteKV compresse le KV cache en enregistrements de 104 bytes indexables stockés en RAM ou sur disque, au lieu de supprimer les anciens tokens. Mistral-7B répond correctement à token 76,747 (2.3× sa fenêtre d'entraînement de 32,768). Un million de tokens nécessite ~3 GB au lieu de 122 GB.

Open sourceInfrastructureLlama
SIG
82
HYP
00
arXiv cs.CL·

Small LLMs for Biomedical Claim Verification: Cost-Effective Fine-Tuning, Structural Dataset Shortcuts, and Cross-Domain Generalization

Trois petits LLM (Phi-3-mini 3.8B, Qwen2.5-3B, Mistral-7B) sont fine-tunés via QLoRA pour la vérification de claims biomédicaux. Mistral-7B surpasse GPT-4o et GPT-5 (+12% F1) avec 1,008 exemples d'entraînement. Étude révèle un artefact structurel dans SciFact et démontre une généralisation cross-domain robuste.

MistralQwenFine-tuning
SIG
78
HYP
00
arXiv cs.CL·

BioDivergence: A Benchmark and Evaluation Framework for Hidden Contextual Contradictions in Biomedical Abstracts

BioDivergence est un benchmark et framework d'évaluation pour les contradictions contextuelles cachées dans les abstracts biomédicaux. Il propose une taxonomie à 6 classes, une ontologie de divergence à 13 axes, et 4 sorties structurées par paire de claims. Le benchmark silver contient 11,865 paires de claims sur 5 domaines biomédicaux. Mistral-7B-Instruct-v0.3 atteint 0.5523 d'accuracy et 0.3894 de contextual-F1.

BenchmarksPapersMistral
SIG
78
HYP
00
Reddit r/MachineLearning·

Routing LLMs by task verifiability: a small experiment (n=120, 3 models) inspired by Karpathy's framework [D]

Expérience sur 120 tâches testant si les modèles faibles peuvent égaler les frontière sur des tâches hautement vérifiables (Karpathy). Claude Sonnet 4.6, GPT 5.5, Mistral 3 8B comparés. Code/extraction structurée : écarts réduits avec retry (Mistral 87%→95% code). Raisonnement multi-hop : gap réel (Sonnet 78%, Mistral 51%). Résumé créatif : avantage attendu aux modèles puissants.

ClaudeGPTMistral
SIG
45
HYP
00
arXiv cs.AI·

GuardNet: Ensemble Strategies of Shallow Neural Networks for Robust Prompt Injection and Jailbreak Detection

GuardNet est un système de garde-fou basé sur un ensemble de réseaux de neurones peu profonds (BiLSTMs, 47M paramètres) pour détecter les attaques par injection de prompt et jailbreak sur LLMs. L'approche privilégie la diversité des exemples et le calibrage des seuils plutôt que la taille du modèle. Performance : AUROC 0.747 sur dataset aveugle (n=200), F1 0.92 sur benchmark propriétaire, latence ~50ms CPU.

Sécurité IABenchmarksLlama
SIG
72
HYP
00
Reddit r/LocalLLaMA·

I accidentally crippled my 4x RTX 3090 LLM rig with a hidden PCIe 2.0 x4 slot and fixing it doubled Mistral 128B performance

Un utilisateur a découvert qu'une RTX 3090 était connectée à un slot PCIe 2.0 x4 caché sur sa carte mère Gigabyte X399, limitant les performances à 11 tok/s sur Mistral 128B. Après réorganisation des GPUs et configuration correcte du tensor-split, les performances ont doublé à 24,7 tok/s. Avertissement pour les builds multi-GPU sur cartes HEDT anciennes.

MistralLlamaInfrastructure
SIG
72
HYP
00
GitHub Trending·

<svg aria-hidden="true" data-component="Octicon" height="16" viewBox="0 0 16 16" version="1.1" width="16" data-view-component="true" class="octicon octicon-repo mr-1 tmp-mr-1 color-fg-muted"> <path d="M2 2.5A2.5 2.5 0 0 1 4.5 0h8.75a.75.75 0 0 1 .75.75v12.5a.75.75 0 0 1-.75.75h-2.5a.75.75 0 0 1 0-1.5h1.75v-2h-8a1 1 0 0 0-.714 1.7.75.75 0 1 1-1.072 1.05A2.495 2.495 0 0 1 2 11.5Zm10.5-1h-8a1 1 0 0 0-1 1v6.708A2.486 2.486 0 0 1 4.5 9h8ZM5 12.25a.25.25 0 0 1 .25-.25h3.5a.25.25 0 0 1 .25.25v3.25a.25.25 0 0 1-.4.2l-1.45-1.087a.249.249 0 0 0-.3 0L5.4 15.7a.25.25 0 0 1-.4-.2Z"></path> </svg> <span data-view-component="true" class="text-normal"> EricLBuehler /</span> mistral.rs

mistral.rs est un framework d'inférence LLM optimisé pour la vitesse et la flexibilité. Projet open-source permettant l'exécution efficace de modèles de langage.

MistralOpen sourceInfrastructure
SIG
65
HYP
00
arXiv cs.AI·

LightTransfer: Your Long-Context LLM is Secretly a Hybrid Model with Effortless Adaptation

LightTransfer transforme les modèles de langage (LLaMA, Mistral, QwQ-STILL) en architectures hybrides sans entraînement. La méthode identifie les couches « paresseuses » et remplace leur attention complète par une attention en streaming, réduisant les coûts de cache KV. Résultats : jusqu'à 2,17× d'amélioration de débit avec <1,5% de perte sur LongBench et 53,3% sur AIME24.

LlamaMistralQwen
SIG
78
HYP
00
arXiv cs.CL·

LightTransfer: Your Long-Context LLM is Secretly a Hybrid Model with Effortless Adaptation

LightTransfer transforme les modèles de langage (LLaMA, Mistral, QwQ-STILL) en architectures hybrides sans entraînement. La méthode identifie les couches « paresseuses » et remplace leur attention complète par une attention en streaming, réduisant les coûts de cache KV. Résultats : jusqu'à 2,17× d'amélioration de débit avec <1,5% de perte sur LongBench et 53,3% sur AIME24.

LlamaMistralQwen
SIG
78
HYP
00