Benchmarked Needle 26M vs Qwen3-0.6B on CPU function calling, 50 queries across 5 difficulty tiers. The 23x smaller model wins on accuracy and is 4.4x faster.
Signal
78
Hype
15
En 3 lignesBenchmark CPU de Needle (26M) vs Qwen3-0.6B sur function calling : 50 requêtes, 5 niveaux de difficulté. Needle gagne en précision (72% vs 56% tool_match) et latence (10.9s vs 47.9s). Needle échoue sur la sélection d'outil, Qwen3 sur l'émission de tags. Qwen3 domine sur requêtes multilingues (Hindi, français).Lire la source
Ton avis ?
Résumé généré par Claude — vérifié par l'humain