Tried to benchmark Google’s new on-device dictation models (Eloquent) and basically couldn’t

En 3 lignesUn développeur a tenté de benchmarker Eloquent, la nouvelle app de dictation locale de Google avec modèles propriétaires. Résultat : ~50% des dictations reviennent incomplètes (20+ mots réduits à 5-10). Quand la transcription est complète (15/50 tests), la précision est compétitive (~24% WER vs ~21% pour Qwen3-ASR), mais le modèle chat refuse souvent de transcrire au lieu de produire du texte.

Résumé généré par Claude — vérifié par l'humain