Retour au feed
Reddit r/MachineLearning·

under 2% quality gap but 10x cost difference: tested 5 models on identical tool calling tasks[D]

Signal
72
Hype
25
En 3 lignesComparaison de 5 modèles (Opus 4.7, GPT-5, Sonnet 4.6, DeepSeek V4 Pro, Hunyuan Hy3) sur 8 tâches de refactoring Python avec MCP. Écart de qualité <2% (96-99% de succès au premier appel) mais différence de coût 10x : Opus $15, GPT-5 $11, Sonnet $4, DeepSeek <$2, Hunyuan $1.50.
Lire la source
Ton avis ?
MCPAgents IAGénération de codeBenchmarksDeepSeek

Résumé généré par Claude — vérifié par l'humain