EverydayGPT: Confidence-Gated Routing for Efficient and Safe Hybrid GPT-RAG Conversational QA

En 3 lignesEverydayGPT introduit un mécanisme de routage par confiance (CGR) pour les systèmes RAG conversationnels. Un GPT de 205M paramètres entraîné sur 10B tokens évite l'appel au chemin GPT coûteux (~5.9s) pour 85% des requêtes en les résolvant via extraction RAG rapide (~45ms), réduisant la latence de 120x. F1=0.226 sur benchmark 500 questions, avec réduction latence moyenne 6.3x.

Résumé généré par Claude — vérifié par l'humain