Topic

#GPT

GPT (Generative Pre-trained Transformer) désigne une famille de modèles de langage entraînés sur de grandes quantités de texte pour générer, résumer ou traduire du contenu en langage naturel. GPT-4 d'OpenAI en est l'exemple le plus connu, utilisé notamment dans ChatGPT.

40Articles
11Sources
66Signal moyen
arXiv cs.AI·

TxBench-PP: Analyzing AI Agent Performance on Small-Molecule Preclinical Pharmacology

TxBench-PP est un benchmark vérifié pour évaluer les agents IA sur la pharmacologie préclinique de petites molécules. 100 évaluations couvrent mécanisme d'action, pharmacodynamique, engagement composé-cible et sécurité. Sur 16 configurations (11 modèles, 4800 trajectoires), Claude Opus 4.8 atteint 59.3% de réussite, GPT-5.5 55.3%. Aucun système ne maîtrise fiablement ces décisions.

Agents IABenchmarksClaude
SIG
82
HYP
00
arXiv cs.AI·

Dissecting model behavior through agent trajectories

Étude de l'alignement harness-modèle via 138k trajectoires d'agents. Les auteurs introduisent Simple Strands Agent (SSA), un harness générique testant Claude, Gemini, GPT, Grok, Qwen sur SWE-Pro, SWE-Verified et Terminal-Bench-2. Au-delà des scores pass@1, l'analyse révèle des différences comportementales fines : fréquence d'édition, activité de test, transitions de phase.

Agents IABenchmarksGénération de code
SIG
75
HYP
00
GitHub Trending·

<svg aria-hidden="true" data-component="Octicon" height="16" viewBox="0 0 16 16" version="1.1" width="16" data-view-component="true" class="octicon octicon-repo mr-1 tmp-mr-1 color-fg-muted"> <path d="M2 2.5A2.5 2.5 0 0 1 4.5 0h8.75a.75.75 0 0 1 .75.75v12.5a.75.75 0 0 1-.75.75h-2.5a.75.75 0 0 1 0-1.5h1.75v-2h-8a1 1 0 0 0-.714 1.7.75.75 0 1 1-1.072 1.05A2.495 2.495 0 0 1 2 11.5Zm10.5-1h-8a1 1 0 0 0-1 1v6.708A2.486 2.486 0 0 1 4.5 9h8ZM5 12.25a.25.25 0 0 1 .25-.25h3.5a.25.25 0 0 1 .25.25v3.25a.25.25 0 0 1-.4.2l-1.45-1.087a.249.249 0 0 0-.3 0L5.4 15.7a.25.25 0 0 1-.4-.2Z"></path> </svg> <span data-view-component="true" class="text-normal"> smol-ai /</span> GodMode

GodMode est un navigateur de chat IA offrant accès rapide à ChatGPT, Claude, Bard, Bing et Llama2 dans une seule interface web. Outil de productivité utilisé quotidiennement.

ClaudeGPTOutils
SIG
45
HYP
00
arXiv cs.CL·

Shopping Reasoning Bench: An Expert-Authored Benchmark for Multi-Turn Conversational Shopping Assistants

Shopping Reasoning Bench : benchmark expert de 525 missions (232 single-turn, 293 multi-turn) avec 10863 rubriques binaires pondérées pour évaluer les assistants conversationnels de shopping. Évaluation de 9 modèles (GPT, Claude, Gemini) : taux de réussite 57-77%, dégradation de 4-18 points au fil de la conversation, écart de 13-29 points entre critères obligatoires et optionnels.

BenchmarksGPTClaude
SIG
75
HYP
00
Reddit r/MachineLearning·

Routing LLMs by task verifiability: a small experiment (n=120, 3 models) inspired by Karpathy's framework [D]

Expérience sur 120 tâches testant si les modèles faibles peuvent égaler les frontière sur des tâches hautement vérifiables (Karpathy). Claude Sonnet 4.6, GPT 5.5, Mistral 3 8B comparés. Code/extraction structurée : écarts réduits avec retry (Mistral 87%→95% code). Raisonnement multi-hop : gap réel (Sonnet 78%, Mistral 51%). Résumé créatif : avantage attendu aux modèles puissants.

ClaudeGPTMistral
SIG
45
HYP
00
arXiv cs.AI·

Less Context, Better Agents: Efficient Context Engineering for Long-Horizon Tool-Using LLM Agents

Étude sur l'optimisation du contexte pour agents LLM autonomes en workflows d'entreprise. Test de 4 configurations GPT-5 sur 50 tâches de catégorisation de dépenses (Microsoft Dynamics 365). Pruning du contexte aux 5 derniers appels outils + summarization atteint 91,6% de complétude avec 553k tokens (vs 1,48M en contexte complet), réduisant le runtime de 14,56h à 5,79h.

GPTAgents IAMCP
SIG
78
HYP
00
arXiv cs.AI·

Moonshine: An Autonomous Mathematical Research Agent Centered on Conjecture Generation

Moonshine est un agent autonome générant des conjectures mathématiques. Il extrait des structures de problèmes classiques et formule des conjectures significatives. Appliqué à la conjecture jacobienne, il transfère la logique à des réseaux de neurones affines-ridge, formulant la Neural Jacobian Conjecture (NJC). GPT-5.5-pro et DeepSeek-V4-pro ont obtenu des preuves complètes pour N=n+1.

Agents IARaisonnementPapers
SIG
72
HYP
00
Reddit r/MachineLearning·

LLM Relational Intelligence: A 4-Month Research Experiment on Multi-Model Behavioral Alignment with Human Communication [R]

Expérience de 4 mois testant si les fenêtres de contexte peuvent être engineered pour que les modèles frontière (GPT, Claude, Gemini, Grok) interagissent de manière indistinguishable d'une interaction humaine. Gemini montre la meilleure « relational intelligence ». L'auteur traite la fenêtre de contexte comme environnement comportemental plutôt que simple interface.

Prompt engineeringGPTClaude
SIG
35
HYP
00
arXiv cs.CL·

Does Topic Sentiment Cause Perceived Ideology? Comparing Human and LLM Annotations in Political News Articles

Étude comparant annotations humaines et LLM (GPT-4o-mini, Llama-3.3-70B) sur l'idéologie politique d'articles de presse. Double Machine Learning révèle que le fine-tuning de GPT-4o-mini crée un couplage spurieux sentiment-idéologie absent du jugement humain, malgré F1=72.48. Implications pour l'utilisation des annotations LLM comme silver labels.

GPTLlamaÉvaluations
SIG
78
HYP
00
arXiv cs.CL·

Explain Like I'm 5 or Whatever I Choose: Evaluating the Interactive Potential of Language Model Responses

Étude d'évaluation de LLMs (GPT-5.1, GPT-5 mini, Claude Sonnet 4.5 + Thinking, DeepSeek-V3.1) sur leur capacité à générer plusieurs réponses à une même requête scientifique en variant la complexité du langage. Sur 98 requêtes, Claude Sonnet 4.5 ne maintient une complexité cohérente que 46% du temps. Framework d'évaluation basé sur étude formative avec 16 participants.

ÉvaluationsClaudeGPT
SIG
72
HYP
00
arXiv cs.CL·

Using Large Language Models to Support High Volume Application Review for an Undergraduate Research Program

Purdue University utilise GPT-4o, GPT-5-mini et GPT-5.2 pour évaluer 1 200 candidatures au programme SURF 2026. Les modèles notent les déclarations d'intention sur 6 critères (0-3 points), générant scores et justifications en 4,6 heures. GPT-5.2 adhère mieux à la grille d'évaluation. La révision finale par coordinateur prend 4 heures au lieu de plusieurs semaines.

GPTOpenAIÉvaluations
SIG
72
HYP
00
GitHub Trending·

<svg aria-hidden="true" data-component="Octicon" height="16" viewBox="0 0 16 16" version="1.1" width="16" data-view-component="true" class="octicon octicon-repo mr-1 tmp-mr-1 color-fg-muted"> <path d="M2 2.5A2.5 2.5 0 0 1 4.5 0h8.75a.75.75 0 0 1 .75.75v12.5a.75.75 0 0 1-.75.75h-2.5a.75.75 0 0 1 0-1.5h1.75v-2h-8a1 1 0 0 0-.714 1.7.75.75 0 1 1-1.072 1.05A2.495 2.495 0 0 1 2 11.5Zm10.5-1h-8a1 1 0 0 0-1 1v6.708A2.486 2.486 0 0 1 4.5 9h8ZM5 12.25a.25.25 0 0 1 .25-.25h3.5a.25.25 0 0 1 .25.25v3.25a.25.25 0 0 1-.4.2l-1.45-1.087a.249.249 0 0 0-.3 0L5.4 15.7a.25.25 0 0 1-.4-.2Z"></path> </svg> <span data-view-component="true" class="text-normal"> 0x4m4 /</span> hexstrike-ai

HexStrike AI MCP Agents est un serveur MCP permettant aux agents IA (Claude, GPT, Copilot) d'exécuter autonomement 150+ outils de cybersécurité pour le pentesting automatisé, la découverte de vulnérabilités et la recherche en sécurité.

MCPAgents IAClaude
SIG
65
HYP
00
arXiv cs.AI·

On Wednesdays, We Ask Questions: Optimizing "Active Listening" in Automated Legal Triage and Referral

FETCH, un classifier pour le triage juridique automatisé, génère des questions de suivi via un ensemble économique de LLMs. L'étude montre que les modèles bon marché performent bien en classification, mais la génération de questions en langage clair de qualité requiert GPT-4 ou supérieur. Le prompt engineering seul ne suffit pas ; les évaluations LLM-as-judge divergent des évaluations humaines.

GPTOpenAIPrompt engineering
SIG
72
HYP
00