Benchmarks de Devstral

Mesurer la performance d’un agent de code

Comment évaluer objectivement un modèle conçu pour résoudre des problèmes de développement ? Les benchmarks classiques de génération de code, HumanEval et MBPP, ne suffisent pas : ils vérifient qu’un modèle sait écrire une fonction isolée à partir d’un énoncé, pas qu’il sait s’orienter dans un dépôt de deux cent mille lignes et y corriger un bug réel. Un modèle peut exceller sur les premiers et rester inutilisable sur le second exercice.

C’est ce vide que comble SWE-Bench, devenu le benchmark de référence pour les agents de code.

SWE-Bench : le standard de l’industrie

SWE-Bench, pour Software Engineering Benchmark, évalue les modèles sur de vrais tickets GitHub issus de projets open-source populaires : Django, Flask, scikit-learn, sympy et d’autres. Le protocole reproduit le travail réel d’un développeur. Le modèle reçoit la description d’un bug ou d’une demande de fonctionnalité, sans qu’on lui indique où regarder. Il explore le repository pour localiser le problème. Il propose un patch. Ce patch est enfin évalué automatiquement par la suite de tests du projet, celle-là même qui protège le code en production.

Le benchmark existe en trois formats. SWE-Bench Full rassemble les 2294 instances, c’est la version complète et la plus coûteuse à faire tourner. SWE-Bench Lite en retient 300, sélectionnées pour une évaluation plus rapide. SWE-Bench Verified est un sous-ensemble revu manuellement par des humains, afin d’éliminer les tickets dont l’énoncé est ambigu ou dont les tests valident à tort une mauvaise solution.

Performances de Devstral 2

Devstral 2 se positionne parmi les meilleurs agents de code du marché sur SWE-Bench. Mistral AI a conçu le modèle spécifiquement pour ce type de tâches agentiques, et les résultats le confirment.

Encore faut-il savoir lire un score. Un résultat de X % signifie que le modèle résout correctement X % des tickets GitHub du benchmark — pas qu’il écrit du bon code X % du temps. Voici les paliers observés :

Rapporté à ses 24 milliards de paramètres, le positionnement de Devstral Small 2 est remarquable : il rivalise sur SWE-Bench avec des modèles bien plus volumineux, ce qui compte autant que le score brut dès lors qu’il faut faire tourner l’agent sur une infrastructure réelle.

Au-delà de SWE-Bench

D’autres évaluations complètent le tableau. HumanEval et MBPP, déjà évoqués, testent la génération de fonctions Python isolées ; Codestral et Devstral y performent bien, mais ces tests ne disent rien des capacités agentiques. Le benchmark Aider, lui, évalue les modèles dans le contexte de l’outil Aider, un assistant de code en terminal : il mesure la capacité à modifier du code existant en suivant des instructions précises, ce qui se rapproche nettement plus de l’usage quotidien. Les évaluations les plus pertinentes pour Devstral restent toutefois celles qui mobilisent l’ensemble de ses compétences : naviguer dans un codebase multi-fichiers, comprendre les dépendances entre modules, modifier plusieurs fichiers de façon coordonnée, puis exécuter les tests et interpréter leurs résultats pour corriger le tir.

Devstral face à la concurrence

Le marché des agents de code est très compétitif en 2026. Du côté propriétaire, Claude d’Anthropic s’est imposé en coding agentique, largement porté par Claude Code ; GPT-5.6 d’OpenAI reste très polyvalent et bon en code sans être spécialisé sur ce terrain ; Gemini de Google mise sur sa capacité de contexte et se défend bien sur le code. Du côté open-source, Devstral 2 côtoie DeepSeek Coder, concurrent direct, Qwen Coder d’Alibaba, performant et soutenu par une large communauté, et StarCoder de BigCode, entraîné sur The Stack avec un focus code assumé.

Trois traits distinguent Devstral dans ce paysage. Sa spécialisation agentique d’abord : il a été conçu dès le départ pour le tool use et la navigation de codebase, là où d’autres modèles y ont été adaptés après coup. Son ouverture ensuite : contrairement aux modèles propriétaires, il se déploie en local, sur votre matériel et sous votre contrôle. Son efficience enfin : 24 milliards de paramètres suffisent à atteindre un niveau frontier sur SWE-Bench, et cette taille se traduit directement en coût d’infrastructure. Ajoutez-y l’écosystème Mistral, avec l’intégration native dans Vibe CLI, Le Chat et l’API.

Comment interpréter les benchmarks

Les benchmarks orientent le choix, ils ne le décident pas. SWE-Bench teste un style de travail précis — la résolution de bugs dans des projets Python open-source — qui peut n’avoir aucun rapport avec votre quotidien en TypeScript ou en Java. Les conditions d’évaluation pèsent lourd : le nombre de tentatives autorisées, le scaffolding fourni à l’agent et le timeout déplacent les scores de plusieurs points, si bien que deux chiffres publiés séparément ne sont pas toujours comparables. La taille compte aussi, et pas seulement pour la facture : un 24B qui tient sur un seul GPU s’exploite là où un 70B exige un cluster et une équipe pour l’entretenir.

La conclusion est simple : prenez deux ou trois tickets déjà résolus dans votre propre dépôt, faites-les traiter par les modèles candidats, et comparez ce qu’ils produisent à ce que votre équipe avait écrit. Aucun classement public ne remplacera ce test.

Points clés à retenir

• SWE-Bench est le benchmark de référence pour les agents de code, basé sur de vrais tickets GitHub
• Devstral 2 offre un excellent rapport performance/taille sur SWE-Bench
• Le marché des agents de code est très compétitif, avec des options propriétaires et open-source
• L’avantage de Devstral est sa spécialisation agentique combinée à son caractère open-source
• Les benchmarks guident le choix mais ne remplacent pas un test sur votre propre codebase