Tous les tests de référence

Évaluations du routage des modèles

Comparez les performances des routeurs de modèles, des modèles composites et d’autres types de logique de basculement entre plusieurs modèles.

Auto Router repose désormais sur Jev Router. Découvrez son fonctionnement →
Routeurs
Favicon de nvidia
Favicon de openrouter
Favicon de sakana
Favicon de unbiased
6 routeurs
Auto, Fugu Max, Pareto, Auto Code et Fugu Ultra v2 plus le changement de modèle Switchyard
Modèles
Favicon de anthropic
Favicon de deepseek
Favicon de google
Favicon de moonshotai
18 modèles
Modèles de routage et de référence uniquement ; les choix de modèles du routeur ne sont pas disponibles
Résultats
162
exécutions publiées du routeur et de référence

Dernière exécution de l’évaluation comparative

Frontière du routage des modèles

Par défaut, chaque point représente la qualité d’un routeur de modèles, moyennée sur les tests de performance. Le coût et la vitesse restent sur l’axe horizontal au lieu d’être intégrés à la qualité, contrairement à l’indice de routage des modèles de la matrice. Choisissez un test de performance pour comparer la qualité sur ce test, ou modifiez ce que mesure l’axe horizontal.

Frontière de qualité

Coût enregistré par tâche évaluée, échelle logarithmique. Le score de qualité correspond à la précision relative au meilleur routeur pour chaque test de performance (0–10), moyennée sur les tests de performance. Une référence qui surpasse tous les routeurs est plafonnée à 10. Les points creux représentent les résultats de référence de modèles individuels, affichés à titre de comparaison. Les références dont le score est inférieur à l’axe ne sont pas affichées ; elles figurent toujours dans le tableau des résultats.

Frontière de qualité
Routeur de modèlesScore de qualitéCoût / tâche
Claude Haiku 5.5 (low)3,50,053 $US
Claude Haiku 5.5 (medium)4,70,098 $US
Switchyard · Claude Opus 5.5 + Claude Sonnet 5.5 (high)8,23,02 $US
Claude Opus 5.5 (high)9,16,43 $US
Claude Opus 5.5 (low)6,70,46 $US
Claude Opus 5.5 (medium)8,10,98 $US
Claude Sonnet 5.5 (high)7,50,83 $US
Claude Sonnet 5.5 (low)4,80,22 $US
Claude Sonnet 5.5 (medium)5,40,29 $US
Claude Sonnet 5.58,10,92 $US
Switchyard · Deepseek v4.1 Flash + GPT-6-Sol (high)8,40,36 $US
Deepseek v4.1 Flash (high)7,90,22 $US
Deepseek v4.1 Flash (max)8,20,20 $US
Deepseek v4.1 Flash6,71,02 $US
Gemini 4 Argon (high)9,31,33 $US
Kimi K3 (high)8,90,93 $US
Kimi K3 (low)7,40,67 $US
Kimi K3.1 Pro (high)9,60,50 $US
Kimi K3.1 Pro9,02,66 $US
Switchyard · GPT-6-Astra + GPT-6.1-Sol (high)8,62,17 $US
GPT-6-Astra (high)9,01,73 $US
GPT-6-Astra (low)7,61,02 $US
GPT-6-Astra (medium)8,01,70 $US
GPT-6-Luna (high)6,50,040 $US
GPT-6-Luna (max)7,60,074 $US
GPT-6-Luna3,40,062 $US
Switchyard · GPT-6-Sol + GPT-6-Astra (high)9,21,56 $US
GPT-6-Sol (high)8,50,34 $US
Switchyard · GPT-6.1-Sol + GPT-6-Luna (high)7,20,37 $US
GPT-6.1-Sol (high)8,20,38 $US
GPT-6.1-Sol (low)6,90,14 $US
GPT-6.1-Sol (medium)8,40,25 $US
GPT-6.1-Terra (high)8,30,21 $US
Grok 4.7 (medium)7,03,21 $US
Mimo v2.6 Pro (xhigh)7,80,15 $US
GLM 5.3 (high)8,00,77 $US
Switchyard · GLM 5.3 Flash + Claude Opus 5.5 (high)8,81,01 $US
GLM 5.3 Flash (high)6,50,15 $US
GLM 5.3 Flash9,30,29 $US
Auto (Medium tier)9,30,58 $US
Auto Code9,81,64 $US
Fugu Max6,81,29 $US
Pareto8,60,16 $US
Deepseek v4.1 Flash 1017 (high)7,30,044 $US
Gemini 3.8 Flash (high)8,60,26 $US
Fugu Ultra v28,83,95 $US
Claude Haiku 5.5 (high)4,90,048 $US
Switchyard · Gemini 4 Argon + Gemini 3.8 Flash (high)8,20,70 $US

Matrice des évaluations comparatives

L’indice de routage des modèles combine la qualité, la vitesse et le coût en un score de 0 à 10 relatif aux meilleurs résultats de chaque test de performance. Explorer la frontière du routage des modèles.

Routeur de modèles
Routeurs
Auto
Deep SWE69,0 %
SWE Atlas QA59,7 %
Terminal Bench 4.045,7 %
Tau3 BankingMeilleur au test de performance53,1 %
MMMU Pro Vision80,1 %
Auto Code
Deep SWE74,3 %
SWE Atlas QA62,5 %
Terminal Bench 4.0Meilleur au test de performance50,0 %
Tau3 Banking52,6 %
MMMU Pro Vision82,3 %
Fugu Max
Deep SWE33,9 %
SWE Atlas QA52,4 %
Terminal Bench 4.0—
Tau3 Banking29,9 %
MMMU Pro Vision79,5 %
Fugu Ultra v2
Deep SWE—
SWE Atlas QAMeilleur au test de performance69,5 %
Terminal Bench 4.0—
Tau3 Banking35,1 %
MMMU Pro Vision80,5 %
Pareto
Deep SWE74,3 %
SWE Atlas QA60,5 %
Terminal Bench 4.042,5 %
Tau3 Banking35,1 %
MMMU Pro Vision75,5 %
Basculement entre plusieurs modèles
Switchyard
Algorithme : Stage
Claude Opus 5.5 + Claude Sonnet 5.5 (high)
Deep SWE68,8 %
SWE Atlas QA56,5 %
Terminal Bench 4.045,0 %
Tau3 Banking35,1 %
MMMU Pro Vision—
Deepseek v4.1 Flash + GPT-6-Sol (high)
Deep SWE65,5 %
SWE Atlas QA52,9 %
Terminal Bench 4.0—
Tau3 Banking41,2 %
MMMU Pro Vision77,0 %
Gemini 4 Argon + Gemini 3.8 Flash (high)
Deep SWE—
SWE Atlas QA60,5 %
Terminal Bench 4.035,0 %
Tau3 Banking47,4 %
MMMU Pro Vision—
GLM 5.3 Flash + Claude Opus 5.5 (high)
Deep SWE73,5 %
SWE Atlas QA59,7 %
Terminal Bench 4.0—
Tau3 Banking38,1 %
MMMU Pro Vision79,5 %
GPT-6-Astra + GPT-6.1-Sol (high)
Deep SWE73,5 %
SWE Atlas QA—
Terminal Bench 4.045,0 %
Tau3 Banking38,1 %
MMMU Pro Vision—
GPT-6-Sol + GPT-6-Astra (high)
Deep SWE70,8 %
SWE Atlas QA66,1 %
Terminal Bench 4.0—
Tau3 Banking42,3 %
MMMU Pro VisionMeilleur au test de performance82,4 %
GPT-6.1-Sol + GPT-6-Luna (high)
Deep SWEMeilleur au test de performance75,2 %
SWE Atlas QA—
Terminal Bench 4.033,3 %
Tau3 Banking26,8 %
MMMU Pro Vision—
Résultats de base à modèle unique (référence)
Claude Haiku 5.5 (high)
Deep SWE—
SWE Atlas QA43,5 %
Terminal Bench 4.0—
Tau3 Banking18,6 %
MMMU Pro Vision—
Claude Haiku 5.5 (low)
Deep SWE40,7 %
SWE Atlas QA24,2 %
Terminal Bench 4.0—
Tau3 Banking9,3 %
MMMU Pro Vision—
Claude Haiku 5.5 (medium)
Deep SWE52,2 %
SWE Atlas QA31,5 %
Terminal Bench 4.0—
Tau3 Banking14,4 %
MMMU Pro Vision—
Claude Opus 5.5 (high)
Deep SWE70,5 %
SWE Atlas QA55,6 %
Terminal Bench 4.053,1 %
Tau3 Banking42,3 %
MMMU Pro Vision81,8 %
Claude Opus 5.5 (low)
Deep SWE61,1 %
SWE Atlas QA39,5 %
Terminal Bench 4.0—
Tau3 Banking33,5 %
MMMU Pro Vision—
Claude Opus 5.5 (medium)
Deep SWE67,7 %
SWE Atlas QA54,0 %
Terminal Bench 4.0—
Tau3 Banking39,7 %
MMMU Pro Vision—
Claude Sonnet 5.5
Deep SWE77,8 %
SWE Atlas QA—
Terminal Bench 4.031,3 %
Tau3 Banking—
MMMU Pro Vision—
Claude Sonnet 5.5 (high)
Deep SWE66,4 %
SWE Atlas QA48,4 %
Terminal Bench 4.0—
Tau3 Banking35,6 %
MMMU Pro Vision—
Claude Sonnet 5.5 (low)
Deep SWE54,0 %
SWE Atlas QA20,2 %
Terminal Bench 4.0—
Tau3 Banking22,2 %
MMMU Pro Vision—
Claude Sonnet 5.5 (medium)
Deep SWE49,6 %
SWE Atlas QA33,1 %
Terminal Bench 4.0—
Tau3 Banking25,3 %
MMMU Pro Vision—
Deepseek v4.1 Flash
Deep SWE63,6 %
SWE Atlas QA—
Terminal Bench 4.025,0 %
Tau3 Banking—
MMMU Pro Vision—
Deepseek v4.1 Flash (high)
Deep SWE62,8 %
SWE Atlas QA63,7 %
Terminal Bench 4.0—
Tau3 Banking32,5 %
MMMU Pro Vision—
Deepseek v4.1 Flash (max)
Deep SWE61,9 %
SWE Atlas QA65,3 %
Terminal Bench 4.0—
Tau3 Banking36,1 %
MMMU Pro Vision68,2 %
Deepseek v4.1 Flash 1017 (high)
Deep SWE—
SWE Atlas QA58,1 %
Terminal Bench 4.0—
Tau3 Banking24,7 %
MMMU Pro Vision72,7 %
Gemini 3.8 Flash (high)
Deep SWE—
SWE Atlas QA43,5 %
Terminal Bench 4.0—
Tau3 Banking39,2 %
MMMU Pro Vision81,5 %
Gemini 4 Argon (high)
Deep SWE76,1 %
SWE Atlas QA58,9 %
Terminal Bench 4.0—
Tau3 Banking46,4 %
MMMU Pro Vision87,0 %
GLM 5.3 (high)
Deep SWE64,6 %
SWE Atlas QA57,3 %
Terminal Bench 4.0—
Tau3 Banking38,1 %
MMMU Pro Vision—
GLM 5.3 Flash
Deep SWE84,6 %
SWE Atlas QA—
Terminal Bench 4.042,9 %
Tau3 Banking—
MMMU Pro Vision—
GLM 5.3 Flash (high)
Deep SWE31,0 %
SWE Atlas QA42,7 %
Terminal Bench 4.0—
Tau3 Banking34,0 %
MMMU Pro Vision75,4 %
GPT-6-Astra (high)
Deep SWE73,5 %
SWE Atlas QA65,5 %
Terminal Bench 4.0—
Tau3 Banking35,6 %
MMMU Pro Vision84,2 %
GPT-6-Astra (low)
Deep SWE67,2 %
SWE Atlas QA54,1 %
Terminal Bench 4.0—
Tau3 Banking32,5 %
MMMU Pro Vision—
GPT-6-Astra (medium)
Deep SWE69,9 %
SWE Atlas QA58,8 %
Terminal Bench 4.0—
Tau3 Banking33,0 %
MMMU Pro Vision—
GPT-6-Luna
Deep SWE51,2 %
SWE Atlas QA—
Terminal Bench 4.00,0 %
Tau3 Banking—
MMMU Pro Vision—
GPT-6-Luna (high)
Deep SWE53,1 %
SWE Atlas QA35,5 %
Terminal Bench 4.0—
Tau3 Banking24,2 %
MMMU Pro Vision76,6 %
GPT-6-Luna (max)
Deep SWE67,3 %
SWE Atlas QA42,7 %
Terminal Bench 4.0—
Tau3 Banking30,9 %
MMMU Pro Vision77,3 %
GPT-6-Sol (high)
Deep SWE61,1 %
SWE Atlas QA55,4 %
Terminal Bench 4.0—
Tau3 Banking42,3 %
MMMU Pro Vision81,5 %
GPT-6.1-Sol (high)
Deep SWE70,8 %
SWE Atlas QA59,7 %
Terminal Bench 4.0—
Tau3 Banking35,1 %
MMMU Pro Vision—
GPT-6.1-Sol (low)
Deep SWE60,2 %
SWE Atlas QA51,6 %
Terminal Bench 4.0—
Tau3 Banking27,8 %
MMMU Pro Vision—
GPT-6.1-Sol (medium)
Deep SWE72,6 %
SWE Atlas QA60,5 %
Terminal Bench 4.0—
Tau3 Banking37,1 %
MMMU Pro Vision—
GPT-6.1-Terra (high)
Deep SWE72,8 %
SWE Atlas QA53,6 %
Terminal Bench 4.040,8 %
Tau3 Banking33,0 %
MMMU Pro Vision80,3 %
Grok 4.7 (medium)
Deep SWE35,4 %
SWE Atlas QA58,9 %
Terminal Bench 4.0—
Tau3 Banking41,8 %
MMMU Pro Vision—
Kimi K3 (high)
Deep SWE69,0 %
SWE Atlas QA58,1 %
Terminal Bench 4.0—
Tau3 Banking42,8 %
MMMU Pro Vision81,0 %
Kimi K3 (low)
Deep SWE57,5 %
SWE Atlas QA—
Terminal Bench 4.0—
Tau3 Banking38,1 %
MMMU Pro Vision—
Kimi K3.1 Pro
Deep SWE60,0 %
SWE Atlas QA—
Terminal Bench 4.068,8 %
Tau3 Banking—
MMMU Pro Vision—
Kimi K3.1 Pro (high)
Deep SWE77,9 %
SWE Atlas QA58,1 %
Terminal Bench 4.0—
Tau3 Banking54,6 %
MMMU Pro Vision81,8 %
Mimo v2.6 Pro (xhigh)
Deep SWE58,4 %
SWE Atlas QA54,0 %
Terminal Bench 4.0—
Tau3 Banking42,3 %
MMMU Pro Vision63,6 %
MeilleurMoins bonLes références à modèle unique sont affichées à titre indicatif et ne sont pas classées.

Résultats du routage des modèles

Deep SWE43 résultats
Deep SWE GLM 5.3 Flash84,6 %0,20 $US0,24 $US26,7m
Deep SWE Kimi K3.1 Pro77,9 %0,85 $US1,09 $US18,6m
Deep SWE Claude Sonnet 5.577,8 %0,40 $US0,51 $US6,0m
Deep SWE Gemini 4 Argon76,1 %3,12 $US4,10 $US26,6m
Deep SWE Switchyard · GPT-6.1-Sol + GPT-6-Luna (high)75,2 %0,47 $US0,63 $US12,6m
Deep SWE Auto Code74,3 %1,98 $US2,66 $US15,2m
Deep SWE Pareto74,3 %0,19 $US0,26 $US7,5m
Deep SWE Switchyard · GPT-6-Astra + GPT-6.1-Sol (high)73,5 %2,54 $US3,46 $US12,5m
Deep SWE GPT-6-Astra73,5 %2,99 $US4,07 $US11,7m
Deep SWE Switchyard · GLM 5.3 Flash + Claude Opus 5.5 (high)73,5 %2,47 $US3,36 $US17,4m
Deep SWE GPT-6.1-Terra72,8 %0,31 $US0,43 $US8,3m
Deep SWE GPT-6.1-Sol · openai72,6 %0,30 $US0,41 $US3,7m
Deep SWE Switchyard · GPT-6-Sol + GPT-6-Astra (high)70,8 %2,35 $US3,32 $US8,5m
Deep SWE GPT-6.1-Sol (high)70,8 %0,46 $US0,65 $US6,5m
Deep SWE Claude Opus 5.570,5 %7,76 $US11,00 $US51,9m
Deep SWE GPT-6-Astra69,9 %1,99 $US2,85 $US5,8m
Deep SWE Kimi K3 (high)69,0 %1,85 $US2,68 $US23,1m
Deep SWE Auto (Medium tier)69,0 %0,57 $US0,83 $US9,6m
Deep SWE Switchyard · Claude Opus 5.5 + Claude Sonnet 5.5 (high)68,8 %6,59 $US9,59 $US44,9m
Deep SWE Claude Opus 5.567,7 %1,54 $US2,27 $US7,0m
Deep SWE GPT-6-Luna67,3 %0,18 $US0,27 $US17,7m
Deep SWE GPT-6-Astra67,2 %1,02 $US1,52 $US3,1m
Deep SWE Claude Sonnet 5.566,4 %1,86 $US2,80 $US21,4m
Deep SWE Switchyard · Deepseek v4.1 Flash + GPT-6-Sol (high)65,5 %0,48 $US0,74 $US6,3m
Deep SWE GLM 5.3 (high)64,6 %1,46 $US2,26 $US16,3m
Deep SWE Deepseek v4.1 Flash63,6 %0,21 $US0,33 $US15,6m
Deep SWE Deepseek v4.1 Flash62,8 %0,37 $US0,60 $US19,9m
Deep SWE Deepseek v4.1 Flash61,9 %0,42 $US0,68 $US27,5m
Deep SWE Claude Opus 5.561,1 %0,52 $US0,85 $US2,6m
Deep SWE GPT-6-Sol61,1 %0,46 $US0,75 $US3,6m
Deep SWE GPT-6.1-Sol60,2 %0,14 $US0,23 $US3,7m
Deep SWE Kimi K3.1 Pro60,0 %1,43 $US2,38 $US24,9m
Deep SWE Mimo v2.6 Pro58,4 %0,31 $US0,53 $US43,2m
Deep SWE Kimi K357,5 %0,63 $US1,10 $US4,4m
Deep SWE Claude Sonnet 5.554,0 %0,36 $US0,66 $US4,9m
Deep SWE GPT-6-Luna53,1 %0,11 $US0,21 $US15,8m
Deep SWE Claude Haiku 5.552,2 %0,25 $US0,48 $US23,7m
Deep SWE GPT-6-Luna51,2 %0,091 $US0,18 $US10,8m
Deep SWE Claude Sonnet 5.549,6 %0,51 $US1,03 $US7,0m
Deep SWE Claude Haiku 5.540,7 %0,14 $US0,34 $US16,2m
Deep SWE Grok 4.735,4 %5,89 $US16,64 $US12,2m
Deep SWE Fugu Max33,9 %3,00 $US8,85 $US25,4m
Deep SWE GLM 5.3 Flash (high)31,0 %0,34 $US1,10 $US27,0m
MMMU Pro Vision22 résultats
MMMU Pro Vision Gemini 4 Argon87,0 %0,027 $US0,031 $US36s
MMMU Pro Vision GPT-6-Astra84,2 %0,058 $US0,069 $US8s
MMMU Pro Vision Switchyard · GPT-6-Sol + GPT-6-Astra (high)82,4 %0,041 $US0,049 $US9s
MMMU Pro Vision Auto Code82,3 %0,025 $US0,031 $US6s
MMMU Pro Vision Claude Opus 5.581,8 %0,026 $US0,032 $US9s
MMMU Pro Vision Kimi K3.1 Pro81,8 %0,016 $US0,019 $US29s
MMMU Pro Vision Gemini 3.8 Flash81,5 %0,023 $US0,029 $US45s
MMMU Pro Vision GPT-6-Sol81,5 %0,013 $US0,016 $US7s
MMMU Pro Vision Kimi K381,0 %0,021 $US0,025 $US88s
MMMU Pro Vision Fugu Ultra v280,5 %0,11 $US0,14 $US42s
MMMU Pro Vision GPT-6.1-Terra80,3 %0,006 $US0,007 $US6s
MMMU Pro Vision Auto (Medium tier)80,1 %0,020 $US0,024 $US37s
MMMU Pro Vision Switchyard · GLM 5.3 Flash + Claude Opus 5.5 (high)79,5 %0,017 $US0,021 $US23s
MMMU Pro Vision Fugu Max79,5 %0,019 $US0,024 $US24s
MMMU Pro Vision GPT-6-Luna77,3 %0,002 $US0,003 $US38s
MMMU Pro Vision Switchyard · Deepseek v4.1 Flash + GPT-6-Sol (high)77,0 %0,011 $US0,014 $US42s
MMMU Pro Vision GPT-6-Luna76,6 %0,00089 $US0,001 $US8s
MMMU Pro Vision Pareto75,5 %0,015 $US0,019 $US17s
MMMU Pro Vision GLM 5.3 Flash75,4 %0,0008 $US0,001 $US33s
MMMU Pro Vision Deepseek v4.1 Flash 101772,7 %0,006 $US0,009 $US49s
MMMU Pro Vision Deepseek v4.1 Flash68,2 %0,016 $US0,023 $US2,1m
MMMU Pro Vision Mimo v2.6 Pro63,6 %0,011 $US0,017 $US2,5m
SWE Atlas QA40 résultats
SWE Atlas QA Fugu Ultra v269,5 %8,91 $US12,82 $US15,5m
SWE Atlas QA Switchyard · GPT-6-Sol + GPT-6-Astra (high)66,1 %1,98 $US2,99 $US5,3m
SWE Atlas QA GPT-6-Astra (high)65,5 %2,06 $US3,14 $US4,8m
SWE Atlas QA Deepseek v4.1 Flash65,3 %0,16 $US0,25 $US12,7m
SWE Atlas QA Deepseek v4.1 Flash63,7 %0,19 $US0,29 $US11,0m
SWE Atlas QA Auto Code62,5 %0,66 $US1,05 $US4,3m
SWE Atlas QA Switchyard · Gemini 4 Argon + Gemini 3.8 Flash (high)60,5 %1,28 $US2,11 $US12,6m
SWE Atlas QA GPT-6.1-Sol60,5 %0,22 $US0,36 $US3,7m
SWE Atlas QA Pareto60,5 %0,14 $US0,23 $US4,8m
SWE Atlas QA GPT-6.1-Sol59,7 %0,39 $US0,65 $US5,8m
SWE Atlas QA Switchyard · GLM 5.3 Flash + Claude Opus 5.5 (high)59,7 %0,87 $US1,46 $US7,1m
SWE Atlas QA Auto (Medium tier)59,7 %0,36 $US0,60 $US4,9m
SWE Atlas QA Gemini 4 Argon58,9 %1,25 $US2,13 $US12,9m
SWE Atlas QA Grok 4.758,9 %1,44 $US2,44 $US5,3m
SWE Atlas QA GPT-6-Astra58,8 %1,63 $US2,77 $US4,1m
SWE Atlas QA Deepseek v4.1 Flash 101758,1 %0,095 $US0,16 $US5,7m
SWE Atlas QA Kimi K3 (high)58,1 %0,86 $US1,49 $US8,1m
SWE Atlas QA Kimi K3.1 Pro58,1 %0,47 $US0,80 $US9,5m
SWE Atlas QA GLM 5.3 (high)57,3 %0,64 $US1,13 $US9,1m
SWE Atlas QA Switchyard · Claude Opus 5.5 + Claude Sonnet 5.5 (high)56,5 %0,80 $US1,42 $US7,0m
SWE Atlas QA Claude Opus 5.5 (high)55,6 %0,79 $US1,43 $US3,8m
SWE Atlas QA GPT-6-Sol (high)55,4 %0,35 $US0,64 $US2,6m
SWE Atlas QA GPT-6-Astra54,1 %0,89 $US1,64 $US2,6m
SWE Atlas QA Claude Opus 5.554,0 %0,48 $US0,89 $US2,8m
SWE Atlas QA Mimo v2.6 Pro54,0 %0,15 $US0,28 $US20,4m
SWE Atlas QA GPT-6.1-Terra53,6 %0,16 $US0,29 $US3,6m
SWE Atlas QA Switchyard · Deepseek v4.1 Flash + GPT-6-Sol (high)52,9 %0,36 $US0,68 $US3,7m
SWE Atlas QA Fugu Max52,4 %1,56 $US2,98 $US11,1m
SWE Atlas QA GPT-6.1-Sol51,6 %0,13 $US0,25 $US2,6m
SWE Atlas QA Claude Sonnet 5.548,4 %0,26 $US0,54 $US3,2m
SWE Atlas QA Claude Haiku 5.543,5 %0,048 $US0,11 $US5,7m
SWE Atlas QA Gemini 3.8 Flash

Échec

43,5 %1,04 $US2,40 $US9,8m
SWE Atlas QA GPT-6-Luna42,7 %0,064 $US0,15 $US7,8m
SWE Atlas QA GLM 5.3 Flash (high)42,7 %0,20 $US0,46 $US15,1m
SWE Atlas QA Claude Opus 5.539,5 %0,16 $US0,41 $US67s
SWE Atlas QA GPT-6-Luna (high)35,5 %0,027 $US0,077 $US2,8m
SWE Atlas QA Claude Sonnet 5.533,1 %0,098 $US0,30 $US89s
SWE Atlas QA Claude Haiku 5.531,5 %0,015 $US0,048 $US2,5m
SWE Atlas QA Claude Haiku 5.524,2 %0,007 $US0,030 $US87s
SWE Atlas QA Claude Sonnet 5.520,2 %0,069 $US0,34 $US68s
Tau3 Banking43 résultats
Tau3 Banking Kimi K3.1 Pro54,6 %0,66 $US1,21 $US6,0m
Tau3 Banking Auto (Medium tier)53,1 %0,60 $US1,13 $US5,4m
Tau3 Banking Auto Code52,6 %0,60 $US1,13 $US5,9m
Tau3 Banking Switchyard · Gemini 4 Argon + Gemini 3.8 Flash (high)47,4 %0,74 $US1,57 $US7,0m
Tau3 Banking Gemini 4 Argon46,4 %0,94 $US2,03 $US10,5m
Tau3 Banking Kimi K342,8 %0,97 $US2,27 $US3,4m
Tau3 Banking Claude Opus 5.542,3 %0,98 $US2,32 $US1,9m
Tau3 Banking Switchyard · GPT-6-Sol + GPT-6-Astra (high)42,3 %1,86 $US4,41 $US2,6m
Tau3 Banking GPT-6-Sol (high)42,3 %0,55 $US1,29 $US1,6m
Tau3 Banking Mimo v2.6 Pro42,3 %0,12 $US0,29 $US11,3m
Tau3 Banking Grok 4.741,8 %2,32 $US5,55 $US4,5m
Tau3 Banking Switchyard · Deepseek v4.1 Flash + GPT-6-Sol (high)41,2 %0,59 $US1,43 $US2,8m
Tau3 Banking Claude Opus 5.539,7 %0,92 $US2,32 $US1,8m
Tau3 Banking Gemini 3.8 Flash39,2 %0,50 $US1,27 $US4,2m
Tau3 Banking Kimi K338,1 %0,71 $US1,86 $US2,6m
Tau3 Banking Switchyard · GPT-6-Astra + GPT-6.1-Sol (high)38,1 %1,37 $US3,60 $US2,4m
Tau3 Banking GLM 5.3 (high)38,1 %0,19 $US0,49 $US1,9m
Tau3 Banking Switchyard · GLM 5.3 Flash + Claude Opus 5.5 (high)38,1 %0,67 $US1,74 $US3,8m
Tau3 Banking GPT-6.1-Sol37,1 %0,23 $US0,62 $US67s
Tau3 Banking Deepseek v4.1 Flash36,1 %0,20 $US0,56 $US17,9m
Tau3 Banking Claude Sonnet 5.535,6 %0,36 $US1,01 $US65s
Tau3 Banking GPT-6-Astra35,6 %1,83 $US5,14 $US2,1m
Tau3 Banking Switchyard · Claude Opus 5.5 + Claude Sonnet 5.5 (high)35,1 %0,78 $US2,22 $US1,7m
Tau3 Banking GPT-6.1-Sol35,1 %0,30 $US0,86 $US1,5m
Tau3 Banking Fugu Ultra v235,1 %2,84 $US8,11 $US4,1m
Tau3 Banking Pareto35,1 %0,15 $US0,44 $US1,7m
Tau3 Banking GLM 5.3 Flash34,0 %0,043 $US0,13 $US78s
Tau3 Banking Claude Opus 5.533,5 %0,69 $US2,07 $US85s
Tau3 Banking GPT-6-Astra33,0 %1,49 $US4,51 $US88s
Tau3 Banking GPT-6.1-Terra33,0 %0,17 $US0,53 $US76s
Tau3 Banking Deepseek v4.1 Flash32,5 %0,11 $US0,33 $US7,5m
Tau3 Banking GPT-6-Astra32,5 %1,16 $US3,58 $US81s
Tau3 Banking GPT-6-Luna30,9 %0,046 $US0,15 $US3,8m
Tau3 Banking Fugu Max29,9 %0,59 $US1,98 $US3,3m
Tau3 Banking GPT-6.1-Sol27,8 %0,16 $US0,58 $US57s
Tau3 Banking Switchyard · GPT-6.1-Sol + GPT-6-Luna (high)26,8 %0,21 $US0,78 $US2,6m
Tau3 Banking Claude Sonnet 5.525,3 %0,27 $US1,08 $US52s
Tau3 Banking Deepseek v4.1 Flash 101724,7 %0,032 $US0,13 $US2,2m
Tau3 Banking GPT-6-Luna24,2 %0,020 $US0,083 $US1,5m
Tau3 Banking Claude Sonnet 5.522,2 %0,24 $US1,08 $US47s
Tau3 Banking Claude Haiku 5.518,6 %0,048 $US0,26 $US78s
Tau3 Banking Claude Haiku 5.514,4 %0,025 $US0,18 $US59s
Tau3 Banking Claude Haiku 5.59,3 %0,016 $US0,17 $US47s
Terminal Bench 4.014 résultats
Terminal Bench 4.0 Kimi K3.1 Pro68,8 %3,90 $US5,67 $US73,3m
Terminal Bench 4.0 Claude Opus 5.553,1 %22,60 $US35,72 $US198,6m
Terminal Bench 4.0 Auto Code50,0 %4,96 $US6,65 $US70,8m
Terminal Bench 4.0 Auto (Medium tier)45,7 %1,33 $US2,40 $US25,1m
Terminal Bench 4.0 Switchyard · Claude Opus 5.5 + Claude Sonnet 5.5 (high)45,0 %3,89 $US8,65 $US50,2m
Terminal Bench 4.0 Switchyard · GPT-6-Astra + GPT-6.1-Sol (high)45,0 %2,60 $US5,78 $US13,0m
Terminal Bench 4.0 GLM 5.3 Flash42,9 %0,39 $US0,91 $US85,9m
Terminal Bench 4.0 Pareto42,5 %0,29 $US0,69 $US22,8m
Terminal Bench 4.0 GPT-6.1-Terra40,8 %0,40 $US0,98 $US23,8m
Terminal Bench 4.0 Switchyard · Gemini 4 Argon + Gemini 3.8 Flash (high)35,0 %0,083 $US0,24 $US57,4m
Terminal Bench 4.0 Switchyard · GPT-6.1-Sol + GPT-6-Luna (high)33,3 %0,44 $US1,33 $US11,9m
Terminal Bench 4.0 Claude Sonnet 5.531,3 %1,44 $US4,61 $US59,2m
Terminal Bench 4.0 Deepseek v4.1 Flash25,0 %1,84 $US7,34 $US148,3m
Terminal Bench 4.0 GPT-6-Luna0,0 %0,033 $US--30,2m