Todas las pruebas de referencia

Pruebas de rendimiento de enrutamiento de modelos

Compare el rendimiento de los enrutadores de modelos, los modelos compuestos y otros tipos de lógica de alternancia entre múltiples modelos.

Auto Router ahora funciona con Jev Router. Descubra cómo funciona →
Enrutadores
Favicon de nvidia
Favicon de openrouter
Favicon de sakana
Favicon de unbiased
6 enrutadores
Auto, Fugu Max, Pareto, Auto Code y Fugu Ultra v2 más cambio de modelo con Switchyard
Modelos
Favicon de anthropic
Favicon de deepseek
Favicon de google
Favicon de moonshotai
18 modelos
Solo modelos de ruta y de referencia; las opciones de modelos del enrutador no están disponibles
Resultados
162
ejecuciones publicadas del enrutador y de referencia

Última ejecución de la evaluación comparativa

Frontera de enrutamiento de modelos

De forma predeterminada, cada punto representa la calidad de un enrutador de modelos promediada entre las pruebas de referencia. El costo y la velocidad permanecen en el eje horizontal en lugar de incorporarse a la calidad, a diferencia del índice de enrutamiento de modelos de la matriz. Elija una prueba de referencia para comparar la calidad en ella o cambie lo que mide el eje horizontal.

Frontera de calidad

Coste registrado por tarea evaluada, en escala logarítmica. La puntuación de calidad es la exactitud relativa al mejor enrutador en cada prueba de referencia (0–10), promediada entre las pruebas de referencia. Una referencia que supera a todos los enrutadores tiene un límite de 10. Los puntos huecos son valores de referencia de modelos individuales, que se muestran como referencia. Las referencias cuya puntuación queda por debajo del eje se omiten; siguen apareciendo en la tabla de resultados.

Frontera de calidad
Enrutador de modelosPuntuación de calidadCoste / tarea
Claude Haiku 5.5 (low)3,50,053 US$
Claude Haiku 5.5 (medium)4,70,098 US$
Switchyard · Claude Opus 5.5 + Claude Sonnet 5.5 (high)8,23,02 US$
Claude Opus 5.5 (high)9,16,43 US$
Claude Opus 5.5 (low)6,70,46 US$
Claude Opus 5.5 (medium)8,10,98 US$
Claude Sonnet 5.5 (high)7,50,83 US$
Claude Sonnet 5.5 (low)4,80,22 US$
Claude Sonnet 5.5 (medium)5,40,29 US$
Claude Sonnet 5.58,10,92 US$
Switchyard · Deepseek v4.1 Flash + GPT-6-Sol (high)8,40,36 US$
Deepseek v4.1 Flash (high)7,90,22 US$
Deepseek v4.1 Flash (max)8,20,20 US$
Deepseek v4.1 Flash6,71,02 US$
Gemini 4 Argon (high)9,31,33 US$
Kimi K3 (high)8,90,93 US$
Kimi K3 (low)7,40,67 US$
Kimi K3.1 Pro (high)9,60,50 US$
Kimi K3.1 Pro9,02,66 US$
Switchyard · GPT-6-Astra + GPT-6.1-Sol (high)8,62,17 US$
GPT-6-Astra (high)9,01,73 US$
GPT-6-Astra (low)7,61,02 US$
GPT-6-Astra (medium)8,01,70 US$
GPT-6-Luna (high)6,50,040 US$
GPT-6-Luna (max)7,60,074 US$
GPT-6-Luna3,40,062 US$
Switchyard · GPT-6-Sol + GPT-6-Astra (high)9,21,56 US$
GPT-6-Sol (high)8,50,34 US$
Switchyard · GPT-6.1-Sol + GPT-6-Luna (high)7,20,37 US$
GPT-6.1-Sol (high)8,20,38 US$
GPT-6.1-Sol (low)6,90,14 US$
GPT-6.1-Sol (medium)8,40,25 US$
GPT-6.1-Terra (high)8,30,21 US$
Grok 4.7 (medium)7,03,21 US$
Mimo v2.6 Pro (xhigh)7,80,15 US$
GLM 5.3 (high)8,00,77 US$
Switchyard · GLM 5.3 Flash + Claude Opus 5.5 (high)8,81,01 US$
GLM 5.3 Flash (high)6,50,15 US$
GLM 5.3 Flash9,30,29 US$
Auto (Medium tier)9,30,58 US$
Auto Code9,81,64 US$
Fugu Max6,81,29 US$
Pareto8,60,16 US$
Deepseek v4.1 Flash 1017 (high)7,30,044 US$
Gemini 3.8 Flash (high)8,60,26 US$
Fugu Ultra v28,83,95 US$
Claude Haiku 5.5 (high)4,90,048 US$
Switchyard · Gemini 4 Argon + Gemini 3.8 Flash (high)8,20,70 US$

Matriz de evaluaciones comparativas

El índice de enrutamiento de modelos combina calidad, velocidad y coste en una puntuación de 0–10 relativa a los mejores resultados de cada prueba de rendimiento. Explore la frontera de enrutamiento de modelos.

Enrutador de modelos
Enrutadores
Auto
Deep SWE69,0 %
SWE Atlas QA59,7 %
Terminal Bench 4.045,7 %
Tau3 BankingEl mejor en la prueba de rendimiento53,1 %
MMMU Pro Vision80,1 %
Auto Code
Deep SWE74,3 %
SWE Atlas QA62,5 %
Terminal Bench 4.0El mejor en la prueba de rendimiento50,0 %
Tau3 Banking52,6 %
MMMU Pro Vision82,3 %
Fugu Max
Deep SWE33,9 %
SWE Atlas QA52,4 %
Terminal Bench 4.0—
Tau3 Banking29,9 %
MMMU Pro Vision79,5 %
Fugu Ultra v2
Deep SWE—
SWE Atlas QAEl mejor en la prueba de rendimiento69,5 %
Terminal Bench 4.0—
Tau3 Banking35,1 %
MMMU Pro Vision80,5 %
Pareto
Deep SWE74,3 %
SWE Atlas QA60,5 %
Terminal Bench 4.042,5 %
Tau3 Banking35,1 %
MMMU Pro Vision75,5 %
Alternancia entre varios modelos
Switchyard
Algoritmo: Stage
Claude Opus 5.5 + Claude Sonnet 5.5 (high)
Deep SWE68,8 %
SWE Atlas QA56,5 %
Terminal Bench 4.045,0 %
Tau3 Banking35,1 %
MMMU Pro Vision—
Deepseek v4.1 Flash + GPT-6-Sol (high)
Deep SWE65,5 %
SWE Atlas QA52,9 %
Terminal Bench 4.0—
Tau3 Banking41,2 %
MMMU Pro Vision77,0 %
Gemini 4 Argon + Gemini 3.8 Flash (high)
Deep SWE—
SWE Atlas QA60,5 %
Terminal Bench 4.035,0 %
Tau3 Banking47,4 %
MMMU Pro Vision—
GLM 5.3 Flash + Claude Opus 5.5 (high)
Deep SWE73,5 %
SWE Atlas QA59,7 %
Terminal Bench 4.0—
Tau3 Banking38,1 %
MMMU Pro Vision79,5 %
GPT-6-Astra + GPT-6.1-Sol (high)
Deep SWE73,5 %
SWE Atlas QA—
Terminal Bench 4.045,0 %
Tau3 Banking38,1 %
MMMU Pro Vision—
GPT-6-Sol + GPT-6-Astra (high)
Deep SWE70,8 %
SWE Atlas QA66,1 %
Terminal Bench 4.0—
Tau3 Banking42,3 %
MMMU Pro VisionEl mejor en la prueba de rendimiento82,4 %
GPT-6.1-Sol + GPT-6-Luna (high)
Deep SWEEl mejor en la prueba de rendimiento75,2 %
SWE Atlas QA—
Terminal Bench 4.033,3 %
Tau3 Banking26,8 %
MMMU Pro Vision—
Líneas base de modelos individuales (referencia)
Claude Haiku 5.5 (high)
Deep SWE—
SWE Atlas QA43,5 %
Terminal Bench 4.0—
Tau3 Banking18,6 %
MMMU Pro Vision—
Claude Haiku 5.5 (low)
Deep SWE40,7 %
SWE Atlas QA24,2 %
Terminal Bench 4.0—
Tau3 Banking9,3 %
MMMU Pro Vision—
Claude Haiku 5.5 (medium)
Deep SWE52,2 %
SWE Atlas QA31,5 %
Terminal Bench 4.0—
Tau3 Banking14,4 %
MMMU Pro Vision—
Claude Opus 5.5 (high)
Deep SWE70,5 %
SWE Atlas QA55,6 %
Terminal Bench 4.053,1 %
Tau3 Banking42,3 %
MMMU Pro Vision81,8 %
Claude Opus 5.5 (low)
Deep SWE61,1 %
SWE Atlas QA39,5 %
Terminal Bench 4.0—
Tau3 Banking33,5 %
MMMU Pro Vision—
Claude Opus 5.5 (medium)
Deep SWE67,7 %
SWE Atlas QA54,0 %
Terminal Bench 4.0—
Tau3 Banking39,7 %
MMMU Pro Vision—
Claude Sonnet 5.5
Deep SWE77,8 %
SWE Atlas QA—
Terminal Bench 4.031,3 %
Tau3 Banking—
MMMU Pro Vision—
Claude Sonnet 5.5 (high)
Deep SWE66,4 %
SWE Atlas QA48,4 %
Terminal Bench 4.0—
Tau3 Banking35,6 %
MMMU Pro Vision—
Claude Sonnet 5.5 (low)
Deep SWE54,0 %
SWE Atlas QA20,2 %
Terminal Bench 4.0—
Tau3 Banking22,2 %
MMMU Pro Vision—
Claude Sonnet 5.5 (medium)
Deep SWE49,6 %
SWE Atlas QA33,1 %
Terminal Bench 4.0—
Tau3 Banking25,3 %
MMMU Pro Vision—
Deepseek v4.1 Flash
Deep SWE63,6 %
SWE Atlas QA—
Terminal Bench 4.025,0 %
Tau3 Banking—
MMMU Pro Vision—
Deepseek v4.1 Flash (high)
Deep SWE62,8 %
SWE Atlas QA63,7 %
Terminal Bench 4.0—
Tau3 Banking32,5 %
MMMU Pro Vision—
Deepseek v4.1 Flash (max)
Deep SWE61,9 %
SWE Atlas QA65,3 %
Terminal Bench 4.0—
Tau3 Banking36,1 %
MMMU Pro Vision68,2 %
Deepseek v4.1 Flash 1017 (high)
Deep SWE—
SWE Atlas QA58,1 %
Terminal Bench 4.0—
Tau3 Banking24,7 %
MMMU Pro Vision72,7 %
Gemini 3.8 Flash (high)
Deep SWE—
SWE Atlas QA43,5 %
Terminal Bench 4.0—
Tau3 Banking39,2 %
MMMU Pro Vision81,5 %
Gemini 4 Argon (high)
Deep SWE76,1 %
SWE Atlas QA58,9 %
Terminal Bench 4.0—
Tau3 Banking46,4 %
MMMU Pro Vision87,0 %
GLM 5.3 (high)
Deep SWE64,6 %
SWE Atlas QA57,3 %
Terminal Bench 4.0—
Tau3 Banking38,1 %
MMMU Pro Vision—
GLM 5.3 Flash
Deep SWE84,6 %
SWE Atlas QA—
Terminal Bench 4.042,9 %
Tau3 Banking—
MMMU Pro Vision—
GLM 5.3 Flash (high)
Deep SWE31,0 %
SWE Atlas QA42,7 %
Terminal Bench 4.0—
Tau3 Banking34,0 %
MMMU Pro Vision75,4 %
GPT-6-Astra (high)
Deep SWE73,5 %
SWE Atlas QA65,5 %
Terminal Bench 4.0—
Tau3 Banking35,6 %
MMMU Pro Vision84,2 %
GPT-6-Astra (low)
Deep SWE67,2 %
SWE Atlas QA54,1 %
Terminal Bench 4.0—
Tau3 Banking32,5 %
MMMU Pro Vision—
GPT-6-Astra (medium)
Deep SWE69,9 %
SWE Atlas QA58,8 %
Terminal Bench 4.0—
Tau3 Banking33,0 %
MMMU Pro Vision—
GPT-6-Luna
Deep SWE51,2 %
SWE Atlas QA—
Terminal Bench 4.00,0 %
Tau3 Banking—
MMMU Pro Vision—
GPT-6-Luna (high)
Deep SWE53,1 %
SWE Atlas QA35,5 %
Terminal Bench 4.0—
Tau3 Banking24,2 %
MMMU Pro Vision76,6 %
GPT-6-Luna (max)
Deep SWE67,3 %
SWE Atlas QA42,7 %
Terminal Bench 4.0—
Tau3 Banking30,9 %
MMMU Pro Vision77,3 %
GPT-6-Sol (high)
Deep SWE61,1 %
SWE Atlas QA55,4 %
Terminal Bench 4.0—
Tau3 Banking42,3 %
MMMU Pro Vision81,5 %
GPT-6.1-Sol (high)
Deep SWE70,8 %
SWE Atlas QA59,7 %
Terminal Bench 4.0—
Tau3 Banking35,1 %
MMMU Pro Vision—
GPT-6.1-Sol (low)
Deep SWE60,2 %
SWE Atlas QA51,6 %
Terminal Bench 4.0—
Tau3 Banking27,8 %
MMMU Pro Vision—
GPT-6.1-Sol (medium)
Deep SWE72,6 %
SWE Atlas QA60,5 %
Terminal Bench 4.0—
Tau3 Banking37,1 %
MMMU Pro Vision—
GPT-6.1-Terra (high)
Deep SWE72,8 %
SWE Atlas QA53,6 %
Terminal Bench 4.040,8 %
Tau3 Banking33,0 %
MMMU Pro Vision80,3 %
Grok 4.7 (medium)
Deep SWE35,4 %
SWE Atlas QA58,9 %
Terminal Bench 4.0—
Tau3 Banking41,8 %
MMMU Pro Vision—
Kimi K3 (high)
Deep SWE69,0 %
SWE Atlas QA58,1 %
Terminal Bench 4.0—
Tau3 Banking42,8 %
MMMU Pro Vision81,0 %
Kimi K3 (low)
Deep SWE57,5 %
SWE Atlas QA—
Terminal Bench 4.0—
Tau3 Banking38,1 %
MMMU Pro Vision—
Kimi K3.1 Pro
Deep SWE60,0 %
SWE Atlas QA—
Terminal Bench 4.068,8 %
Tau3 Banking—
MMMU Pro Vision—
Kimi K3.1 Pro (high)
Deep SWE77,9 %
SWE Atlas QA58,1 %
Terminal Bench 4.0—
Tau3 Banking54,6 %
MMMU Pro Vision81,8 %
Mimo v2.6 Pro (xhigh)
Deep SWE58,4 %
SWE Atlas QA54,0 %
Terminal Bench 4.0—
Tau3 Banking42,3 %
MMMU Pro Vision63,6 %
MejorPeorLos resultados de referencia de modelos individuales se muestran como referencia y no se incluyen en la clasificación.

Resultados del enrutamiento de modelos

Deep SWE43 resultados
Deep SWE GLM 5.3 Flash84,6 %0,20 US$0,24 US$26,7m
Deep SWE Kimi K3.1 Pro77,9 %0,85 US$1,09 US$18,6m
Deep SWE Claude Sonnet 5.577,8 %0,40 US$0,51 US$6,0m
Deep SWE Gemini 4 Argon76,1 %3,12 US$4,10 US$26,6m
Deep SWE Switchyard · GPT-6.1-Sol + GPT-6-Luna (high)75,2 %0,47 US$0,63 US$12,6m
Deep SWE Auto Code74,3 %1,98 US$2,66 US$15,2m
Deep SWE Pareto74,3 %0,19 US$0,26 US$7,5m
Deep SWE Switchyard · GPT-6-Astra + GPT-6.1-Sol (high)73,5 %2,54 US$3,46 US$12,5m
Deep SWE GPT-6-Astra73,5 %2,99 US$4,07 US$11,7m
Deep SWE Switchyard · GLM 5.3 Flash + Claude Opus 5.5 (high)73,5 %2,47 US$3,36 US$17,4m
Deep SWE GPT-6.1-Terra72,8 %0,31 US$0,43 US$8,3m
Deep SWE GPT-6.1-Sol · openai72,6 %0,30 US$0,41 US$3,7m
Deep SWE Switchyard · GPT-6-Sol + GPT-6-Astra (high)70,8 %2,35 US$3,32 US$8,5m
Deep SWE GPT-6.1-Sol (high)70,8 %0,46 US$0,65 US$6,5m
Deep SWE Claude Opus 5.570,5 %7,76 US$11,00 US$51,9m
Deep SWE GPT-6-Astra69,9 %1,99 US$2,85 US$5,8m
Deep SWE Kimi K3 (high)69,0 %1,85 US$2,68 US$23,1m
Deep SWE Auto (Medium tier)69,0 %0,57 US$0,83 US$9,6m
Deep SWE Switchyard · Claude Opus 5.5 + Claude Sonnet 5.5 (high)68,8 %6,59 US$9,59 US$44,9m
Deep SWE Claude Opus 5.567,7 %1,54 US$2,27 US$7,0m
Deep SWE GPT-6-Luna67,3 %0,18 US$0,27 US$17,7m
Deep SWE GPT-6-Astra67,2 %1,02 US$1,52 US$3,1m
Deep SWE Claude Sonnet 5.566,4 %1,86 US$2,80 US$21,4m
Deep SWE Switchyard · Deepseek v4.1 Flash + GPT-6-Sol (high)65,5 %0,48 US$0,74 US$6,3m
Deep SWE GLM 5.3 (high)64,6 %1,46 US$2,26 US$16,3m
Deep SWE Deepseek v4.1 Flash63,6 %0,21 US$0,33 US$15,6m
Deep SWE Deepseek v4.1 Flash62,8 %0,37 US$0,60 US$19,9m
Deep SWE Deepseek v4.1 Flash61,9 %0,42 US$0,68 US$27,5m
Deep SWE Claude Opus 5.561,1 %0,52 US$0,85 US$2,6m
Deep SWE GPT-6-Sol61,1 %0,46 US$0,75 US$3,6m
Deep SWE GPT-6.1-Sol60,2 %0,14 US$0,23 US$3,7m
Deep SWE Kimi K3.1 Pro60,0 %1,43 US$2,38 US$24,9m
Deep SWE Mimo v2.6 Pro58,4 %0,31 US$0,53 US$43,2m
Deep SWE Kimi K357,5 %0,63 US$1,10 US$4,4m
Deep SWE Claude Sonnet 5.554,0 %0,36 US$0,66 US$4,9m
Deep SWE GPT-6-Luna53,1 %0,11 US$0,21 US$15,8m
Deep SWE Claude Haiku 5.552,2 %0,25 US$0,48 US$23,7m
Deep SWE GPT-6-Luna51,2 %0,091 US$0,18 US$10,8m
Deep SWE Claude Sonnet 5.549,6 %0,51 US$1,03 US$7,0m
Deep SWE Claude Haiku 5.540,7 %0,14 US$0,34 US$16,2m
Deep SWE Grok 4.735,4 %5,89 US$16,64 US$12,2m
Deep SWE Fugu Max33,9 %3,00 US$8,85 US$25,4m
Deep SWE GLM 5.3 Flash (high)31,0 %0,34 US$1,10 US$27,0m
MMMU Pro Vision22 resultados
MMMU Pro Vision Gemini 4 Argon87,0 %0,027 US$0,031 US$36s
MMMU Pro Vision GPT-6-Astra84,2 %0,058 US$0,069 US$8s
MMMU Pro Vision Switchyard · GPT-6-Sol + GPT-6-Astra (high)82,4 %0,041 US$0,049 US$9s
MMMU Pro Vision Auto Code82,3 %0,025 US$0,031 US$6s
MMMU Pro Vision Claude Opus 5.581,8 %0,026 US$0,032 US$9s
MMMU Pro Vision Kimi K3.1 Pro81,8 %0,016 US$0,019 US$29s
MMMU Pro Vision Gemini 3.8 Flash81,5 %0,023 US$0,029 US$45s
MMMU Pro Vision GPT-6-Sol81,5 %0,013 US$0,016 US$7s
MMMU Pro Vision Kimi K381,0 %0,021 US$0,025 US$88s
MMMU Pro Vision Fugu Ultra v280,5 %0,11 US$0,14 US$42s
MMMU Pro Vision GPT-6.1-Terra80,3 %0,006 US$0,007 US$6s
MMMU Pro Vision Auto (Medium tier)80,1 %0,020 US$0,024 US$37s
MMMU Pro Vision Switchyard · GLM 5.3 Flash + Claude Opus 5.5 (high)79,5 %0,017 US$0,021 US$23s
MMMU Pro Vision Fugu Max79,5 %0,019 US$0,024 US$24s
MMMU Pro Vision GPT-6-Luna77,3 %0,002 US$0,003 US$38s
MMMU Pro Vision Switchyard · Deepseek v4.1 Flash + GPT-6-Sol (high)77,0 %0,011 US$0,014 US$42s
MMMU Pro Vision GPT-6-Luna76,6 %0,00089 US$0,001 US$8s
MMMU Pro Vision Pareto75,5 %0,015 US$0,019 US$17s
MMMU Pro Vision GLM 5.3 Flash75,4 %0,0008 US$0,001 US$33s
MMMU Pro Vision Deepseek v4.1 Flash 101772,7 %0,006 US$0,009 US$49s
MMMU Pro Vision Deepseek v4.1 Flash68,2 %0,016 US$0,023 US$2,1m
MMMU Pro Vision Mimo v2.6 Pro63,6 %0,011 US$0,017 US$2,5m
SWE Atlas QA40 resultados
SWE Atlas QA Fugu Ultra v269,5 %8,91 US$12,82 US$15,5m
SWE Atlas QA Switchyard · GPT-6-Sol + GPT-6-Astra (high)66,1 %1,98 US$2,99 US$5,3m
SWE Atlas QA GPT-6-Astra (high)65,5 %2,06 US$3,14 US$4,8m
SWE Atlas QA Deepseek v4.1 Flash65,3 %0,16 US$0,25 US$12,7m
SWE Atlas QA Deepseek v4.1 Flash63,7 %0,19 US$0,29 US$11,0m
SWE Atlas QA Auto Code62,5 %0,66 US$1,05 US$4,3m
SWE Atlas QA Switchyard · Gemini 4 Argon + Gemini 3.8 Flash (high)60,5 %1,28 US$2,11 US$12,6m
SWE Atlas QA GPT-6.1-Sol60,5 %0,22 US$0,36 US$3,7m
SWE Atlas QA Pareto60,5 %0,14 US$0,23 US$4,8m
SWE Atlas QA GPT-6.1-Sol59,7 %0,39 US$0,65 US$5,8m
SWE Atlas QA Switchyard · GLM 5.3 Flash + Claude Opus 5.5 (high)59,7 %0,87 US$1,46 US$7,1m
SWE Atlas QA Auto (Medium tier)59,7 %0,36 US$0,60 US$4,9m
SWE Atlas QA Gemini 4 Argon58,9 %1,25 US$2,13 US$12,9m
SWE Atlas QA Grok 4.758,9 %1,44 US$2,44 US$5,3m
SWE Atlas QA GPT-6-Astra58,8 %1,63 US$2,77 US$4,1m
SWE Atlas QA Deepseek v4.1 Flash 101758,1 %0,095 US$0,16 US$5,7m
SWE Atlas QA Kimi K3 (high)58,1 %0,86 US$1,49 US$8,1m
SWE Atlas QA Kimi K3.1 Pro58,1 %0,47 US$0,80 US$9,5m
SWE Atlas QA GLM 5.3 (high)57,3 %0,64 US$1,13 US$9,1m
SWE Atlas QA Switchyard · Claude Opus 5.5 + Claude Sonnet 5.5 (high)56,5 %0,80 US$1,42 US$7,0m
SWE Atlas QA Claude Opus 5.5 (high)55,6 %0,79 US$1,43 US$3,8m
SWE Atlas QA GPT-6-Sol (high)55,4 %0,35 US$0,64 US$2,6m
SWE Atlas QA GPT-6-Astra54,1 %0,89 US$1,64 US$2,6m
SWE Atlas QA Claude Opus 5.554,0 %0,48 US$0,89 US$2,8m
SWE Atlas QA Mimo v2.6 Pro54,0 %0,15 US$0,28 US$20,4m
SWE Atlas QA GPT-6.1-Terra53,6 %0,16 US$0,29 US$3,6m
SWE Atlas QA Switchyard · Deepseek v4.1 Flash + GPT-6-Sol (high)52,9 %0,36 US$0,68 US$3,7m
SWE Atlas QA Fugu Max52,4 %1,56 US$2,98 US$11,1m
SWE Atlas QA GPT-6.1-Sol51,6 %0,13 US$0,25 US$2,6m
SWE Atlas QA Claude Sonnet 5.548,4 %0,26 US$0,54 US$3,2m
SWE Atlas QA Claude Haiku 5.543,5 %0,048 US$0,11 US$5,7m
SWE Atlas QA Gemini 3.8 Flash

Fallido

43,5 %1,04 US$2,40 US$9,8m
SWE Atlas QA GPT-6-Luna42,7 %0,064 US$0,15 US$7,8m
SWE Atlas QA GLM 5.3 Flash (high)42,7 %0,20 US$0,46 US$15,1m
SWE Atlas QA Claude Opus 5.539,5 %0,16 US$0,41 US$67s
SWE Atlas QA GPT-6-Luna (high)35,5 %0,027 US$0,077 US$2,8m
SWE Atlas QA Claude Sonnet 5.533,1 %0,098 US$0,30 US$89s
SWE Atlas QA Claude Haiku 5.531,5 %0,015 US$0,048 US$2,5m
SWE Atlas QA Claude Haiku 5.524,2 %0,007 US$0,030 US$87s
SWE Atlas QA Claude Sonnet 5.520,2 %0,069 US$0,34 US$68s
Tau3 Banking43 resultados
Tau3 Banking Kimi K3.1 Pro54,6 %0,66 US$1,21 US$6,0m
Tau3 Banking Auto (Medium tier)53,1 %0,60 US$1,13 US$5,4m
Tau3 Banking Auto Code52,6 %0,60 US$1,13 US$5,9m
Tau3 Banking Switchyard · Gemini 4 Argon + Gemini 3.8 Flash (high)47,4 %0,74 US$1,57 US$7,0m
Tau3 Banking Gemini 4 Argon46,4 %0,94 US$2,03 US$10,5m
Tau3 Banking Kimi K342,8 %0,97 US$2,27 US$3,4m
Tau3 Banking Claude Opus 5.542,3 %0,98 US$2,32 US$1,9m
Tau3 Banking Switchyard · GPT-6-Sol + GPT-6-Astra (high)42,3 %1,86 US$4,41 US$2,6m
Tau3 Banking GPT-6-Sol (high)42,3 %0,55 US$1,29 US$1,6m
Tau3 Banking Mimo v2.6 Pro42,3 %0,12 US$0,29 US$11,3m
Tau3 Banking Grok 4.741,8 %2,32 US$5,55 US$4,5m
Tau3 Banking Switchyard · Deepseek v4.1 Flash + GPT-6-Sol (high)41,2 %0,59 US$1,43 US$2,8m
Tau3 Banking Claude Opus 5.539,7 %0,92 US$2,32 US$1,8m
Tau3 Banking Gemini 3.8 Flash39,2 %0,50 US$1,27 US$4,2m
Tau3 Banking Kimi K338,1 %0,71 US$1,86 US$2,6m
Tau3 Banking Switchyard · GPT-6-Astra + GPT-6.1-Sol (high)38,1 %1,37 US$3,60 US$2,4m
Tau3 Banking GLM 5.3 (high)38,1 %0,19 US$0,49 US$1,9m
Tau3 Banking Switchyard · GLM 5.3 Flash + Claude Opus 5.5 (high)38,1 %0,67 US$1,74 US$3,8m
Tau3 Banking GPT-6.1-Sol37,1 %0,23 US$0,62 US$67s
Tau3 Banking Deepseek v4.1 Flash36,1 %0,20 US$0,56 US$17,9m
Tau3 Banking Claude Sonnet 5.535,6 %0,36 US$1,01 US$65s
Tau3 Banking GPT-6-Astra35,6 %1,83 US$5,14 US$2,1m
Tau3 Banking Switchyard · Claude Opus 5.5 + Claude Sonnet 5.5 (high)35,1 %0,78 US$2,22 US$1,7m
Tau3 Banking GPT-6.1-Sol35,1 %0,30 US$0,86 US$1,5m
Tau3 Banking Fugu Ultra v235,1 %2,84 US$8,11 US$4,1m
Tau3 Banking Pareto35,1 %0,15 US$0,44 US$1,7m
Tau3 Banking GLM 5.3 Flash34,0 %0,043 US$0,13 US$78s
Tau3 Banking Claude Opus 5.533,5 %0,69 US$2,07 US$85s
Tau3 Banking GPT-6-Astra33,0 %1,49 US$4,51 US$88s
Tau3 Banking GPT-6.1-Terra33,0 %0,17 US$0,53 US$76s
Tau3 Banking Deepseek v4.1 Flash32,5 %0,11 US$0,33 US$7,5m
Tau3 Banking GPT-6-Astra32,5 %1,16 US$3,58 US$81s
Tau3 Banking GPT-6-Luna30,9 %0,046 US$0,15 US$3,8m
Tau3 Banking Fugu Max29,9 %0,59 US$1,98 US$3,3m
Tau3 Banking GPT-6.1-Sol27,8 %0,16 US$0,58 US$57s
Tau3 Banking Switchyard · GPT-6.1-Sol + GPT-6-Luna (high)26,8 %0,21 US$0,78 US$2,6m
Tau3 Banking Claude Sonnet 5.525,3 %0,27 US$1,08 US$52s
Tau3 Banking Deepseek v4.1 Flash 101724,7 %0,032 US$0,13 US$2,2m
Tau3 Banking GPT-6-Luna24,2 %0,020 US$0,083 US$1,5m
Tau3 Banking Claude Sonnet 5.522,2 %0,24 US$1,08 US$47s
Tau3 Banking Claude Haiku 5.518,6 %0,048 US$0,26 US$78s
Tau3 Banking Claude Haiku 5.514,4 %0,025 US$0,18 US$59s
Tau3 Banking Claude Haiku 5.59,3 %0,016 US$0,17 US$47s
Terminal Bench 4.014 resultados
Terminal Bench 4.0 Kimi K3.1 Pro68,8 %3,90 US$5,67 US$73,3m
Terminal Bench 4.0 Claude Opus 5.553,1 %22,60 US$35,72 US$198,6m
Terminal Bench 4.0 Auto Code50,0 %4,96 US$6,65 US$70,8m
Terminal Bench 4.0 Auto (Medium tier)45,7 %1,33 US$2,40 US$25,1m
Terminal Bench 4.0 Switchyard · Claude Opus 5.5 + Claude Sonnet 5.5 (high)45,0 %3,89 US$8,65 US$50,2m
Terminal Bench 4.0 Switchyard · GPT-6-Astra + GPT-6.1-Sol (high)45,0 %2,60 US$5,78 US$13,0m
Terminal Bench 4.0 GLM 5.3 Flash42,9 %0,39 US$0,91 US$85,9m
Terminal Bench 4.0 Pareto42,5 %0,29 US$0,69 US$22,8m
Terminal Bench 4.0 GPT-6.1-Terra40,8 %0,40 US$0,98 US$23,8m
Terminal Bench 4.0 Switchyard · Gemini 4 Argon + Gemini 3.8 Flash (high)35,0 %0,083 US$0,24 US$57,4m
Terminal Bench 4.0 Switchyard · GPT-6.1-Sol + GPT-6-Luna (high)33,3 %0,44 US$1,33 US$11,9m
Terminal Bench 4.0 Claude Sonnet 5.531,3 %1,44 US$4,61 US$59,2m
Terminal Bench 4.0 Deepseek v4.1 Flash25,0 %1,84 US$7,34 US$148,3m
Terminal Bench 4.0 GPT-6-Luna0,0 %0,033 US$--30,2m