Todas las pruebas de referencia

τ²-Bench: Aerolíneas

τ²-Bench Airline evalúa si un modelo puede realizar el trabajo de un agente de atención al cliente de una aerolínea: seguir un manual de políticas, hablar con un cliente simulado y llamar a las herramientas adecuadas para buscar vuelos, cambiar reservas y emitir reembolsos. El modelo no necesita conocimientos del sector; su puntuación se basa íntegramente en lo bien que ejecuta las llamadas a herramientas a lo largo de secuencias de tareas de varios pasos. Lo ejecutamos continuamente en los mismos endpoints de proveedores que atienden el tráfico de OpenRouter, por lo que la puntuación refleja tanto el modelo como el proveedor que lo ejecuta. Utilizamos esta prueba de rendimiento porque tiene un nivel mínimo alto, lo que nos permite evaluar la variabilidad entre proveedores y no la capacidad del modelo. Nuestro algoritmo de enrutamiento para solicitudes de llamadas a herramientas utiliza estas mismas señales para enviar el tráfico a los endpoints con mejor rendimiento.

Última ejecución de la evaluación comparativa

¿Qué modelo lidera la prueba de rendimiento τ²-Bench Airline?

OpenAI: GPT-5.1 lidera τ²-Bench Airline con 80,0 % a fecha de 15 nov 2026, 1:00 UTC. Las tareas de Airline, la política, la configuración del simulador y del cliente, el presupuesto de pasos y la evaluación se mantienen constantes en todos los endpoints de proveedores en producción, por lo que los resultados mostrados comparan los modelos y los proveedores que los sirven en las mismas condiciones de evaluación.

Errores en llamadas a herramientas antes → después de Auto Exacto

3,9 % → 1,4 %

Tasa de errores en llamadas a herramientas de los modelos inscritos en Auto Exacto, la optimización automática de proveedores de OpenRouter para solicitudes con llamadas a herramientas.

Comparación de modelos

Mayor precisión

Mejor relación calidad-precio

Favicon de xiaomi
Xiaomi: MiMo-V2.6-Flash

0,015 US$/tarea

Exactitud
Precisión de la ejecución representativa, de mayor a menor.
Costo por tarea
Coste medio por tarea evaluada, de menor a mayor.
Tiempo por tarea
Tiempo real medio por tarea, de menor a mayor; los agentes que entran en bucle o se bloquean tardan más.

Eficiencia de costes

Exactitud frente a coste (frontera de Pareto)
Un punto por modelo, con el enrutamiento predeterminado (sin fijarlo a un proveedor) cuando está disponible. La línea es la frontera de Pareto: ningún modelo supera a estos tanto en precisión como en coste.

Fiabilidad de las llamadas a herramientas

Clasificación

Las filas de nivel superior usan el enrutamiento predeterminado cuando está disponible; haga clic en una fila para desplegar los resultados con proveedor fijo.

Clasificación de τ²-Bench Airline: precisión del modelo, costo, tiempo y tokens de salida por tarea y proveedor
#ModeloDesv. estándar
180,0 %±0,0pp0,39 US$8,0m34,1k
279,3 %--0,031 US$10,6m16,7k
379,2 %±1,3pp0,72 US$1,9m6,9k
479,1 %±1,8pp0,21 US$12,8m32,4k
579,0 %±2,6pp0,86 US$1,9m5,72k
678,8 %±2,2pp0,16 US$71s6,25k
778,7 %--0,50 US$5,8m22k
878,3 %±1,0pp0,074 US$1,6m21,5k
978,2 %±1,5pp0,47 US$1,9m6,97k
1077,9 %±1,5pp0,015 US$6,3m21,7k
1177,5 %±2,4pp0,17 US$9,4m35,6k
1277,5 %±2,6pp0,066 US$4,3m14,2k
1377,3 %±2,7pp0,10 US$4,8m21,8k
1477,3 %±3,3pp0,057 US$1,9m6,56k
1577,2 %±0,8pp0,19 US$3,6m17,1k
1677,0 %±2,3pp0,15 US$14,2m32,4k
1777,0 %±0,3pp0,35 US$3,0m12,7k
1876,9 %±2,1pp0,062 US$3,8m13,1k
1976,8 %±2,1pp0,49 US$2,1m8,04k
2076,8 %±4,3pp0,068 US$16,2m44,2k
2176,7 %±0,0pp1,28 US$1,6m5,71k
2276,4 %±2,2pp0,43 US$89s5,55k
2376,1 %±2,7pp0,54 US$2,9m10,7k
2476,0 %±3,1pp0,11 US$14,6m24,2k
25
digitalocean
76,0 %--0,016 US$42s1,76k
2675,9 %±1,5pp0,21 US$5,2m10,2k
2775,7 %±1,0pp0,088 US$73s8,72k
2875,7 %±2,5pp0,038 US$3,3m13,6k
2975,6 %±3,2pp0,031 US$6,7m11,7k
3075,6 %±5,1pp0,080 US$11,8m47,6k
3175,6 %±1,9pp0,009 US$2,0m5,38k
3275,3 %±2,7pp0,17 US$2,5m22,9k
3375,3 %±0,7pp0,33 US$4,0m12k
3475,3 %±1,7pp0,34 US$1,9m7,04k
3575,3 %--0,30 US$3,0m13,6k
36
Amazon Bedrock
75,3 %--0,29 US$3,4m11,2k
3775,1 %±2,8pp0,033 US$3,7m35,2k
3875,0 %±0,3pp0,29 US$2,9m10,4k
3974,9 %±3,1pp0,20 US$1,9m7,74k
4074,8 %±2,0pp0,19 US$4,8m11,6k
4174,8 %±2,0pp0,030 US$3,3m18,7k
4274,1 %±2,5pp0,026 US$2,2m9,51k
4374,1 %±2,5pp0,51 US$3,2m10,1k
4474,1 %±3,5pp0,044 US$3,0m9,39k
4574,0 %±2,7pp0,33 US$3,3m11,6k
4673,9 %±2,8pp0,077 US$2,0m8,78k
4773,9 %±2,9pp0,25 US$4,4m10,6k
4873,7 %±2,5pp0,043 US$10,2m16,2k
4973,7 %±1,0pp0,48 US$2,1m7,21k
5073,6 %±3,5pp0,031 US$8,0m15,4k
5173,4 %±5,1pp0,009 US$4,1m16k
5273,4 %±4,5pp0,033 US$20,1m52,9k
5373,3 %±2,7pp0,13 US$1,8m5,15k
5473,3 %±2,0pp0,12 US$2,6m19,7k
5573,3 %--0,027 US$1,7m4,21k
5673,2 %±4,1pp0,010 US$6,9m14,4k
5773,1 %±1,9pp0,063 US$3,9m12,5k
5873,1 %±3,0pp0,012 US$3,6m14,7k
5973,0 %±0,3pp0,063 US$8,1m14,5k
6072,9 %±1,7pp0,033 US$2,2m14,6k
6172,8 %±4,1pp0,012 US$86s10,7k
6272,7 %--2,91 US$5,5m12,4k
6372,7 %±2,7pp0,43 US$3,3m31,3k
6472,3 %±0,3pp0,11 US$83s3,74k
6572,3 %±1,0pp0,029 US$3,0m35k
6672,3 %±8,6pp0,040 US$4,5m22,5k
6772,2 %±3,0pp0,33 US$3,5m10,4k
6872,1 %±2,3pp0,060 US$5,6m10k
6972,0 %--0,40 US$3,3m16,3k
7071,9 %±1,4pp0,053 US$6,4m9,36k
7171,7 %±3,8pp0,10 US$3,6m10,1k
7271,7 %±1,0pp0,13 US$8,9m57k
7371,3 %±0,0pp0,080 US$2,3m42,7k
7471,3 %--0,017 US$5,5m17,2k
7571,3 %--0,21 US$4,4m27,6k
7670,9 %±2,9pp0,047 US$1,7m8,39k
7770,9 %±1,3pp0,027 US$3,9m10,5k
7870,7 %--0,005 US$2,7m17k
7970,7 %--0,71 US$4,8m22,9k
8070,3 %±0,3pp0,085 US$5,8m32,9k
8170,3 %--0,054 US$6,6m20,7k
8270,0 %--0,30 US$2,1m8,5k
83
digitalocean
70,0 %--0,004 US$49s1,57k
8470,0 %--0,003 US$1,6m17,1k
8570,0 %±3,3pp0,056 US$5,7m9,28k
8670,0 %--0,10 US$2,4m3,64k
8769,7 %±1,0pp0,013 US$1,9m5,14k
8869,3 %--0,13 US$1,6m4,98k
8969,3 %--0,028 US$3,5m14,9k
9068,7 %--0,002 US$78s11,7k
9168,5 %±4,8pp0,014 US$5,8m20,2k
9268,4 %±1,6pp0,064 US$61s4,74k
9368,0 %--0,79 US$2,1m9,36k
9468,0 %--0,58 US$2,4m3,73k
9567,7 %±3,0pp0,022 US$4,3m10,2k
9667,3 %±2,7pp0,63 US$12,2m54,9k
9767,3 %--0,009 US$2,0m8,9k
9867,2 %±2,8pp0,080 US$81s3,53k
9966,7 %--0,039 US$5,2m32k
10066,7 %±0,7pp0,013 US$3,0m13,3k
10166,7 %±1,3pp0,089 US$1,8m12,9k
10266,7 %±1,3pp0,008 US$3,7m8,88k
10366,0 %--0,075 US$3,7m15k
10465,7 %±2,7pp0,12 US$2,0m12,6k
10565,6 %±1,9pp0,017 US$5,2m22,8k
10665,2 %±3,6pp0,011 US$9,1m18,1k
10764,7 %±2,7pp0,030 US$2,0m16k
10863,3 %--0,043 US$3,3m26,8k
10963,2 %--0,97 US$4,2m73k
11062,7 %--0,12 US$10,6m26,8k
11161,3 %±2,5pp0,047 US$1,7m4,74k
11260,7 %--0,032 US$5,6m8,85k
11360,7 %±2,7pp0,047 US$3,5m3,67k
11458,3 %--0,015 US$13,9m38,6k
11558,0 %±2,7pp0,21 US$3,0m12,1k
11656,7 %±0,7pp0,029 US$75s7,7k
11753,7 %±1,9pp0,015 US$17,4m62,2k
11853,4 %--0,012 US$1,6m16,6k
11951,8 %±2,7pp0,028 US$7,4m58,3k
12049,5 %±3,8pp0,17 US$35,3m40k
12148,3 %±3,7pp0,041 US$11,2m93,9k
12248,0 %--0,011 US$80s3,76k
12347,7 %±1,7pp0,13 US$53s2,67k
12447,0 %--0,036 US$7,3m20,9k
12547,0 %±1,0pp0,020 US$13,8m18,4k
12646,2 %±1,9pp0,038 US$61s2,73k
12746,2 %±2,3pp0,024 US$1,8m3,75k
12846,0 %--0,011 US$87s9,09k
12945,0 %±0,3pp0,080 US$14,0m21,3k
13044,3 %±1,0pp0,023 US$59s2,33k
13144,0 %±0,7pp0,031 US$11,3m16,7k
13243,0 %±17,2pp0,075 US$9,8m9,59k
13342,7 %±0,7pp0,21 US$52s2,19k
13442,3 %±1,7pp0,070 US$4,2m2,64k
13541,7 %±3,0pp0,20 US$53s2,09k
13640,0 %±1,4pp0,082 US$8,3m14,2k
13739,8 %±1,8pp0,069 US$5,3m7,31k
13838,4 %±0,8pp0,027 US$3,7m4,47k
13937,8 %±13,1pp0,019 US$3,9m3,25k
14035,6 %±2,4pp0,078 US$3,5m7,3k
14133,6 %±4,6pp0,057 US$73s1,33k
14232,7 %--0,029 US$2,2m3,41k
14330,7 %±0,7pp0,018 US$55s3,41k
14425,6 %±5,5pp0,005 US$19s2,05k
14524,0 %±3,3pp0,073 US$11,0m5,32k
14611,0 %±1,0pp0,007 US$64s2,31k

Por qué realizamos esta prueba de rendimiento

Es una prueba de rendimiento de llamadas a herramientas difícil de manipular. La puntuación depende de secuencias de llamadas a herramientas en vivo en lugar de respuestas memorizadas, por lo que resiste mejor la filtración de datos de entrenamiento que las evaluaciones de preguntas y respuestas. Pone a prueba todos los modos de fallo de las llamadas a herramientas (argumentos incorrectos, comprobaciones de políticas omitidas, abandono, confirmaciones alucinadas) con un coste relativamente bajo por ejecución. Las puntuaciones relativas también aportan más información que las absolutas. Un mismo modelo puede obtener puntuaciones distintas según el proveedor, y esas diferencias son las que el enrutamiento Exacto utiliza para elegir endpoints con mayor precisión.

Cada tarea es una conversación simulada de atención al cliente de una aerolínea con un usuario programado, un conjunto de herramientas (búsqueda de vuelos, cambios de reservas, reembolsos, políticas de fidelización) y una solución de referencia validada. Una tarea solo se supera si el estado final de la base de datos y los mensajes al usuario coinciden con la referencia; no se otorgan puntos parciales.

Lo que las puntuaciones pueden y no pueden indicar

Todavía hay margen de mejora. Los mejores modelos fallan aproximadamente en una de cada cinco tareas, y el dominio de las aerolíneas es la partición más difícil de τ²-Bench. Las diferencias de precisión aquí distinguen a los modelos que siguen políticas de varios pasos de los que simplemente conversan bien.

Sin embargo, el nivel mínimo es alto. Muchas tareas recompensan la inacción. Una tarea de rechazo con una lista vacía de acciones de referencia se considera superada por cualquier agente que no cambie nada. Incluso los modelos menos capaces obtienen puntuaciones muy superiores a cero, por lo que las diferencias significativas se concentran en la parte superior del rango.

La prueba de referencia es pública, por lo que las tareas pueden aparecer en los corpus de entrenamiento. Sin embargo, la contaminación infla menos las puntuaciones aquí que en las evaluaciones de preguntas y respuestas, ya que una tarea filtrada aún debe ejecutarse correctamente, paso a paso, sobre una base de datos activa.

La fidelidad de la puntuación tiene límites. El verificador comprueba dos cosas: el hash final de la base de datos y las coincidencias exactas de subcadenas en los mensajes del agente. Las afirmaciones en lenguaje natural de cada tarea («el agente debe rechazar la cancelación») son metadatos, y ningún modelo juez lee la transcripción. Por tanto, un cálculo de ahorro falla si el agente dice «$23,552.50» cuando el verificador busca «23553» con grep.

El simulador de usuario también importa. Lo fijamos en gemini-2.5-flash para que las puntuaciones de los agentes sigan siendo comparables, pero el simulador es en sí mismo un LLM con sus propios modos de fallo. Puede detener la conversación antes de que el agente termine, revelar las instrucciones ocultas de su tarea o mantener a un agente atascado en un bucle hasta que el límite de 200 pasos termine la ejecución. Cambiar el modelo del simulador altera las puntuaciones absolutas, por lo que las cifras de τ²-Bench de distintos artículos rara vez coinciden exactamente.

Cómo se puntúa una tarea

Cada tarea incluye una solución de referencia: una lista de llamadas a herramientas, cadenas que el agente debe decir y afirmaciones en lenguaje natural. Una vez finalizada la conversación, el verificador reproduce las llamadas a herramientas de referencia en una base de datos nueva y compara sus hashes con los de la base de datos final del agente. A continuación, busca cada cadena requerida en los mensajes del agente. La recompensa es el producto de esas dos comprobaciones:

reward = db_match × communicate_met   // each ∈ {0, 1}
db_match        = hash(agent DB) == hash(gold DB)
communicate_met = every required string appears in an agent message
any run that hits MAX_STEPS instead of a clean stop scores 0 outright

Las trayectorias que se muestran a continuación proceden de ejecuciones reales, con gemini-2.5-flash como simulador de usuario en todas ellas.

recompensa = 1

Éxito: tres cambios en una solicitud, los tres se aplican

Tarea 17 agente: openai/gpt-5.1

Para la reserva FQ8APE: añada 3 maletas facturadas, cambie el pasajero a Omar Rossi y pase de clase económica básica a económica, pagando con una tarjeta regalo.

  • La base de datos debe coincidir con el estado de referencia: update_reservation_flights (mejora de categoría a clase económica), update_reservation_passengers y update_reservation_baggages con los argumentos exactos
  • communicate_info está vacío, por lo que no se aplica ninguna comprobación de cadenas
db ✓
communicate ✓
USER_STOP

El agente buscó al usuario, encontró la reserva correcta entre varias, confirmó los cambios y el método de pago y, después, realizó las tres operaciones de escritura: cambio de pasajero, mejora de cabina y equipaje. Los hashes finales de la base de datos coinciden con el estado de referencia y la ejecución termina en USER_STOP, por lo que la recompensa es 1. Esto es lo que la evaluación está diseñada para medir: el uso correcto de herramientas en varios pasos sujeto a restricciones de políticas.

Metodología

Las puntuaciones agregan las ejecuciones exitosas de los últimos 90 días, ponderadas por el número de tareas, con un mínimo de 45 tareas evaluadas por par de modelo y proveedor. La puntuación principal de un modelo usa su enrutamiento predeterminado (sin fijarlo a un proveedor) cuando existe; de lo contrario, recurre al proveedor con la puntuación mediana. La desviación estándar se mide entre las ejecuciones de ese resultado representativo. Las cifras de costo, tiempo y tókenes son promedios por tarea de las mismas ejecuciones. La mejor relación calidad-precio corresponde al modelo óptimo de Pareto más barato cuya puntuación se sitúa a no más de 5 puntos de la puntuación más alta.

Estas son las mismas mediciones que utiliza el enrutamiento de Exacto. Consulte la documentación para saber cómo funciona el enrutamiento, o explore todos los modelos para probar uno.

Acceso a la API

Estas puntuaciones están disponibles a través de la API pública de evaluaciones comparativas de OpenRouter, por lo que puede obtener los mismos resultados por modelo de forma programática.

GET https://dynamicsinfo.com/api/v1/benchmarks?source=openrouter
Authorization: Bearer <API key>

Use task_type=agentic para filtrar por tau_bench_verified_airline. Cada elemento representa un modelo e incluye accuracy, accuracy_stddev, avg_cost_per_task, total_tasks y last_run_timestamp. Consulte la documentación de la API de pruebas de rendimiento.

Descargar y citar

Se publica una instantánea de esta clasificación en el conjunto de datos abierto benchmark-leaderboard (filtre por la columna benchmark ), que se regenera daily sin necesidad de una clave de API. La instantánea actual se generó el . Se distribuye bajo la licencia CC BY 4.0, por lo que puede reutilizarlo y volver a publicarlo con atribución a OpenRouter.

Las definiciones de las columnas, la metodología y las reglas de enmascaramiento están en el README del conjunto de datos.

Citar esta clasificación

OpenRouter (2026). τ²-Bench: resultados de aerolíneas en OpenRouter, instantánea del 2026-11-16. https://dynamicsinfo.com/benchmarks/tau2-bench-airline. Bajo licencia CC BY 4.0.

Preguntas frecuentes