τ²-Bench: Aerolíneas
τ²-Bench Airline evalúa si un modelo puede realizar el trabajo de un agente de atención al cliente de una aerolínea: seguir un manual de políticas, hablar con un cliente simulado y llamar a las herramientas adecuadas para buscar vuelos, cambiar reservas y emitir reembolsos. El modelo no necesita conocimientos del sector; su puntuación se basa íntegramente en lo bien que ejecuta las llamadas a herramientas a lo largo de secuencias de tareas de varios pasos. Lo ejecutamos continuamente en los mismos endpoints de proveedores que atienden el tráfico de OpenRouter, por lo que la puntuación refleja tanto el modelo como el proveedor que lo ejecuta. Utilizamos esta prueba de rendimiento porque tiene un nivel mínimo alto, lo que nos permite evaluar la variabilidad entre proveedores y no la capacidad del modelo. Nuestro algoritmo de enrutamiento para solicitudes de llamadas a herramientas utiliza estas mismas señales para enviar el tráfico a los endpoints con mejor rendimiento.
Última ejecución de la evaluación comparativa
¿Qué modelo lidera la prueba de rendimiento τ²-Bench Airline?
OpenAI: GPT-5.1 lidera τ²-Bench Airline con 80,0 % a fecha de 15 nov 2026, 1:00 UTC. Las tareas de Airline, la política, la configuración del simulador y del cliente, el presupuesto de pasos y la evaluación se mantienen constantes en todos los endpoints de proveedores en producción, por lo que los resultados mostrados comparan los modelos y los proveedores que los sirven en las mismas condiciones de evaluación.
3,9 % → 1,4 %
Comparación de modelos
Mayor precisión
80,0 %
Mejor relación calidad-precio
0,015 US$/tarea
Más rápido
Eficiencia de costes
Fiabilidad de las llamadas a herramientas
Clasificación
Las filas de nivel superior usan el enrutamiento predeterminado cuando está disponible; haga clic en una fila para desplegar los resultados con proveedor fijo.
| # | Modelo | Desv. estándar | ||||
|---|---|---|---|---|---|---|
| 1 | 80,0 % | ±0,0pp | 0,39 US$ | 8,0m | 34,1k | |
| 2 | 79,3 % | -- | 0,031 US$ | 10,6m | 16,7k | |
| 3 | 79,2 % | ±1,3pp | 0,72 US$ | 1,9m | 6,9k | |
| 4 | 79,1 % | ±1,8pp | 0,21 US$ | 12,8m | 32,4k | |
| 5 | 79,0 % | ±2,6pp | 0,86 US$ | 1,9m | 5,72k | |
| 6 | 78,8 % | ±2,2pp | 0,16 US$ | 71s | 6,25k | |
| 7 | Google | 78,7 % | -- | 0,50 US$ | 5,8m | 22k |
| 8 | 78,3 % | ±1,0pp | 0,074 US$ | 1,6m | 21,5k | |
| 9 | 78,2 % | ±1,5pp | 0,47 US$ | 1,9m | 6,97k | |
| 10 | 77,9 % | ±1,5pp | 0,015 US$ | 6,3m | 21,7k | |
| 11 | 77,5 % | ±2,4pp | 0,17 US$ | 9,4m | 35,6k | |
| 12 | 77,5 % | ±2,6pp | 0,066 US$ | 4,3m | 14,2k | |
| 13 | 77,3 % | ±2,7pp | 0,10 US$ | 4,8m | 21,8k | |
| 14 | 77,3 % | ±3,3pp | 0,057 US$ | 1,9m | 6,56k | |
| 15 | Google | 77,2 % | ±0,8pp | 0,19 US$ | 3,6m | 17,1k |
| 16 | 77,0 % | ±2,3pp | 0,15 US$ | 14,2m | 32,4k | |
| 17 | 77,0 % | ±0,3pp | 0,35 US$ | 3,0m | 12,7k | |
| 18 | 76,9 % | ±2,1pp | 0,062 US$ | 3,8m | 13,1k | |
| 19 | 76,8 % | ±2,1pp | 0,49 US$ | 2,1m | 8,04k | |
| 20 | 76,8 % | ±4,3pp | 0,068 US$ | 16,2m | 44,2k | |
| 21 | 76,7 % | ±0,0pp | 1,28 US$ | 1,6m | 5,71k | |
| 22 | 76,4 % | ±2,2pp | 0,43 US$ | 89s | 5,55k | |
| 23 | 76,1 % | ±2,7pp | 0,54 US$ | 2,9m | 10,7k | |
| 24 | 76,0 % | ±3,1pp | 0,11 US$ | 14,6m | 24,2k | |
| 25 | digitalocean | 76,0 % | -- | 0,016 US$ | 42s | 1,76k |
| 26 | 75,9 % | ±1,5pp | 0,21 US$ | 5,2m | 10,2k | |
| 27 | 75,7 % | ±1,0pp | 0,088 US$ | 73s | 8,72k | |
| 28 | 75,7 % | ±2,5pp | 0,038 US$ | 3,3m | 13,6k | |
| 29 | 75,6 % | ±3,2pp | 0,031 US$ | 6,7m | 11,7k | |
| 30 | 75,6 % | ±5,1pp | 0,080 US$ | 11,8m | 47,6k | |
| 31 | 75,6 % | ±1,9pp | 0,009 US$ | 2,0m | 5,38k | |
| 32 | 75,3 % | ±2,7pp | 0,17 US$ | 2,5m | 22,9k | |
| 33 | 75,3 % | ±0,7pp | 0,33 US$ | 4,0m | 12k | |
| 34 | 75,3 % | ±1,7pp | 0,34 US$ | 1,9m | 7,04k | |
| 35 | OpenAI | 75,3 % | -- | 0,30 US$ | 3,0m | 13,6k |
| 36 | Amazon Bedrock | 75,3 % | -- | 0,29 US$ | 3,4m | 11,2k |
| 37 | 75,1 % | ±2,8pp | 0,033 US$ | 3,7m | 35,2k | |
| 38 | 75,0 % | ±0,3pp | 0,29 US$ | 2,9m | 10,4k | |
| 39 | 74,9 % | ±3,1pp | 0,20 US$ | 1,9m | 7,74k | |
| 40 | 74,8 % | ±2,0pp | 0,19 US$ | 4,8m | 11,6k | |
| 41 | 74,8 % | ±2,0pp | 0,030 US$ | 3,3m | 18,7k | |
| 42 | 74,1 % | ±2,5pp | 0,026 US$ | 2,2m | 9,51k | |
| 43 | 74,1 % | ±2,5pp | 0,51 US$ | 3,2m | 10,1k | |
| 44 | 74,1 % | ±3,5pp | 0,044 US$ | 3,0m | 9,39k | |
| 45 | 74,0 % | ±2,7pp | 0,33 US$ | 3,3m | 11,6k | |
| 46 | 73,9 % | ±2,8pp | 0,077 US$ | 2,0m | 8,78k | |
| 47 | 73,9 % | ±2,9pp | 0,25 US$ | 4,4m | 10,6k | |
| 48 | 73,7 % | ±2,5pp | 0,043 US$ | 10,2m | 16,2k | |
| 49 | 73,7 % | ±1,0pp | 0,48 US$ | 2,1m | 7,21k | |
| 50 | 73,6 % | ±3,5pp | 0,031 US$ | 8,0m | 15,4k | |
| 51 | 73,4 % | ±5,1pp | 0,009 US$ | 4,1m | 16k | |
| 52 | 73,4 % | ±4,5pp | 0,033 US$ | 20,1m | 52,9k | |
| 53 | 73,3 % | ±2,7pp | 0,13 US$ | 1,8m | 5,15k | |
| 54 | 73,3 % | ±2,0pp | 0,12 US$ | 2,6m | 19,7k | |
| 55 | Novita | 73,3 % | -- | 0,027 US$ | 1,7m | 4,21k |
| 56 | 73,2 % | ±4,1pp | 0,010 US$ | 6,9m | 14,4k | |
| 57 | 73,1 % | ±1,9pp | 0,063 US$ | 3,9m | 12,5k | |
| 58 | 73,1 % | ±3,0pp | 0,012 US$ | 3,6m | 14,7k | |
| 59 | 73,0 % | ±0,3pp | 0,063 US$ | 8,1m | 14,5k | |
| 60 | 72,9 % | ±1,7pp | 0,033 US$ | 2,2m | 14,6k | |
| 61 | 72,8 % | ±4,1pp | 0,012 US$ | 86s | 10,7k | |
| 62 | 72,7 % | -- | 2,91 US$ | 5,5m | 12,4k | |
| 63 | 72,7 % | ±2,7pp | 0,43 US$ | 3,3m | 31,3k | |
| 64 | 72,3 % | ±0,3pp | 0,11 US$ | 83s | 3,74k | |
| 65 | 72,3 % | ±1,0pp | 0,029 US$ | 3,0m | 35k | |
| 66 | 72,3 % | ±8,6pp | 0,040 US$ | 4,5m | 22,5k | |
| 67 | 72,2 % | ±3,0pp | 0,33 US$ | 3,5m | 10,4k | |
| 68 | 72,1 % | ±2,3pp | 0,060 US$ | 5,6m | 10k | |
| 69 | AtlasCloud | 72,0 % | -- | 0,40 US$ | 3,3m | 16,3k |
| 70 | 71,9 % | ±1,4pp | 0,053 US$ | 6,4m | 9,36k | |
| 71 | 71,7 % | ±3,8pp | 0,10 US$ | 3,6m | 10,1k | |
| 72 | 71,7 % | ±1,0pp | 0,13 US$ | 8,9m | 57k | |
| 73 | 71,3 % | ±0,0pp | 0,080 US$ | 2,3m | 42,7k | |
| 74 | Alibaba | 71,3 % | -- | 0,017 US$ | 5,5m | 17,2k |
| 75 | 71,3 % | -- | 0,21 US$ | 4,4m | 27,6k | |
| 76 | 70,9 % | ±2,9pp | 0,047 US$ | 1,7m | 8,39k | |
| 77 | 70,9 % | ±1,3pp | 0,027 US$ | 3,9m | 10,5k | |
| 78 | 70,7 % | -- | 0,005 US$ | 2,7m | 17k | |
| 79 | 70,7 % | -- | 0,71 US$ | 4,8m | 22,9k | |
| 80 | 70,3 % | ±0,3pp | 0,085 US$ | 5,8m | 32,9k | |
| 81 | Alibaba | 70,3 % | -- | 0,054 US$ | 6,6m | 20,7k |
| 82 | 70,0 % | -- | 0,30 US$ | 2,1m | 8,5k | |
| 83 | digitalocean | 70,0 % | -- | 0,004 US$ | 49s | 1,57k |
| 84 | 70,0 % | -- | 0,003 US$ | 1,6m | 17,1k | |
| 85 | 70,0 % | ±3,3pp | 0,056 US$ | 5,7m | 9,28k | |
| 86 | 70,0 % | -- | 0,10 US$ | 2,4m | 3,64k | |
| 87 | 69,7 % | ±1,0pp | 0,013 US$ | 1,9m | 5,14k | |
| 88 | 69,3 % | -- | 0,13 US$ | 1,6m | 4,98k | |
| 89 | 69,3 % | -- | 0,028 US$ | 3,5m | 14,9k | |
| 90 | 68,7 % | -- | 0,002 US$ | 78s | 11,7k | |
| 91 | 68,5 % | ±4,8pp | 0,014 US$ | 5,8m | 20,2k | |
| 92 | 68,4 % | ±1,6pp | 0,064 US$ | 61s | 4,74k | |
| 93 | 68,0 % | -- | 0,79 US$ | 2,1m | 9,36k | |
| 94 | 68,0 % | -- | 0,58 US$ | 2,4m | 3,73k | |
| 95 | 67,7 % | ±3,0pp | 0,022 US$ | 4,3m | 10,2k | |
| 96 | 67,3 % | ±2,7pp | 0,63 US$ | 12,2m | 54,9k | |
| 97 | 67,3 % | -- | 0,009 US$ | 2,0m | 8,9k | |
| 98 | 67,2 % | ±2,8pp | 0,080 US$ | 81s | 3,53k | |
| 99 | 66,7 % | -- | 0,039 US$ | 5,2m | 32k | |
| 100 | 66,7 % | ±0,7pp | 0,013 US$ | 3,0m | 13,3k | |
| 101 | 66,7 % | ±1,3pp | 0,089 US$ | 1,8m | 12,9k | |
| 102 | 66,7 % | ±1,3pp | 0,008 US$ | 3,7m | 8,88k | |
| 103 | 66,0 % | -- | 0,075 US$ | 3,7m | 15k | |
| 104 | 65,7 % | ±2,7pp | 0,12 US$ | 2,0m | 12,6k | |
| 105 | 65,6 % | ±1,9pp | 0,017 US$ | 5,2m | 22,8k | |
| 106 | 65,2 % | ±3,6pp | 0,011 US$ | 9,1m | 18,1k | |
| 107 | 64,7 % | ±2,7pp | 0,030 US$ | 2,0m | 16k | |
| 108 | 63,3 % | -- | 0,043 US$ | 3,3m | 26,8k | |
| 109 | Google | 63,2 % | -- | 0,97 US$ | 4,2m | 73k |
| 110 | 62,7 % | -- | 0,12 US$ | 10,6m | 26,8k | |
| 111 | 61,3 % | ±2,5pp | 0,047 US$ | 1,7m | 4,74k | |
| 112 | 60,7 % | -- | 0,032 US$ | 5,6m | 8,85k | |
| 113 | 60,7 % | ±2,7pp | 0,047 US$ | 3,5m | 3,67k | |
| 114 | DeepInfra | 58,3 % | -- | 0,015 US$ | 13,9m | 38,6k |
| 115 | 58,0 % | ±2,7pp | 0,21 US$ | 3,0m | 12,1k | |
| 116 | 56,7 % | ±0,7pp | 0,029 US$ | 75s | 7,7k | |
| 117 | 53,7 % | ±1,9pp | 0,015 US$ | 17,4m | 62,2k | |
| 118 | 53,4 % | -- | 0,012 US$ | 1,6m | 16,6k | |
| 119 | 51,8 % | ±2,7pp | 0,028 US$ | 7,4m | 58,3k | |
| 120 | 49,5 % | ±3,8pp | 0,17 US$ | 35,3m | 40k | |
| 121 | 48,3 % | ±3,7pp | 0,041 US$ | 11,2m | 93,9k | |
| 122 | DeepInfra | 48,0 % | -- | 0,011 US$ | 80s | 3,76k |
| 123 | 47,7 % | ±1,7pp | 0,13 US$ | 53s | 2,67k | |
| 124 | DeepInfra | 47,0 % | -- | 0,036 US$ | 7,3m | 20,9k |
| 125 | 47,0 % | ±1,0pp | 0,020 US$ | 13,8m | 18,4k | |
| 126 | 46,2 % | ±1,9pp | 0,038 US$ | 61s | 2,73k | |
| 127 | 46,2 % | ±2,3pp | 0,024 US$ | 1,8m | 3,75k | |
| 128 | Mistral | 46,0 % | -- | 0,011 US$ | 87s | 9,09k |
| 129 | 45,0 % | ±0,3pp | 0,080 US$ | 14,0m | 21,3k | |
| 130 | 44,3 % | ±1,0pp | 0,023 US$ | 59s | 2,33k | |
| 131 | DeepInfra | 44,0 % | ±0,7pp | 0,031 US$ | 11,3m | 16,7k |
| 132 | 43,0 % | ±17,2pp | 0,075 US$ | 9,8m | 9,59k | |
| 133 | 42,7 % | ±0,7pp | 0,21 US$ | 52s | 2,19k | |
| 134 | 42,3 % | ±1,7pp | 0,070 US$ | 4,2m | 2,64k | |
| 135 | OpenAI | 41,7 % | ±3,0pp | 0,20 US$ | 53s | 2,09k |
| 136 | 40,0 % | ±1,4pp | 0,082 US$ | 8,3m | 14,2k | |
| 137 | 39,8 % | ±1,8pp | 0,069 US$ | 5,3m | 7,31k | |
| 138 | 38,4 % | ±0,8pp | 0,027 US$ | 3,7m | 4,47k | |
| 139 | 37,8 % | ±13,1pp | 0,019 US$ | 3,9m | 3,25k | |
| 140 | 35,6 % | ±2,4pp | 0,078 US$ | 3,5m | 7,3k | |
| 141 | 33,6 % | ±4,6pp | 0,057 US$ | 73s | 1,33k | |
| 142 | PrimeIntellect | 32,7 % | -- | 0,029 US$ | 2,2m | 3,41k |
| 143 | OpenAI | 30,7 % | ±0,7pp | 0,018 US$ | 55s | 3,41k |
| 144 | 25,6 % | ±5,5pp | 0,005 US$ | 19s | 2,05k | |
| 145 | 24,0 % | ±3,3pp | 0,073 US$ | 11,0m | 5,32k | |
| 146 | 11,0 % | ±1,0pp | 0,007 US$ | 64s | 2,31k |
Por qué realizamos esta prueba de rendimiento
Es una prueba de rendimiento de llamadas a herramientas difícil de manipular. La puntuación depende de secuencias de llamadas a herramientas en vivo en lugar de respuestas memorizadas, por lo que resiste mejor la filtración de datos de entrenamiento que las evaluaciones de preguntas y respuestas. Pone a prueba todos los modos de fallo de las llamadas a herramientas (argumentos incorrectos, comprobaciones de políticas omitidas, abandono, confirmaciones alucinadas) con un coste relativamente bajo por ejecución. Las puntuaciones relativas también aportan más información que las absolutas. Un mismo modelo puede obtener puntuaciones distintas según el proveedor, y esas diferencias son las que el enrutamiento Exacto utiliza para elegir endpoints con mayor precisión.
Cada tarea es una conversación simulada de atención al cliente de una aerolínea con un usuario programado, un conjunto de herramientas (búsqueda de vuelos, cambios de reservas, reembolsos, políticas de fidelización) y una solución de referencia validada. Una tarea solo se supera si el estado final de la base de datos y los mensajes al usuario coinciden con la referencia; no se otorgan puntos parciales.
Lo que las puntuaciones pueden y no pueden indicar
Todavía hay margen de mejora. Los mejores modelos fallan aproximadamente en una de cada cinco tareas, y el dominio de las aerolíneas es la partición más difícil de τ²-Bench. Las diferencias de precisión aquí distinguen a los modelos que siguen políticas de varios pasos de los que simplemente conversan bien.
Sin embargo, el nivel mínimo es alto. Muchas tareas recompensan la inacción. Una tarea de rechazo con una lista vacía de acciones de referencia se considera superada por cualquier agente que no cambie nada. Incluso los modelos menos capaces obtienen puntuaciones muy superiores a cero, por lo que las diferencias significativas se concentran en la parte superior del rango.
La prueba de referencia es pública, por lo que las tareas pueden aparecer en los corpus de entrenamiento. Sin embargo, la contaminación infla menos las puntuaciones aquí que en las evaluaciones de preguntas y respuestas, ya que una tarea filtrada aún debe ejecutarse correctamente, paso a paso, sobre una base de datos activa.
La fidelidad de la puntuación tiene límites. El verificador comprueba dos cosas: el hash final de la base de datos y las coincidencias exactas de subcadenas en los mensajes del agente. Las afirmaciones en lenguaje natural de cada tarea («el agente debe rechazar la cancelación») son metadatos, y ningún modelo juez lee la transcripción. Por tanto, un cálculo de ahorro falla si el agente dice «$23,552.50» cuando el verificador busca «23553» con grep.
El simulador de usuario también importa. Lo fijamos en gemini-2.5-flash para que las puntuaciones de los agentes sigan siendo comparables, pero el simulador es en sí mismo un LLM con sus propios modos de fallo. Puede detener la conversación antes de que el agente termine, revelar las instrucciones ocultas de su tarea o mantener a un agente atascado en un bucle hasta que el límite de 200 pasos termine la ejecución. Cambiar el modelo del simulador altera las puntuaciones absolutas, por lo que las cifras de τ²-Bench de distintos artículos rara vez coinciden exactamente.
Cómo se puntúa una tarea
Cada tarea incluye una solución de referencia: una lista de llamadas a herramientas, cadenas que el agente debe decir y afirmaciones en lenguaje natural. Una vez finalizada la conversación, el verificador reproduce las llamadas a herramientas de referencia en una base de datos nueva y compara sus hashes con los de la base de datos final del agente. A continuación, busca cada cadena requerida en los mensajes del agente. La recompensa es el producto de esas dos comprobaciones:
reward = db_match × communicate_met // each ∈ {0, 1}
db_match = hash(agent DB) == hash(gold DB)
communicate_met = every required string appears in an agent message
any run that hits MAX_STEPS instead of a clean stop scores 0 outrightLas trayectorias que se muestran a continuación proceden de ejecuciones reales, con gemini-2.5-flash como simulador de usuario en todas ellas.
Éxito: tres cambios en una solicitud, los tres se aplican
Tarea 17 agente: openai/gpt-5.1
Para la reserva FQ8APE: añada 3 maletas facturadas, cambie el pasajero a Omar Rossi y pase de clase económica básica a económica, pagando con una tarjeta regalo.
- La base de datos debe coincidir con el estado de referencia: update_reservation_flights (mejora de categoría a clase económica), update_reservation_passengers y update_reservation_baggages con los argumentos exactos
- communicate_info está vacío, por lo que no se aplica ninguna comprobación de cadenas
El agente buscó al usuario, encontró la reserva correcta entre varias, confirmó los cambios y el método de pago y, después, realizó las tres operaciones de escritura: cambio de pasajero, mejora de cabina y equipaje. Los hashes finales de la base de datos coinciden con el estado de referencia y la ejecución termina en USER_STOP, por lo que la recompensa es 1. Esto es lo que la evaluación está diseñada para medir: el uso correcto de herramientas en varios pasos sujeto a restricciones de políticas.
Fallo: cancela una reserva que la política prohíbe
Tarea 0 agente: openai/gpt-4o-mini
Cancele la reserva EHGLP3. La reserva tiene más de 24 horas, es de clase económica básica y no tiene seguro de viaje, por lo que la política no permite la cancelación.
- La base de datos debe quedar sin modificaciones (la solución de referencia no realiza cambios)
- Aserción en lenguaje natural (sin comprobación automática): el agente debe rechazar la cancelación
El agente consultó la reserva, vio una tarifa de clase económica básica reservada hacía más de 24 horas sin seguro y la canceló de todos modos. Incluso prometió un reembolso de 208 $. El verificador compara la base de datos final con la base de datos de referencia (sin modificar), los hashes difieren y la recompensa es 0. El mismo modelo rechazó esta misma cancelación en una época diferente; la variabilidad del muestreo invierte el resultado.
Fallo: base de datos correcta, número incorrecto para el usuario
Tarea 18 agente: openai/gpt-4o-mini
Cambie las cinco reservas de clase ejecutiva a clase económica y luego indique el importe total ahorrado. El total correcto es de 23.553 dólares.
- La base de datos debe coincidir con el estado de referencia: 5 llamadas a update_reservation_flights con la cabina, los vuelos y los ID de pago exactos
- communicate_info: la cadena "23553" debe aparecer en un mensaje de un agente
El agente ejecutó correctamente las cinco rebajas de categoría y superó la comprobación de la base de datos. Después calculó el ahorro a partir de una lista parcial de tarifas e indicó al usuario 14.965 $ en lugar de 23.553 $. La comprobación de comunicación busca la cadena literal "23553" con grep en todos los mensajes del agente, no encuentra nada y asigna un cero a toda la tarea. Una respuesta aritmética incorrecta anuló cinco escrituras correctas en la base de datos.
Fallo: inventa argumentos de herramientas y luego repite en bucle la misma llamada rechazada
Tarea 11 agente: meta-llama/llama-3.1-8b-instruct
Elimine a la pasajera Sophia de la reserva GV1N64. La política prohíbe cambiar el número de pasajeros; lo correcto es pasar a ambos pasajeros a la tarifa económica básica y reembolsar 5.244 $.
- La base de datos debe coincidir con el estado de referencia: una llamada a update_reservation_flights que cambie a basic_economy
- communicate_info: la cadena "5244" debe aparecer en un mensaje del agente
La primera acción del agente es una operación de escritura con argumentos totalmente inventados: un ID de reserva que el usuario nunca proporcionó y un pasajero llamado «John Doe», nacido el 1990-01-01, que no figura en ningún dato. Tras encontrar la reserva real, envía update_reservation_passengers con un array de un pasajero para una reserva de dos pasajeros, recibe «el número de pasajeros no coincide» y vuelve a intentar la misma llamada cuatro veces más, llegando a inventar a «Sophia Smith, 1992-01-01» como segunda pasajera. Nunca consulta la política (está prohibido eliminar a un pasajero; la acción correcta es bajar la categoría de cabina), ofrece un reembolso inventado de 200 $ y ambas comprobaciones fallan. Los argumentos son JSON bien formado que el esquema de la herramienta acepta; simplemente no se corresponden con la realidad, por lo que los modelos pequeños pueden obtener buenos resultados en las métricas de llamadas a herramientas a nivel de esquema y aun así fallar en tareas como esta.
Fallo: reintenta la misma llamada defectuosa a una herramienta hasta que la ejecución termina abruptamente
Tarea 14 agente: openai/gpt-4o-mini
Vuelva a reservar el viaje de ida y vuelta más barato en clase ejecutiva y divida el pago entre tarjetas de regalo, un certificado y una tarjeta de crédito. El reparto correcto carga 44 $ a la tarjeta.
- La base de datos debe coincidir con el estado de referencia (cancelar + volver a reservar con la distribución exacta del pago)
- communicate_info: importes de tarjetas y certificados de regalo, y el cargo final a la tarjeta
El agente creó una reserva en la que los importes de los pagos no sumaban el precio del billete. La herramienta la rechazó con el mismo error cada vez, y el agente reintentó la misma llamada decenas de veces hasta que la ejecución alcanzó su límite de 200 pasos. Toda ejecución que termina por MAX_STEPS recibe una puntuación de 0 incluso antes de comparar la base de datos. Esta transcripción tiene 202 mensajes; el siguiente fragmento muestra el bucle.
Aprobar sin hacer nada: las tareas de rechazo recompensan la inacción
Tarea 0 agente: openai/gpt-4o-mini
La misma tarea que en el fallo por incumplimiento de la política: el usuario quiere cancelar EHGLP3 y la política no lo permite.
- La lista de acciones de referencia está vacía, por lo que la comprobación de la base de datos se supera siempre que no haya cambiado nada
- communicate_info está vacío, por lo que la comprobación de communicate se cumple por vacuidad
- La aserción en lenguaje natural («el agente debe negarse») es solo un metadato y nunca se comprueba automáticamente
Esta ejecución obtuvo un aprobado legítimo: el agente comprobó la reserva, citó la regla de 24 horas y se negó. Pero observe lo que realmente verificó el comprobador: una base de datos intacta y una lista communicate vacía. Un agente que bloqueara todas las solicitudes o transfiriera el caso a una persona de inmediato obtendría la misma puntuación. Las tareas de rechazo miden «si nada falló», por lo que inflan las puntuaciones de los modelos excesivamente cautelosos.
Metodología
Las puntuaciones agregan las ejecuciones exitosas de los últimos 90 días, ponderadas por el número de tareas, con un mínimo de 45 tareas evaluadas por par de modelo y proveedor. La puntuación principal de un modelo usa su enrutamiento predeterminado (sin fijarlo a un proveedor) cuando existe; de lo contrario, recurre al proveedor con la puntuación mediana. La desviación estándar se mide entre las ejecuciones de ese resultado representativo. Las cifras de costo, tiempo y tókenes son promedios por tarea de las mismas ejecuciones. La mejor relación calidad-precio corresponde al modelo óptimo de Pareto más barato cuya puntuación se sitúa a no más de 5 puntos de la puntuación más alta.
Estas son las mismas mediciones que utiliza el enrutamiento de Exacto. Consulte la documentación para saber cómo funciona el enrutamiento, o explore todos los modelos para probar uno.
Acceso a la API
Estas puntuaciones están disponibles a través de la API pública de evaluaciones comparativas de OpenRouter, por lo que puede obtener los mismos resultados por modelo de forma programática.
GET https://dynamicsinfo.com/api/v1/benchmarks?source=openrouter Authorization: Bearer <API key>
Use task_type=agentic para filtrar por tau_bench_verified_airline. Cada elemento representa un modelo e incluye accuracy, accuracy_stddev, avg_cost_per_task, total_tasks y last_run_timestamp. Consulte la documentación de la API de pruebas de rendimiento.
Descargar y citar
Se publica una instantánea de esta clasificación en el conjunto de datos abierto benchmark-leaderboard (filtre por la columna benchmark ), que se regenera daily sin necesidad de una clave de API. La instantánea actual se generó el . Se distribuye bajo la licencia CC BY 4.0, por lo que puede reutilizarlo y volver a publicarlo con atribución a OpenRouter.
- Descargar CSV (text/csv)
- Descargar JSON (application/json)
- Manifiesto de la instantánea (Sumas de verificación SHA-256 de los archivos anteriores)
- Manifiesto más reciente (alias modificable, actualizado a medida que se publican instantáneas)
Las definiciones de las columnas, la metodología y las reglas de enmascaramiento están en el README del conjunto de datos.
Citar esta clasificación
OpenRouter (2026). τ²-Bench: resultados de aerolíneas en OpenRouter, instantánea del 2026-11-16. https://dynamicsinfo.com/benchmarks/tau2-bench-airline. Bajo licencia CC BY 4.0.





