Todos os testes de desempenho

τ²-Bench: Companhia aérea

τ²-Bench Airline testa se um modelo consegue realizar o trabalho de um agente de atendimento de uma companhia aérea: seguir um manual de políticas, conversar com um cliente simulado e chamar as ferramentas certas para pesquisar voos, alterar reservas e emitir reembolsos. O modelo não precisa de nenhum conhecimento do domínio; sua pontuação depende inteiramente da qualidade da execução de chamadas de ferramentas ao longo de trajetórias de tarefas com várias etapas. Executamos esse teste continuamente nos mesmos endpoints de provedores que atendem ao tráfego do OpenRouter, de modo que a pontuação reflete tanto o modelo quanto o provedor que o executa. Usamos esse teste de desempenho porque ele tem um patamar mínimo alto, permitindo avaliar a variação entre provedores, e não a capacidade do modelo. Nosso algoritmo de roteamento para solicitações de chamadas de ferramentas usa esses mesmos sinais para enviar o tráfego aos endpoints com melhor desempenho.

Última execução da avaliação comparativa

Qual modelo lidera a avaliação de desempenho τ²-Bench Airline?

OpenAI: GPT-5.1 lidera o τ²-Bench Airline com 80,0% em 15 de nov. de 2026, 01:00 UTC. As tarefas de Airline, a política, a configuração do simulador e do cliente, o limite de etapas e a avaliação são mantidos fixos entre os endpoints de produção dos provedores, de modo que os resultados exibidos comparam os modelos e os provedores que os servem sob as mesmas condições de avaliação.

Erros em chamadas de ferramentas antes → depois do Auto Exacto

3,9% → 1,4%

Taxa de erro em chamadas de ferramentas nos modelos inscritos no Auto Exacto, a otimização automática de provedores do OpenRouter para solicitações com chamadas de ferramentas.

Comparação de modelos

Mais preciso

Melhor custo-benefício

Favicon de xiaomi
Xiaomi: MiMo-V2.6-Flash

US$ 0,015/tarefa

Acurácia
Acurácia da execução representativa, da melhor para a pior.
Custo por tarefa
Custo médio por tarefa avaliada, do menor para o maior.
Tempo por tarefa
Tempo médio decorrido por tarefa, dos mais rápidos aos mais lentos; agentes que entram em loop ou ficam parados demoram mais.

Eficiência de custos

Precisão vs. custo (fronteira de Pareto)
Um ponto por modelo, usando o roteamento padrão (sem fixar um provedor) quando disponível. A linha é a fronteira de Pareto: nenhum modelo supera esses modelos tanto em precisão quanto em custo.

Confiabilidade das chamadas de ferramentas

Classificação

As linhas de nível superior usam o roteamento padrão quando disponível; clique em uma linha para expandir os resultados com provedor fixado.

Classificação do τ²-Bench Airline: precisão dos modelos, custo, tempo e tokens de saída por tarefa, por provedor
#ModeloDesvio padrão
180,0%±0,0ppUS$ 0,398,0m34,1k
279,3%--US$ 0,03110,6m16,7k
379,2%±1,3ppUS$ 0,721,9m6,9k
479,1%±1,8ppUS$ 0,2112,8m32,4k
579,0%±2,6ppUS$ 0,861,9m5,72k
678,8%±2,2ppUS$ 0,1671s6,25k
778,7%--US$ 0,505,8m22k
878,3%±1,0ppUS$ 0,0741,6m21,5k
978,2%±1,5ppUS$ 0,471,9m6,97k
1077,9%±1,5ppUS$ 0,0156,3m21,7k
1177,5%±2,4ppUS$ 0,179,4m35,6k
1277,5%±2,6ppUS$ 0,0664,3m14,2k
1377,3%±2,7ppUS$ 0,104,8m21,8k
1477,3%±3,3ppUS$ 0,0571,9m6,56k
1577,2%±0,8ppUS$ 0,193,6m17,1k
1677,0%±2,3ppUS$ 0,1514,2m32,4k
1777,0%±0,3ppUS$ 0,353,0m12,7k
1876,9%±2,1ppUS$ 0,0623,8m13,1k
1976,8%±2,1ppUS$ 0,492,1m8,04k
2076,8%±4,3ppUS$ 0,06816,2m44,2k
2176,7%±0,0ppUS$ 1,281,6m5,71k
2276,4%±2,2ppUS$ 0,4389s5,55k
2376,1%±2,7ppUS$ 0,542,9m10,7k
2476,0%±3,1ppUS$ 0,1114,6m24,2k
25
digitalocean
76,0%--US$ 0,01642s1,76k
2675,9%±1,5ppUS$ 0,215,2m10,2k
2775,7%±1,0ppUS$ 0,08873s8,72k
2875,7%±2,5ppUS$ 0,0383,3m13,6k
2975,6%±3,2ppUS$ 0,0316,7m11,7k
3075,6%±5,1ppUS$ 0,08011,8m47,6k
3175,6%±1,9ppUS$ 0,0092,0m5,38k
3275,3%±2,7ppUS$ 0,172,5m22,9k
3375,3%±0,7ppUS$ 0,334,0m12k
3475,3%±1,7ppUS$ 0,341,9m7,04k
3575,3%--US$ 0,303,0m13,6k
36
Amazon Bedrock
75,3%--US$ 0,293,4m11,2k
3775,1%±2,8ppUS$ 0,0333,7m35,2k
3875,0%±0,3ppUS$ 0,292,9m10,4k
3974,9%±3,1ppUS$ 0,201,9m7,74k
4074,8%±2,0ppUS$ 0,194,8m11,6k
4174,8%±2,0ppUS$ 0,0303,3m18,7k
4274,1%±2,5ppUS$ 0,0262,2m9,51k
4374,1%±2,5ppUS$ 0,513,2m10,1k
4474,1%±3,5ppUS$ 0,0443,0m9,39k
4574,0%±2,7ppUS$ 0,333,3m11,6k
4673,9%±2,8ppUS$ 0,0772,0m8,78k
4773,9%±2,9ppUS$ 0,254,4m10,6k
4873,7%±2,5ppUS$ 0,04310,2m16,2k
4973,7%±1,0ppUS$ 0,482,1m7,21k
5073,6%±3,5ppUS$ 0,0318,0m15,4k
5173,4%±5,1ppUS$ 0,0094,1m16k
5273,4%±4,5ppUS$ 0,03320,1m52,9k
5373,3%±2,7ppUS$ 0,131,8m5,15k
5473,3%±2,0ppUS$ 0,122,6m19,7k
5573,3%--US$ 0,0271,7m4,21k
5673,2%±4,1ppUS$ 0,0106,9m14,4k
5773,1%±1,9ppUS$ 0,0633,9m12,5k
5873,1%±3,0ppUS$ 0,0123,6m14,7k
5973,0%±0,3ppUS$ 0,0638,1m14,5k
6072,9%±1,7ppUS$ 0,0332,2m14,6k
6172,8%±4,1ppUS$ 0,01286s10,7k
6272,7%--US$ 2,915,5m12,4k
6372,7%±2,7ppUS$ 0,433,3m31,3k
6472,3%±0,3ppUS$ 0,1183s3,74k
6572,3%±1,0ppUS$ 0,0293,0m35k
6672,3%±8,6ppUS$ 0,0404,5m22,5k
6772,2%±3,0ppUS$ 0,333,5m10,4k
6872,1%±2,3ppUS$ 0,0605,6m10k
6972,0%--US$ 0,403,3m16,3k
7071,9%±1,4ppUS$ 0,0536,4m9,36k
7171,7%±3,8ppUS$ 0,103,6m10,1k
7271,7%±1,0ppUS$ 0,138,9m57k
7371,3%±0,0ppUS$ 0,0802,3m42,7k
7471,3%--US$ 0,0175,5m17,2k
7571,3%--US$ 0,214,4m27,6k
7670,9%±2,9ppUS$ 0,0471,7m8,39k
7770,9%±1,3ppUS$ 0,0273,9m10,5k
7870,7%--US$ 0,0052,7m17k
7970,7%--US$ 0,714,8m22,9k
8070,3%±0,3ppUS$ 0,0855,8m32,9k
8170,3%--US$ 0,0546,6m20,7k
8270,0%--US$ 0,302,1m8,5k
83
digitalocean
70,0%--US$ 0,00449s1,57k
8470,0%--US$ 0,0031,6m17,1k
8570,0%±3,3ppUS$ 0,0565,7m9,28k
8670,0%--US$ 0,102,4m3,64k
8769,7%±1,0ppUS$ 0,0131,9m5,14k
8869,3%--US$ 0,131,6m4,98k
8969,3%--US$ 0,0283,5m14,9k
9068,7%--US$ 0,00278s11,7k
9168,5%±4,8ppUS$ 0,0145,8m20,2k
9268,4%±1,6ppUS$ 0,06461s4,74k
9368,0%--US$ 0,792,1m9,36k
9468,0%--US$ 0,582,4m3,73k
9567,7%±3,0ppUS$ 0,0224,3m10,2k
9667,3%±2,7ppUS$ 0,6312,2m54,9k
9767,3%--US$ 0,0092,0m8,9k
9867,2%±2,8ppUS$ 0,08081s3,53k
9966,7%--US$ 0,0395,2m32k
10066,7%±0,7ppUS$ 0,0133,0m13,3k
10166,7%±1,3ppUS$ 0,0891,8m12,9k
10266,7%±1,3ppUS$ 0,0083,7m8,88k
10366,0%--US$ 0,0753,7m15k
10465,7%±2,7ppUS$ 0,122,0m12,6k
10565,6%±1,9ppUS$ 0,0175,2m22,8k
10665,2%±3,6ppUS$ 0,0119,1m18,1k
10764,7%±2,7ppUS$ 0,0302,0m16k
10863,3%--US$ 0,0433,3m26,8k
10963,2%--US$ 0,974,2m73k
11062,7%--US$ 0,1210,6m26,8k
11161,3%±2,5ppUS$ 0,0471,7m4,74k
11260,7%--US$ 0,0325,6m8,85k
11360,7%±2,7ppUS$ 0,0473,5m3,67k
11458,3%--US$ 0,01513,9m38,6k
11558,0%±2,7ppUS$ 0,213,0m12,1k
11656,7%±0,7ppUS$ 0,02975s7,7k
11753,7%±1,9ppUS$ 0,01517,4m62,2k
11853,4%--US$ 0,0121,6m16,6k
11951,8%±2,7ppUS$ 0,0287,4m58,3k
12049,5%±3,8ppUS$ 0,1735,3m40k
12148,3%±3,7ppUS$ 0,04111,2m93,9k
12248,0%--US$ 0,01180s3,76k
12347,7%±1,7ppUS$ 0,1353s2,67k
12447,0%--US$ 0,0367,3m20,9k
12547,0%±1,0ppUS$ 0,02013,8m18,4k
12646,2%±1,9ppUS$ 0,03861s2,73k
12746,2%±2,3ppUS$ 0,0241,8m3,75k
12846,0%--US$ 0,01187s9,09k
12945,0%±0,3ppUS$ 0,08014,0m21,3k
13044,3%±1,0ppUS$ 0,02359s2,33k
13144,0%±0,7ppUS$ 0,03111,3m16,7k
13243,0%±17,2ppUS$ 0,0759,8m9,59k
13342,7%±0,7ppUS$ 0,2152s2,19k
13442,3%±1,7ppUS$ 0,0704,2m2,64k
13541,7%±3,0ppUS$ 0,2053s2,09k
13640,0%±1,4ppUS$ 0,0828,3m14,2k
13739,8%±1,8ppUS$ 0,0695,3m7,31k
13838,4%±0,8ppUS$ 0,0273,7m4,47k
13937,8%±13,1ppUS$ 0,0193,9m3,25k
14035,6%±2,4ppUS$ 0,0783,5m7,3k
14133,6%±4,6ppUS$ 0,05773s1,33k
14232,7%--US$ 0,0292,2m3,41k
14330,7%±0,7ppUS$ 0,01855s3,41k
14425,6%±5,5ppUS$ 0,00519s2,05k
14524,0%±3,3ppUS$ 0,07311,0m5,32k
14611,0%±1,0ppUS$ 0,00764s2,31k

Por que executamos esta avaliação comparativa

É um teste de desempenho de chamadas de ferramentas difícil de manipular. A avaliação depende de trajetórias reais de chamadas de ferramentas em vez de respostas memorizadas, por isso resiste melhor ao vazamento de dados de treinamento do que avaliações de perguntas e respostas. Ele testa todos os modos de falha em chamadas de ferramentas (argumentos incorretos, verificações de políticas ignoradas, desistência, confirmações alucinadas) a um custo relativamente baixo por execução. As pontuações relativas também fornecem mais informações do que as absolutas. O mesmo modelo pode obter pontuações diferentes entre provedores, e essas diferenças são o que o roteamento Exacto usa para escolher endpoints de maior precisão.

Cada tarefa é uma conversa simulada de atendimento de uma companhia aérea com um usuário seguindo um roteiro, um conjunto de ferramentas (busca de voos, alterações de reservas, reembolsos, políticas de fidelidade) e uma solução de referência ideal. Uma tarefa só é aprovada se o estado final do banco de dados e as mensagens ao usuário corresponderem à referência; não há pontuação parcial.

O que as pontuações podem e não podem indicar

Ainda há margem para melhorias. Os melhores modelos falham em aproximadamente uma a cada cinco tarefas, e o domínio de companhias aéreas é a subdivisão mais difícil do τ²-Bench. As diferenças de precisão aqui separam os modelos que seguem políticas de várias etapas daqueles que apenas conversam bem.

O patamar mínimo, porém, é alto. Muitas tarefas recompensam a inação. Uma tarefa de recusa com uma lista vazia de ações de referência é aprovada para qualquer agente que não altere nada. Até modelos fracos pontuam bem acima de zero, então a diferença significativa fica no topo da faixa.

O teste de desempenho é público, então as tarefas podem aparecer em conjuntos de dados de treinamento. No entanto, a contaminação infla menos as pontuações aqui do que em avaliações de perguntas e respostas, pois uma tarefa vazada ainda precisa ser executada corretamente, passo a passo, em um banco de dados ativo.

A fidelidade da pontuação tem limites. O verificador verifica duas coisas: o hash final do banco de dados e correspondências exatas de substrings nas mensagens do agente. As asserções em linguagem natural de cada tarefa ("o agente deve recusar o cancelamento") são metadados, e nenhum modelo avaliador lê a transcrição. Portanto, um cálculo de economia falha se o agente diz "$23,552.50" quando o verificador busca "23553".

O simulador de usuário também importa. Nós o fixamos em gemini-2.5-flash para que as pontuações dos agentes permaneçam comparáveis, mas o simulador é, ele próprio, um LLM com seus próprios modos de falha. Ele pode encerrar a conversa antes que o agente termine, vazar suas instruções de tarefa ocultas ou manter um agente travado em repetição até que o limite de 200 etapas encerre a execução. Trocar o modelo do simulador altera as pontuações absolutas, razão pela qual os números do τ²-Bench em diferentes artigos raramente coincidem exatamente.

Como uma tarefa é pontuada

Cada tarefa inclui uma solução de referência: uma lista de chamadas de ferramentas, strings que o agente deve dizer e asserções em linguagem natural. Após o término da conversa, o verificador reproduz as chamadas de ferramentas da solução de referência em um banco de dados novo e compara os hashes com o banco de dados final do agente. Em seguida, busca cada string obrigatória nas mensagens do agente. A recompensa é o produto dessas duas verificações:

reward = db_match × communicate_met   // each ∈ {0, 1}
db_match        = hash(agent DB) == hash(gold DB)
communicate_met = every required string appears in an agent message
any run that hits MAX_STEPS instead of a clean stop scores 0 outright

As trajetórias abaixo são de execuções reais, com gemini-2.5-flash como simulador de usuário durante todo o processo.

recompensa = 1

Sucesso: três alterações em uma solicitação, todas as três aplicadas

Tarefa 17 agente: openai/gpt-5.1

Para a reserva FQ8APE: adicione 3 malas despachadas, altere o passageiro para Omar Rossi e faça o upgrade da classe econômica básica para a econômica, pagando com um cartão-presente.

  • O banco de dados deve corresponder ao estado de referência: update_reservation_flights (upgrade na classe econômica), update_reservation_passengers e update_reservation_baggages com argumentos exatos
  • communicate_info está vazio, portanto nenhuma verificação de string se aplica
db ✓
communicate ✓
USER_STOP

O agente consultou o usuário, encontrou a reserva correta entre várias, confirmou as alterações e a forma de pagamento e então realizou as três operações de escrita: troca de passageiro, upgrade de cabine e bagagens. Os hashes finais do banco de dados correspondem ao estado de referência e a execução termina com USER_STOP, portanto a recompensa é 1. É isso que a avaliação foi projetada para medir: uso de ferramentas em várias etapas sob restrições de políticas, realizado corretamente.

Metodologia

As pontuações agregam execuções bem-sucedidas dos últimos 90 dias, ponderadas pela quantidade de tarefas, com um mínimo de 45 tarefas avaliadas por par modelo-provedor. A pontuação principal de um modelo usa seu roteamento padrão (sem fixar um provedor) quando disponível; caso contrário, usa o provedor mediano como alternativa. O desvio padrão é medido entre as execuções desse resultado representativo. Os valores de custo, tempo e tokens são médias por tarefa das mesmas execuções. O melhor custo-benefício é o modelo ótimo de Pareto mais barato a até 5 pontos da maior pontuação.

Estas são as mesmas medições que alimentam o roteamento Exacto. Consulte a documentação para saber como funciona o roteamento ou explore todos os modelos para experimentar um deles.

Acesso à API

Essas pontuações estão disponíveis pela API pública de avaliações comparativas do OpenRouter, para que você possa obter os mesmos resultados por modelo de forma programática.

GET https://dynamicsinfo.com/api/v1/benchmarks?source=openrouter
Authorization: Bearer <API key>

Use task_type=agentic para filtrar por tau_bench_verified_airline. Cada item representa um modelo e inclui accuracy, accuracy_stddev, avg_cost_per_task, total_tasks e last_run_timestamp. Consulte a documentação da API de avaliações comparativas.

Baixar e citar

Um retrato desta classificação é publicado no conjunto de dados aberto benchmark-leaderboard (filtrar usando benchmark como coluna), regenerado daily sem necessidade de chave de API. O retrato atual foi gerado em . Está licenciado sob CC BY 4.0, então você pode reutilizá-lo e republicá-lo com atribuição ao OpenRouter.

As definições das colunas, a metodologia e as regras de mascaramento estão no README do conjunto de dados.

Citar esta classificação

OpenRouter (2026). τ²-Bench: resultados de companhias aéreas no OpenRouter, versão de 2026-11-16. https://dynamicsinfo.com/benchmarks/tau2-bench-airline. Licenciado sob CC BY 4.0.

Perguntas frequentes