Tous les tests de référence

τ²-Bench: Airline

τ²-Bench Airline teste si un modèle peut effectuer le travail d’un agent d’assistance d’une compagnie aérienne : suivre un manuel de procédures, dialoguer avec un client simulé et appeler les bons outils pour rechercher des vols, modifier des réservations et émettre des remboursements. Le modèle n’a besoin d’aucune connaissance du domaine ; son score dépend entièrement de sa capacité à exécuter des appels d’outils dans des parcours de tâches à plusieurs étapes. Nous l’exécutons en continu sur les mêmes points de terminaison de fournisseurs que ceux qui traitent le trafic OpenRouter, de sorte qu’un score reflète à la fois le modèle et le fournisseur qui l’exécute. Nous utilisons ce test d’évaluation parce que son niveau de performance minimal est élevé, ce qui nous permet d’évaluer les écarts entre fournisseurs plutôt que les capacités du modèle. Notre algorithme de routage des requêtes d’appels d’outils utilise ces mêmes signaux pour diriger le trafic vers les points de terminaison les plus performants.

Dernière exécution de l’évaluation comparative

Quel modèle arrive en tête de l’évaluation comparative τ²-Bench Airline ?

OpenAI: GPT-5.1 arrive en tête de τ²-Bench Airline avec 80,0 % au 15 nov. 2026, 01:00 UTC. Les tâches liées au transport aérien, la politique, la configuration du simulateur et du client, le budget d’étapes et la notation restent identiques sur les points de terminaison des fournisseurs en production, de sorte que les résultats affichés comparent les modèles et les fournisseurs qui les servent dans les mêmes conditions d’évaluation.

Erreurs d’appel d’outil avant → après Auto Exacto

3,9 % → 1,4 %

Taux d’erreur des appels d’outils sur les modèles inscrits à Auto Exacto, l’optimisation automatique des fournisseurs d’OpenRouter pour les requêtes d’appel d’outils.

Comparaison des modèles

Le plus précis

Meilleur rapport qualité-prix

Favicon de xiaomi
Xiaomi: MiMo-V2.6-Flash

0,015 $US/tâche

Exactitude
Exactitude de l’exécution représentative, de la meilleure à la moins bonne.
Coût par tâche
Coût moyen par tâche évaluée, du moins cher au plus cher.
Temps par tâche
Temps réel moyen par tâche, du plus rapide au plus lent ; les agents qui tournent en boucle ou se bloquent prennent plus de temps.

Efficacité économique

Précision et coût (frontière de Pareto)
Un point par modèle, avec le routage par défaut (sans fournisseur imposé) lorsqu’il est disponible. La ligne représente la frontière de Pareto : aucun modèle ne surpasse ceux-ci à la fois en précision et en coût.

Fiabilité des appels d’outils

Classement

Les lignes de premier niveau utilisent le routage par défaut lorsqu’il est disponible ; cliquez sur une ligne pour afficher les résultats avec un fournisseur imposé.

Classement τ²-Bench Airline : précision des modèles, coût, durée et jetons de sortie par tâche et par fournisseur
#ModèleÉcart-type
180,0 %±0,0points de pourcentage0,39 $US8,0m34,1k
279,3 %--0,031 $US10,6m16,7k
379,2 %±1,3points de pourcentage0,72 $US1,9m6,9k
479,1 %±1,8points de pourcentage0,21 $US12,8m32,4k
579,0 %±2,6points de pourcentage0,86 $US1,9m5,72k
678,8 %±2,2points de pourcentage0,16 $US71s6,25k
778,7 %--0,50 $US5,8m22k
878,3 %±1,0points de pourcentage0,074 $US1,6m21,5k
978,2 %±1,5points de pourcentage0,47 $US1,9m6,97k
1077,9 %±1,5points de pourcentage0,015 $US6,3m21,7k
1177,5 %±2,4points de pourcentage0,17 $US9,4m35,6k
1277,5 %±2,6points de pourcentage0,066 $US4,3m14,2k
1377,3 %±2,7points de pourcentage0,10 $US4,8m21,8k
1477,3 %±3,3points de pourcentage0,057 $US1,9m6,56k
1577,2 %±0,8points de pourcentage0,19 $US3,6m17,1k
1677,0 %±2,3points de pourcentage0,15 $US14,2m32,4k
1777,0 %±0,3points de pourcentage0,35 $US3,0m12,7k
1876,9 %±2,1points de pourcentage0,062 $US3,8m13,1k
1976,8 %±2,1points de pourcentage0,49 $US2,1m8,04k
2076,8 %±4,3points de pourcentage0,068 $US16,2m44,2k
2176,7 %±0,0points de pourcentage1,28 $US1,6m5,71k
2276,4 %±2,2points de pourcentage0,43 $US89s5,55k
2376,1 %±2,7points de pourcentage0,54 $US2,9m10,7k
2476,0 %±3,1points de pourcentage0,11 $US14,6m24,2k
25
digitalocean
76,0 %--0,016 $US42s1,76k
2675,9 %±1,5points de pourcentage0,21 $US5,2m10,2k
2775,7 %±1,0points de pourcentage0,088 $US73s8,72k
2875,7 %±2,5points de pourcentage0,038 $US3,3m13,6k
2975,6 %±3,2points de pourcentage0,031 $US6,7m11,7k
3075,6 %±5,1points de pourcentage0,080 $US11,8m47,6k
3175,6 %±1,9points de pourcentage0,009 $US2,0m5,38k
3275,3 %±2,7points de pourcentage0,17 $US2,5m22,9k
3375,3 %±0,7points de pourcentage0,33 $US4,0m12k
3475,3 %±1,7points de pourcentage0,34 $US1,9m7,04k
3575,3 %--0,30 $US3,0m13,6k
36
Amazon Bedrock
75,3 %--0,29 $US3,4m11,2k
3775,1 %±2,8points de pourcentage0,033 $US3,7m35,2k
3875,0 %±0,3points de pourcentage0,29 $US2,9m10,4k
3974,9 %±3,1points de pourcentage0,20 $US1,9m7,74k
4074,8 %±2,0points de pourcentage0,19 $US4,8m11,6k
4174,8 %±2,0points de pourcentage0,030 $US3,3m18,7k
4274,1 %±2,5points de pourcentage0,026 $US2,2m9,51k
4374,1 %±2,5points de pourcentage0,51 $US3,2m10,1k
4474,1 %±3,5points de pourcentage0,044 $US3,0m9,39k
4574,0 %±2,7points de pourcentage0,33 $US3,3m11,6k
4673,9 %±2,8points de pourcentage0,077 $US2,0m8,78k
4773,9 %±2,9points de pourcentage0,25 $US4,4m10,6k
4873,7 %±2,5points de pourcentage0,043 $US10,2m16,2k
4973,7 %±1,0points de pourcentage0,48 $US2,1m7,21k
5073,6 %±3,5points de pourcentage0,031 $US8,0m15,4k
5173,4 %±5,1points de pourcentage0,009 $US4,1m16k
5273,4 %±4,5points de pourcentage0,033 $US20,1m52,9k
5373,3 %±2,7points de pourcentage0,13 $US1,8m5,15k
5473,3 %±2,0points de pourcentage0,12 $US2,6m19,7k
5573,3 %--0,027 $US1,7m4,21k
5673,2 %±4,1points de pourcentage0,010 $US6,9m14,4k
5773,1 %±1,9points de pourcentage0,063 $US3,9m12,5k
5873,1 %±3,0points de pourcentage0,012 $US3,6m14,7k
5973,0 %±0,3points de pourcentage0,063 $US8,1m14,5k
6072,9 %±1,7points de pourcentage0,033 $US2,2m14,6k
6172,8 %±4,1points de pourcentage0,012 $US86s10,7k
6272,7 %--2,91 $US5,5m12,4k
6372,7 %±2,7points de pourcentage0,43 $US3,3m31,3k
6472,3 %±0,3points de pourcentage0,11 $US83s3,74k
6572,3 %±1,0points de pourcentage0,029 $US3,0m35k
6672,3 %±8,6points de pourcentage0,040 $US4,5m22,5k
6772,2 %±3,0points de pourcentage0,33 $US3,5m10,4k
6872,1 %±2,3points de pourcentage0,060 $US5,6m10k
6972,0 %--0,40 $US3,3m16,3k
7071,9 %±1,4points de pourcentage0,053 $US6,4m9,36k
7171,7 %±3,8points de pourcentage0,10 $US3,6m10,1k
7271,7 %±1,0points de pourcentage0,13 $US8,9m57k
7371,3 %±0,0points de pourcentage0,080 $US2,3m42,7k
7471,3 %--0,017 $US5,5m17,2k
7571,3 %--0,21 $US4,4m27,6k
7670,9 %±2,9points de pourcentage0,047 $US1,7m8,39k
7770,9 %±1,3points de pourcentage0,027 $US3,9m10,5k
7870,7 %--0,005 $US2,7m17k
7970,7 %--0,71 $US4,8m22,9k
8070,3 %±0,3points de pourcentage0,085 $US5,8m32,9k
8170,3 %--0,054 $US6,6m20,7k
8270,0 %--0,30 $US2,1m8,5k
83
digitalocean
70,0 %--0,004 $US49s1,57k
8470,0 %--0,003 $US1,6m17,1k
8570,0 %±3,3points de pourcentage0,056 $US5,7m9,28k
8670,0 %--0,10 $US2,4m3,64k
8769,7 %±1,0points de pourcentage0,013 $US1,9m5,14k
8869,3 %--0,13 $US1,6m4,98k
8969,3 %--0,028 $US3,5m14,9k
9068,7 %--0,002 $US78s11,7k
9168,5 %±4,8points de pourcentage0,014 $US5,8m20,2k
9268,4 %±1,6points de pourcentage0,064 $US61s4,74k
9368,0 %--0,79 $US2,1m9,36k
9468,0 %--0,58 $US2,4m3,73k
9567,7 %±3,0points de pourcentage0,022 $US4,3m10,2k
9667,3 %±2,7points de pourcentage0,63 $US12,2m54,9k
9767,3 %--0,009 $US2,0m8,9k
9867,2 %±2,8points de pourcentage0,080 $US81s3,53k
9966,7 %--0,039 $US5,2m32k
10066,7 %±0,7points de pourcentage0,013 $US3,0m13,3k
10166,7 %±1,3points de pourcentage0,089 $US1,8m12,9k
10266,7 %±1,3points de pourcentage0,008 $US3,7m8,88k
10366,0 %--0,075 $US3,7m15k
10465,7 %±2,7points de pourcentage0,12 $US2,0m12,6k
10565,6 %±1,9points de pourcentage0,017 $US5,2m22,8k
10665,2 %±3,6points de pourcentage0,011 $US9,1m18,1k
10764,7 %±2,7points de pourcentage0,030 $US2,0m16k
10863,3 %--0,043 $US3,3m26,8k
10963,2 %--0,97 $US4,2m73k
11062,7 %--0,12 $US10,6m26,8k
11161,3 %±2,5points de pourcentage0,047 $US1,7m4,74k
11260,7 %--0,032 $US5,6m8,85k
11360,7 %±2,7points de pourcentage0,047 $US3,5m3,67k
11458,3 %--0,015 $US13,9m38,6k
11558,0 %±2,7points de pourcentage0,21 $US3,0m12,1k
11656,7 %±0,7points de pourcentage0,029 $US75s7,7k
11753,7 %±1,9points de pourcentage0,015 $US17,4m62,2k
11853,4 %--0,012 $US1,6m16,6k
11951,8 %±2,7points de pourcentage0,028 $US7,4m58,3k
12049,5 %±3,8points de pourcentage0,17 $US35,3m40k
12148,3 %±3,7points de pourcentage0,041 $US11,2m93,9k
12248,0 %--0,011 $US80s3,76k
12347,7 %±1,7points de pourcentage0,13 $US53s2,67k
12447,0 %--0,036 $US7,3m20,9k
12547,0 %±1,0points de pourcentage0,020 $US13,8m18,4k
12646,2 %±1,9points de pourcentage0,038 $US61s2,73k
12746,2 %±2,3points de pourcentage0,024 $US1,8m3,75k
12846,0 %--0,011 $US87s9,09k
12945,0 %±0,3points de pourcentage0,080 $US14,0m21,3k
13044,3 %±1,0points de pourcentage0,023 $US59s2,33k
13144,0 %±0,7points de pourcentage0,031 $US11,3m16,7k
13243,0 %±17,2points de pourcentage0,075 $US9,8m9,59k
13342,7 %±0,7points de pourcentage0,21 $US52s2,19k
13442,3 %±1,7points de pourcentage0,070 $US4,2m2,64k
13541,7 %±3,0points de pourcentage0,20 $US53s2,09k
13640,0 %±1,4points de pourcentage0,082 $US8,3m14,2k
13739,8 %±1,8points de pourcentage0,069 $US5,3m7,31k
13838,4 %±0,8points de pourcentage0,027 $US3,7m4,47k
13937,8 %±13,1points de pourcentage0,019 $US3,9m3,25k
14035,6 %±2,4points de pourcentage0,078 $US3,5m7,3k
14133,6 %±4,6points de pourcentage0,057 $US73s1,33k
14232,7 %--0,029 $US2,2m3,41k
14330,7 %±0,7points de pourcentage0,018 $US55s3,41k
14425,6 %±5,5points de pourcentage0,005 $US19s2,05k
14524,0 %±3,3points de pourcentage0,073 $US11,0m5,32k
14611,0 %±1,0points de pourcentage0,007 $US64s2,31k

Pourquoi nous réalisons cette évaluation comparative

Il s’agit d’un test de référence d’appel d’outils difficile à déjouer. La notation repose sur des trajectoires réelles d’appels d’outils plutôt que sur des réponses mémorisées, ce qui le rend plus résistant aux fuites de données d’entraînement que les évaluations de type questions-réponses. Il teste tous les modes d’échec des appels d’outils (arguments incorrects, vérifications de politique omises, abandon, confirmations hallucinées) à un coût relativement faible par exécution. Les scores relatifs fournissent également davantage d’informations que les scores absolus. Un même modèle peut obtenir des scores différents selon les fournisseurs, et ces écarts sont ce que le routage Exacto utilise pour sélectionner les points de terminaison offrant une meilleure précision.

Chaque tâche est une conversation simulée avec le service client d’une compagnie aérienne, comprenant un utilisateur scénarisé, une boîte à outils (recherche de vols, modifications de réservation, remboursements, politiques de fidélité) et une solution de référence validée. Une tâche n’est réussie que si l’état final de la base de données et les messages adressés à l’utilisateur correspondent à la référence ; aucun point partiel n’est accordé.

Ce que les scores peuvent et ne peuvent pas vous dire

Il reste une marge de progression. Les meilleurs modèles échouent dans environ une tâche sur cinq, et le domaine aérien est le sous-ensemble le plus difficile de τ²-Bench. Les différences de précision distinguent ici les modèles qui suivent des politiques à plusieurs étapes de ceux qui se contentent de bien converser.

Le score plancher est toutefois élevé. De nombreuses tâches récompensent l’inaction. Une tâche de refus dont la liste d’actions de référence est vide est réussie par tout agent qui ne change rien. Même les modèles faibles obtiennent des scores bien supérieurs à zéro, si bien que les écarts significatifs se situent en haut de la plage.

Le banc d’essai est public, ses tâches peuvent donc figurer dans les corpus d’entraînement. La contamination gonfle toutefois moins les scores ici que dans les évaluations de type questions-réponses, puisqu’une tâche divulguée doit tout de même être exécutée correctement, étape par étape, sur une base de données active.

La fidélité de la notation a ses limites. Le vérificateur contrôle deux éléments : le hachage final de la base de données et les correspondances exactes de sous-chaînes dans les messages de l’agent. Les assertions en langage naturel de chaque tâche (« l’agent doit refuser l’annulation ») sont des métadonnées, et aucun modèle juge ne lit la transcription. Ainsi, un calcul d’économies échoue si l’agent indique « $23,552.50 » alors que le vérificateur recherche « 23553 ».

Le simulateur d’utilisateur compte aussi. Nous le fixons à gemini-2.5-flash pour que les scores des agents restent comparables, mais le simulateur est lui-même un LLM avec ses propres modes de défaillance. Il peut interrompre la conversation avant que l’agent ait terminé, divulguer les instructions cachées de sa tâche ou laisser un agent bloqué tourner en boucle jusqu’à ce que le plafond de 200 étapes mette fin à l’exécution. Changer le modèle du simulateur modifie les scores absolus, ce qui explique pourquoi les résultats τ²-Bench de différentes publications concordent rarement exactement.

Comment une tâche est évaluée

Chaque tâche est fournie avec une solution de référence : une liste d’appels d’outils, des chaînes que l’agent doit prononcer et des assertions en langage naturel. Une fois la conversation terminée, le vérificateur rejoue les appels d’outils de référence sur une nouvelle base de données et compare les empreintes avec celles de la base de données finale de l’agent. Il recherche ensuite chaque chaîne requise dans les messages de l’agent. La récompense est le produit de ces deux vérifications :

reward = db_match × communicate_met   // each ∈ {0, 1}
db_match        = hash(agent DB) == hash(gold DB)
communicate_met = every required string appears in an agent message
any run that hits MAX_STEPS instead of a clean stop scores 0 outright

Les déroulements ci-dessous proviennent d’exécutions réelles, avec gemini-2.5-flash comme simulateur d’utilisateur tout au long de celles-ci.

récompense = 1

Réussite : trois modifications dans une seule requête, toutes les trois appliquées

Tâche 17 agent : openai/gpt-5.1

Pour la réservation FQ8APE : ajoutez 3 bagages en soute, remplacez le passager par Omar Rossi et passez de la classe économique de base à la classe économique, en payant avec une carte-cadeau.

  • La base de données doit correspondre à l’état de référence : update_reservation_flights (surclassement en classe économique), update_reservation_passengers et update_reservation_baggages avec les arguments exacts
  • communicate_info est vide, donc aucune vérification de chaîne ne s’applique
db ✓
communicate ✓
USER_STOP

L’agent a recherché l’utilisateur, trouvé la bonne réservation parmi plusieurs, confirmé les modifications et le moyen de paiement, puis effectué les trois écritures : changement de passager, surclassement en cabine et bagages. Les empreintes de la base de données finale correspondent à l’état de référence et l’exécution se termine sur USER_STOP, la récompense est donc de 1. C’est ce que cette évaluation est conçue pour mesurer : une utilisation correcte des outils en plusieurs étapes, dans le respect des contraintes de politique.

Méthodologie

Les scores agrègent les exécutions réussies des derniers 90 jours, pondérées par le nombre de tâches, avec un minimum de 45 tâches évaluées par paire modèle-fournisseur. Le score principal d’un modèle utilise son routage par défaut (sans fournisseur imposé) lorsqu’il existe ; sinon, il utilise le fournisseur médian. L’écart-type est mesuré sur l’ensemble des exécutions correspondant à ce résultat représentatif. Les chiffres de coût, de temps et de jetons sont des moyennes par tâche issues des mêmes exécutions. Le meilleur rapport qualité-prix correspond au modèle optimal au sens de Pareto le moins cher dont le score se situe à 5 points au plus du meilleur score.

Ce sont les mêmes mesures qui alimentent le routage Exacto. Consultez la documentation pour comprendre le fonctionnement du routage, ou parcourez tous les modèles pour en essayer un.

Accès à l’API

Ces scores sont disponibles via l’API publique d’OpenRouter dédiée aux évaluations comparatives, ce qui vous permet de récupérer les mêmes résultats par modèle de manière programmatique.

GET https://dynamicsinfo.com/api/v1/benchmarks?source=openrouter
Authorization: Bearer <API key>

Utilisez task_type=agentic pour filtrer sur tau_bench_verified_airline. Chaque élément représente un modèle et comprend accuracy, accuracy_stddev, avg_cost_per_task, total_tasks, ainsi que last_run_timestamp. Consultez la documentation de l’API des évaluations.

Télécharger et citer

Un instantané de ce classement est publié dans le jeu de données ouvert benchmark-leaderboard (filtrez sur la colonne benchmark ), régénéré daily sans qu’aucune clé API soit requise. L’instantané actuel a été généré le . Il est distribué sous licence CC BY 4.0, vous pouvez donc le réutiliser et le republier en mentionnant OpenRouter.

Les définitions des colonnes, la méthodologie et les règles de masquage figurent dans le README du jeu de données.

Citer ce classement

OpenRouter (2026). τ²-Bench : résultats du secteur aérien sur OpenRouter, instantané du 2026-11-16. https://dynamicsinfo.com/benchmarks/tau2-bench-airline. Sous licence CC BY 4.0.

Questions fréquentes