τ²-Bench: Airline
τ²-Bench Airline testet, ob ein Modell die Arbeit eines Supportmitarbeiters einer Fluggesellschaft erledigen kann: ein Richtlinienhandbuch befolgen, mit einem simulierten Kunden sprechen und die richtigen Tools aufrufen, um Flüge zu suchen, Buchungen zu ändern und Erstattungen zu veranlassen. Das Modell benötigt kein Fachwissen; es wird ausschließlich danach bewertet, wie gut es Tool-Aufrufe in mehrstufigen Aufgabenabläufen ausführt. Wir führen den Test kontinuierlich auf denselben Anbieter-Endpunkten aus, die den OpenRouter-Datenverkehr verarbeiten, sodass eine Bewertung sowohl das Modell als auch den Anbieter widerspiegelt, der es betreibt. Wir verwenden diesen Leistungstest, weil er ein hohes Mindestniveau aufweist, sodass wir Unterschiede zwischen Anbietern und nicht die Fähigkeiten des Modells bewerten können. Unser Routing-Algorithmus für Anfragen mit Tool-Aufrufen nutzt dieselben Signale, um den Datenverkehr an die leistungsstärksten Endpunkte zu leiten.
Letzter Vergleichstestlauf
Welches Modell führt im Leistungsvergleich τ²-Bench Airline?
OpenAI: GPT-5.1 führt τ²-Bench Airline mit 80,0 % zum Stand vom 15.11.2026, 01:00 UTC an. Airline-Aufgaben, Richtlinie, Simulator- und Kundenkonfiguration, Schrittbudget und Bewertung bleiben über alle produktiven Anbieter-Endpunkte hinweg gleich, sodass die angezeigten Ergebnisse Modelle und die sie bereitstellenden Anbieter unter denselben Evaluierungsbedingungen vergleichen.
3,9 % → 1,4 %
Modellvergleich
Am genauesten
80,0 %
Bestes Preis-Leistungs-Verhältnis
0,015 $/Aufgabe
Am schnellsten
Kosteneffizienz
Zuverlässigkeit von Tool-Aufrufen
Rangliste
Zeilen der obersten Ebene verwenden das Standard-Routing, sofern verfügbar; klicken Sie auf eine Zeile, um die Ergebnisse mit festgelegtem Anbieter aufzuklappen.
| # | Modell | Standardabw. | ||||
|---|---|---|---|---|---|---|
| 1 | 80,0 % | ±0,0Prozentpunkte | 0,39 $ | 8,0m | 34,1k | |
| 2 | 79,3 % | -- | 0,031 $ | 10,6m | 16,7k | |
| 3 | 79,2 % | ±1,3Prozentpunkte | 0,72 $ | 1,9m | 6,9k | |
| 4 | 79,1 % | ±1,8Prozentpunkte | 0,21 $ | 12,8m | 32,4k | |
| 5 | 79,0 % | ±2,6Prozentpunkte | 0,86 $ | 1,9m | 5,72k | |
| 6 | 78,8 % | ±2,2Prozentpunkte | 0,16 $ | 71s | 6,25k | |
| 7 | Google | 78,7 % | -- | 0,50 $ | 5,8m | 22k |
| 8 | 78,3 % | ±1,0Prozentpunkte | 0,074 $ | 1,6m | 21,5k | |
| 9 | 78,2 % | ±1,5Prozentpunkte | 0,47 $ | 1,9m | 6,97k | |
| 10 | 77,9 % | ±1,5Prozentpunkte | 0,015 $ | 6,3m | 21,7k | |
| 11 | 77,5 % | ±2,4Prozentpunkte | 0,17 $ | 9,4m | 35,6k | |
| 12 | 77,5 % | ±2,6Prozentpunkte | 0,066 $ | 4,3m | 14,2k | |
| 13 | 77,3 % | ±2,7Prozentpunkte | 0,10 $ | 4,8m | 21,8k | |
| 14 | 77,3 % | ±3,3Prozentpunkte | 0,057 $ | 1,9m | 6,56k | |
| 15 | Google | 77,2 % | ±0,8Prozentpunkte | 0,19 $ | 3,6m | 17,1k |
| 16 | 77,0 % | ±2,3Prozentpunkte | 0,15 $ | 14,2m | 32,4k | |
| 17 | 77,0 % | ±0,3Prozentpunkte | 0,35 $ | 3,0m | 12,7k | |
| 18 | 76,9 % | ±2,1Prozentpunkte | 0,062 $ | 3,8m | 13,1k | |
| 19 | 76,8 % | ±2,1Prozentpunkte | 0,49 $ | 2,1m | 8,04k | |
| 20 | 76,8 % | ±4,3Prozentpunkte | 0,068 $ | 16,2m | 44,2k | |
| 21 | 76,7 % | ±0,0Prozentpunkte | 1,28 $ | 1,6m | 5,71k | |
| 22 | 76,4 % | ±2,2Prozentpunkte | 0,43 $ | 89s | 5,55k | |
| 23 | 76,1 % | ±2,7Prozentpunkte | 0,54 $ | 2,9m | 10,7k | |
| 24 | 76,0 % | ±3,1Prozentpunkte | 0,11 $ | 14,6m | 24,2k | |
| 25 | digitalocean | 76,0 % | -- | 0,016 $ | 42s | 1,76k |
| 26 | 75,9 % | ±1,5Prozentpunkte | 0,21 $ | 5,2m | 10,2k | |
| 27 | 75,7 % | ±1,0Prozentpunkte | 0,088 $ | 73s | 8,72k | |
| 28 | 75,7 % | ±2,5Prozentpunkte | 0,038 $ | 3,3m | 13,6k | |
| 29 | 75,6 % | ±3,2Prozentpunkte | 0,031 $ | 6,7m | 11,7k | |
| 30 | 75,6 % | ±5,1Prozentpunkte | 0,080 $ | 11,8m | 47,6k | |
| 31 | 75,6 % | ±1,9Prozentpunkte | 0,009 $ | 2,0m | 5,38k | |
| 32 | 75,3 % | ±2,7Prozentpunkte | 0,17 $ | 2,5m | 22,9k | |
| 33 | 75,3 % | ±0,7Prozentpunkte | 0,33 $ | 4,0m | 12k | |
| 34 | 75,3 % | ±1,7Prozentpunkte | 0,34 $ | 1,9m | 7,04k | |
| 35 | OpenAI | 75,3 % | -- | 0,30 $ | 3,0m | 13,6k |
| 36 | Amazon Bedrock | 75,3 % | -- | 0,29 $ | 3,4m | 11,2k |
| 37 | 75,1 % | ±2,8Prozentpunkte | 0,033 $ | 3,7m | 35,2k | |
| 38 | 75,0 % | ±0,3Prozentpunkte | 0,29 $ | 2,9m | 10,4k | |
| 39 | 74,9 % | ±3,1Prozentpunkte | 0,20 $ | 1,9m | 7,74k | |
| 40 | 74,8 % | ±2,0Prozentpunkte | 0,19 $ | 4,8m | 11,6k | |
| 41 | 74,8 % | ±2,0Prozentpunkte | 0,030 $ | 3,3m | 18,7k | |
| 42 | 74,1 % | ±2,5Prozentpunkte | 0,026 $ | 2,2m | 9,51k | |
| 43 | 74,1 % | ±2,5Prozentpunkte | 0,51 $ | 3,2m | 10,1k | |
| 44 | 74,1 % | ±3,5Prozentpunkte | 0,044 $ | 3,0m | 9,39k | |
| 45 | 74,0 % | ±2,7Prozentpunkte | 0,33 $ | 3,3m | 11,6k | |
| 46 | 73,9 % | ±2,8Prozentpunkte | 0,077 $ | 2,0m | 8,78k | |
| 47 | 73,9 % | ±2,9Prozentpunkte | 0,25 $ | 4,4m | 10,6k | |
| 48 | 73,7 % | ±2,5Prozentpunkte | 0,043 $ | 10,2m | 16,2k | |
| 49 | 73,7 % | ±1,0Prozentpunkte | 0,48 $ | 2,1m | 7,21k | |
| 50 | 73,6 % | ±3,5Prozentpunkte | 0,031 $ | 8,0m | 15,4k | |
| 51 | 73,4 % | ±5,1Prozentpunkte | 0,009 $ | 4,1m | 16k | |
| 52 | 73,4 % | ±4,5Prozentpunkte | 0,033 $ | 20,1m | 52,9k | |
| 53 | 73,3 % | ±2,7Prozentpunkte | 0,13 $ | 1,8m | 5,15k | |
| 54 | 73,3 % | ±2,0Prozentpunkte | 0,12 $ | 2,6m | 19,7k | |
| 55 | Novita | 73,3 % | -- | 0,027 $ | 1,7m | 4,21k |
| 56 | 73,2 % | ±4,1Prozentpunkte | 0,010 $ | 6,9m | 14,4k | |
| 57 | 73,1 % | ±1,9Prozentpunkte | 0,063 $ | 3,9m | 12,5k | |
| 58 | 73,1 % | ±3,0Prozentpunkte | 0,012 $ | 3,6m | 14,7k | |
| 59 | 73,0 % | ±0,3Prozentpunkte | 0,063 $ | 8,1m | 14,5k | |
| 60 | 72,9 % | ±1,7Prozentpunkte | 0,033 $ | 2,2m | 14,6k | |
| 61 | 72,8 % | ±4,1Prozentpunkte | 0,012 $ | 86s | 10,7k | |
| 62 | 72,7 % | -- | 2,91 $ | 5,5m | 12,4k | |
| 63 | 72,7 % | ±2,7Prozentpunkte | 0,43 $ | 3,3m | 31,3k | |
| 64 | 72,3 % | ±0,3Prozentpunkte | 0,11 $ | 83s | 3,74k | |
| 65 | 72,3 % | ±1,0Prozentpunkte | 0,029 $ | 3,0m | 35k | |
| 66 | 72,3 % | ±8,6Prozentpunkte | 0,040 $ | 4,5m | 22,5k | |
| 67 | 72,2 % | ±3,0Prozentpunkte | 0,33 $ | 3,5m | 10,4k | |
| 68 | 72,1 % | ±2,3Prozentpunkte | 0,060 $ | 5,6m | 10k | |
| 69 | AtlasCloud | 72,0 % | -- | 0,40 $ | 3,3m | 16,3k |
| 70 | 71,9 % | ±1,4Prozentpunkte | 0,053 $ | 6,4m | 9,36k | |
| 71 | 71,7 % | ±3,8Prozentpunkte | 0,10 $ | 3,6m | 10,1k | |
| 72 | 71,7 % | ±1,0Prozentpunkte | 0,13 $ | 8,9m | 57k | |
| 73 | 71,3 % | ±0,0Prozentpunkte | 0,080 $ | 2,3m | 42,7k | |
| 74 | Alibaba | 71,3 % | -- | 0,017 $ | 5,5m | 17,2k |
| 75 | 71,3 % | -- | 0,21 $ | 4,4m | 27,6k | |
| 76 | 70,9 % | ±2,9Prozentpunkte | 0,047 $ | 1,7m | 8,39k | |
| 77 | 70,9 % | ±1,3Prozentpunkte | 0,027 $ | 3,9m | 10,5k | |
| 78 | 70,7 % | -- | 0,005 $ | 2,7m | 17k | |
| 79 | 70,7 % | -- | 0,71 $ | 4,8m | 22,9k | |
| 80 | 70,3 % | ±0,3Prozentpunkte | 0,085 $ | 5,8m | 32,9k | |
| 81 | Alibaba | 70,3 % | -- | 0,054 $ | 6,6m | 20,7k |
| 82 | 70,0 % | -- | 0,30 $ | 2,1m | 8,5k | |
| 83 | digitalocean | 70,0 % | -- | 0,004 $ | 49s | 1,57k |
| 84 | 70,0 % | -- | 0,003 $ | 1,6m | 17,1k | |
| 85 | 70,0 % | ±3,3Prozentpunkte | 0,056 $ | 5,7m | 9,28k | |
| 86 | 70,0 % | -- | 0,10 $ | 2,4m | 3,64k | |
| 87 | 69,7 % | ±1,0Prozentpunkte | 0,013 $ | 1,9m | 5,14k | |
| 88 | 69,3 % | -- | 0,13 $ | 1,6m | 4,98k | |
| 89 | 69,3 % | -- | 0,028 $ | 3,5m | 14,9k | |
| 90 | 68,7 % | -- | 0,002 $ | 78s | 11,7k | |
| 91 | 68,5 % | ±4,8Prozentpunkte | 0,014 $ | 5,8m | 20,2k | |
| 92 | 68,4 % | ±1,6Prozentpunkte | 0,064 $ | 61s | 4,74k | |
| 93 | 68,0 % | -- | 0,79 $ | 2,1m | 9,36k | |
| 94 | 68,0 % | -- | 0,58 $ | 2,4m | 3,73k | |
| 95 | 67,7 % | ±3,0Prozentpunkte | 0,022 $ | 4,3m | 10,2k | |
| 96 | 67,3 % | ±2,7Prozentpunkte | 0,63 $ | 12,2m | 54,9k | |
| 97 | 67,3 % | -- | 0,009 $ | 2,0m | 8,9k | |
| 98 | 67,2 % | ±2,8Prozentpunkte | 0,080 $ | 81s | 3,53k | |
| 99 | 66,7 % | -- | 0,039 $ | 5,2m | 32k | |
| 100 | 66,7 % | ±0,7Prozentpunkte | 0,013 $ | 3,0m | 13,3k | |
| 101 | 66,7 % | ±1,3Prozentpunkte | 0,089 $ | 1,8m | 12,9k | |
| 102 | 66,7 % | ±1,3Prozentpunkte | 0,008 $ | 3,7m | 8,88k | |
| 103 | 66,0 % | -- | 0,075 $ | 3,7m | 15k | |
| 104 | 65,7 % | ±2,7Prozentpunkte | 0,12 $ | 2,0m | 12,6k | |
| 105 | 65,6 % | ±1,9Prozentpunkte | 0,017 $ | 5,2m | 22,8k | |
| 106 | 65,2 % | ±3,6Prozentpunkte | 0,011 $ | 9,1m | 18,1k | |
| 107 | 64,7 % | ±2,7Prozentpunkte | 0,030 $ | 2,0m | 16k | |
| 108 | 63,3 % | -- | 0,043 $ | 3,3m | 26,8k | |
| 109 | Google | 63,2 % | -- | 0,97 $ | 4,2m | 73k |
| 110 | 62,7 % | -- | 0,12 $ | 10,6m | 26,8k | |
| 111 | 61,3 % | ±2,5Prozentpunkte | 0,047 $ | 1,7m | 4,74k | |
| 112 | 60,7 % | -- | 0,032 $ | 5,6m | 8,85k | |
| 113 | 60,7 % | ±2,7Prozentpunkte | 0,047 $ | 3,5m | 3,67k | |
| 114 | DeepInfra | 58,3 % | -- | 0,015 $ | 13,9m | 38,6k |
| 115 | 58,0 % | ±2,7Prozentpunkte | 0,21 $ | 3,0m | 12,1k | |
| 116 | 56,7 % | ±0,7Prozentpunkte | 0,029 $ | 75s | 7,7k | |
| 117 | 53,7 % | ±1,9Prozentpunkte | 0,015 $ | 17,4m | 62,2k | |
| 118 | 53,4 % | -- | 0,012 $ | 1,6m | 16,6k | |
| 119 | 51,8 % | ±2,7Prozentpunkte | 0,028 $ | 7,4m | 58,3k | |
| 120 | 49,5 % | ±3,8Prozentpunkte | 0,17 $ | 35,3m | 40k | |
| 121 | 48,3 % | ±3,7Prozentpunkte | 0,041 $ | 11,2m | 93,9k | |
| 122 | DeepInfra | 48,0 % | -- | 0,011 $ | 80s | 3,76k |
| 123 | 47,7 % | ±1,7Prozentpunkte | 0,13 $ | 53s | 2,67k | |
| 124 | DeepInfra | 47,0 % | -- | 0,036 $ | 7,3m | 20,9k |
| 125 | 47,0 % | ±1,0Prozentpunkte | 0,020 $ | 13,8m | 18,4k | |
| 126 | 46,2 % | ±1,9Prozentpunkte | 0,038 $ | 61s | 2,73k | |
| 127 | 46,2 % | ±2,3Prozentpunkte | 0,024 $ | 1,8m | 3,75k | |
| 128 | Mistral | 46,0 % | -- | 0,011 $ | 87s | 9,09k |
| 129 | 45,0 % | ±0,3Prozentpunkte | 0,080 $ | 14,0m | 21,3k | |
| 130 | 44,3 % | ±1,0Prozentpunkte | 0,023 $ | 59s | 2,33k | |
| 131 | DeepInfra | 44,0 % | ±0,7Prozentpunkte | 0,031 $ | 11,3m | 16,7k |
| 132 | 43,0 % | ±17,2Prozentpunkte | 0,075 $ | 9,8m | 9,59k | |
| 133 | 42,7 % | ±0,7Prozentpunkte | 0,21 $ | 52s | 2,19k | |
| 134 | 42,3 % | ±1,7Prozentpunkte | 0,070 $ | 4,2m | 2,64k | |
| 135 | OpenAI | 41,7 % | ±3,0Prozentpunkte | 0,20 $ | 53s | 2,09k |
| 136 | 40,0 % | ±1,4Prozentpunkte | 0,082 $ | 8,3m | 14,2k | |
| 137 | 39,8 % | ±1,8Prozentpunkte | 0,069 $ | 5,3m | 7,31k | |
| 138 | 38,4 % | ±0,8Prozentpunkte | 0,027 $ | 3,7m | 4,47k | |
| 139 | 37,8 % | ±13,1Prozentpunkte | 0,019 $ | 3,9m | 3,25k | |
| 140 | 35,6 % | ±2,4Prozentpunkte | 0,078 $ | 3,5m | 7,3k | |
| 141 | 33,6 % | ±4,6Prozentpunkte | 0,057 $ | 73s | 1,33k | |
| 142 | PrimeIntellect | 32,7 % | -- | 0,029 $ | 2,2m | 3,41k |
| 143 | OpenAI | 30,7 % | ±0,7Prozentpunkte | 0,018 $ | 55s | 3,41k |
| 144 | 25,6 % | ±5,5Prozentpunkte | 0,005 $ | 19s | 2,05k | |
| 145 | 24,0 % | ±3,3Prozentpunkte | 0,073 $ | 11,0m | 5,32k | |
| 146 | 11,0 % | ±1,0Prozentpunkte | 0,007 $ | 64s | 2,31k |
Warum wir diesen Leistungsvergleich durchführen
Es handelt sich um einen Leistungstest für Tool-Aufrufe, der sich nur schwer manipulieren lässt. Die Bewertung basiert auf tatsächlichen Abläufen von Tool-Aufrufen statt auf auswendig gelernten Antworten und ist dadurch weniger anfällig für Trainingsdatenlecks als Auswertungen im Frage-Antwort-Stil. Er prüft jede Art von Fehler bei Tool-Aufrufen (falsche Argumente, übersprungene Richtlinienprüfungen, Aufgeben, halluzinierte Bestätigungen) bei relativ geringen Kosten pro Durchlauf. Die relativen Bewertungen sind zudem aussagekräftiger als die absoluten. Dasselbe Modell kann bei verschiedenen Anbietern unterschiedlich abschneiden, und diese Unterschiede nutzt das Exacto -Routing, um Endpunkte mit höherer Genauigkeit auszuwählen.
Jede Aufgabe ist ein simuliertes Supportgespräch einer Fluggesellschaft mit einem skriptgesteuerten Nutzer, einer Sammlung von Werkzeugen (Flugsuche, Buchungsänderungen, Rückerstattungen, Treueprogrammrichtlinien) und einer maßgeblichen Referenzlösung. Eine Aufgabe gilt nur dann als bestanden, wenn der endgültige Datenbankzustand und die Nachrichten an den Nutzer mit der Referenz übereinstimmen; Teilpunkte werden nicht vergeben.
Was die Bewertungen aussagen können und was nicht
Es gibt noch Verbesserungspotenzial. Spitzenmodelle scheitern ungefähr an jeder fünften Aufgabe, und der Fluglinienbereich ist der schwierigste Teil von τ²-Bench. Unterschiede in der Genauigkeit trennen hier Modelle, die mehrstufige Richtlinien befolgen, von solchen, die lediglich gut chatten.
Das Mindestniveau ist allerdings hoch. Viele Aufgaben belohnen Untätigkeit. Eine Verweigerungsaufgabe mit einer leeren Liste der Sollaktionen gilt für jeden Agenten als bestanden, der nichts verändert. Selbst schwache Modelle erzielen deutlich mehr als null Punkte, sodass die aussagekräftigen Unterschiede am oberen Ende der Skala liegen.
Der Leistungsvergleich ist öffentlich, daher können Aufgaben in Trainingskorpora vorkommen. Eine solche Kontamination erhöht die Ergebnisse hier jedoch weniger als bei Evaluationen im Frage-Antwort-Stil, da eine durchgesickerte Aufgabe dennoch Schritt für Schritt korrekt an einer aktiven Datenbank ausgeführt werden muss.
Die Genauigkeit der Bewertung hat Grenzen. Die Prüfsoftware überprüft zwei Dinge: den endgültigen Datenbank-Hash und exakte Teilzeichenfolgenübereinstimmungen in den Nachrichten des Agenten. Die natürlichsprachlichen Aussagen jeder Aufgabe („der Agent sollte die Stornierung verweigern“) sind Metadaten, und kein Bewertungsmodell liest das Transkript. Daher schlägt eine Einsparungsberechnung fehl, wenn der Agent „$23,552.50“ ausgibt, während die Prüfsoftware per grep nach „23553“ sucht.
Auch der Benutzersimulator ist wichtig. Wir legen ihn auf gemini-2.5-flash fest, damit die Agentenbewertungen vergleichbar bleiben, aber der Simulator ist selbst ein LLM mit eigenen Fehlermodi. Er kann das Gespräch beenden, bevor der Agent fertig ist, seine verborgenen Aufgabenanweisungen preisgeben oder einen festgefahrenen Agenten in einer Schleife halten, bis die Obergrenze von 200 Schritten den Durchlauf beendet. Ein Wechsel des Simulatormodells verschiebt die absoluten Bewertungen, weshalb τ²-Bench-Zahlen aus verschiedenen Veröffentlichungen selten exakt übereinstimmen.
Wie eine Aufgabe bewertet wird
Jede Aufgabe enthält eine Referenzlösung: eine Liste von Tool-Aufrufen, Zeichenfolgen, die der Agent ausgeben muss, und Aussagen in natürlicher Sprache. Nach dem Ende der Konversation führt die Prüfkomponente die Referenz-Tool-Aufrufe erneut auf einer frischen Datenbank aus und vergleicht Hashwerte mit der endgültigen Datenbank des Agenten. Anschließend durchsucht sie die Nachrichten des Agenten nach jeder erforderlichen Zeichenfolge. Die Belohnung ist das Produkt dieser beiden Prüfungen:
reward = db_match × communicate_met // each ∈ {0, 1}
db_match = hash(agent DB) == hash(gold DB)
communicate_met = every required string appears in an agent message
any run that hits MAX_STEPS instead of a clean stop scores 0 outrightDie folgenden Abläufe stammen aus realen Durchläufen, bei denen durchgehend gemini-2.5-flash als Benutzersimulator eingesetzt wurde.
Bestanden: drei Änderungen in einer Anfrage, alle drei umgesetzt
Aufgabe 17 Agent: openai/gpt-5.1
Für die Buchung FQ8APE: Fügen Sie 3 aufgegebene Gepäckstücke hinzu, ändern Sie den Passagier zu Omar Rossi und führen Sie ein Upgrade von Basic Economy auf Economy durch, wobei Sie mit einer Geschenkkarte bezahlen.
- Die Datenbank muss dem Referenzzustand entsprechen: update_reservation_flights (Economy-Upgrade), update_reservation_passengers und update_reservation_baggages mit exakten Argumenten
- communicate_info ist leer, daher ist keine Zeichenfolgenprüfung erforderlich
Der Agent suchte den Nutzer, fand unter mehreren Reservierungen die richtige, bestätigte die Änderungen und die Zahlungsmethode und führte dann alle drei Schreibvorgänge aus: Passagierwechsel, Kabinen-Upgrade und Gepäck. Die abschließenden Datenbank-Hashes stimmen mit dem Referenzzustand überein und der Lauf endet mit USER_STOP, daher beträgt die Belohnung 1. Genau das soll die Evaluation messen: die korrekte mehrstufige Werkzeugnutzung unter Einhaltung von Richtlinien.
Fehler: storniert eine Reservierung, deren Stornierung die Richtlinie verbietet
Aufgabe 0 Agent: openai/gpt-4o-mini
Stornieren Sie die Reservierung EHGLP3. Die Buchung ist mehr als 24 Stunden alt, Basic Economy, ohne Reiseversicherung, daher ist laut Richtlinie keine Stornierung möglich.
- Die Datenbank muss am Ende unverändert sein (die Referenzlösung nimmt keine Änderungen vor)
- Natürlichsprachliche Zusicherung (nicht maschinell geprüft): Der Agent sollte die Stornierung ablehnen
Der Agent rief die Reservierung ab, sah einen vor mehr als 24 Stunden gebuchten Basic-Economy-Tarif ohne Versicherung und stornierte ihn trotzdem. Er versprach sogar eine Rückerstattung von 208 $. Die Prüfinstanz vergleicht die endgültige Datenbank mit der unveränderten Referenzdatenbank, die Hashes unterscheiden sich, die Belohnung beträgt 0. Dasselbe Modell verweigerte genau diese Stornierung in einer anderen Epoche; die Sampling-Varianz kehrt das Ergebnis um.
Fehlschlag: richtige Datenbank, falsche Zahl an den Nutzer übermittelt
Aufgabe 18 Agent: openai/gpt-4o-mini
Stufen Sie alle fünf Reservierungen von der Business Class auf die Economy Class herab und nennen Sie anschließend den insgesamt eingesparten Betrag. Der korrekte Gesamtbetrag beträgt 23.553 US-Dollar.
- Die Datenbank muss dem Referenzzustand entsprechen: 5 update_reservation_flights-Aufrufe mit exakt übereinstimmender Kabinenklasse sowie Flug- und Zahlungs-IDs
- communicate_info: Die Zeichenfolge "23553" muss in einer Agentennachricht vorkommen
Der Agent führte alle fünf Downgrades korrekt aus, und die Datenbankprüfung war erfolgreich. Dann berechnete er die Einsparungen anhand einer unvollständigen Liste von Flugpreisen und nannte dem Nutzer 14.965 $ statt 23.553 $. Die Kommunikationsprüfung durchsucht jede Agentennachricht nach der exakten Zeichenfolge „23553“, findet nichts und bewertet die gesamte Aufgabe mit null. Eine falsche Rechenantwort machte fünf korrekte Datenbankschreibvorgänge zunichte.
Fehler: Erfindet Tool-Argumente und wiederholt dann denselben abgelehnten Aufruf in einer Schleife
Aufgabe 11 Agent: meta-llama/llama-3.1-8b-instruct
Entfernen Sie die Passagierin Sophia aus der Buchung GV1N64. Die Richtlinie verbietet eine Änderung der Passagierzahl; das korrekte Vorgehen besteht darin, beide Passagiere auf Basic Economy herabzustufen und 5.244 $ zu erstatten.
- Die Datenbank muss dem Gold-Zustand entsprechen: ein update_reservation_flights-Aufruf mit Downgrade auf basic_economy
- communicate_info: Die Zeichenfolge „5244“ muss in einer Agentennachricht vorkommen
Die allererste Aktion des Agenten ist ein Schreibzugriff mit vollständig erfundenen Argumenten: eine Reservierungs-ID, die der Benutzer nie angegeben hat, und ein Passagier „John Doe“ mit Geburtsdatum 1990-01-01, der nirgends in den Daten existiert. Nachdem er die tatsächliche Reservierung gefunden hat, sendet er update_reservation_passengers mit einem Array mit einem Passagier für eine Buchung mit zwei Passagieren, erhält „Anzahl der Passagiere stimmt nicht überein“ und wiederholt denselben Aufruf vier weitere Male, wobei er zwischenzeitlich „Sophia Smith, 1992-01-01“ als zweiten Passagier halluziniert. Er zieht die Richtlinie nie heran (das Entfernen eines Passagiers ist verboten; die korrekte Aktion ist ein Downgrade der Kabinenklasse), nennt eine erfundene Rückerstattung von 200 $ und scheitert an beiden Prüfungen. Die Argumente sind wohlgeformtes JSON, das vom Tool-Schema akzeptiert wird; sie stimmen nur nicht mit der Realität überein, weshalb kleine Modelle bei Metriken für Tool-Aufrufe auf Schemaebene gut abschneiden und dennoch an solchen Aufgaben scheitern können.
Fehler: wiederholt denselben fehlerhaften Tool-Aufruf, bis der Durchlauf abbricht
Aufgabe 14 Agent: openai/gpt-4o-mini
Buchen Sie auf den günstigsten Hin- und Rückflug in der Business Class um und teilen Sie die Zahlung auf Geschenkkarten, einen Gutschein und eine Kreditkarte auf. Bei der korrekten Aufteilung werden der Kreditkarte 44 $ belastet.
- Datenbank muss dem Referenzzustand entsprechen (stornieren + mit der exakten Zahlungsaufteilung neu buchen)
- communicate_info: Summen der Geschenkkarten und Gutscheine sowie die endgültige Kartenbelastung
Der Agent erstellte eine Buchung, bei der die Summe der Zahlungsbeträge nicht dem Ticketpreis entsprach. Das Tool lehnte sie jedes Mal mit demselben Fehler ab, und der Agent wiederholte den identischen Aufruf Dutzende Male, bis der Durchlauf seine Obergrenze von 200 Schritten erreichte. Jeder Durchlauf, der mit MAX_STEPS endet, erhält 0 Punkte, noch bevor die Datenbank verglichen wird. Dieses Transkript umfasst 202 Nachrichten; der folgende Auszug zeigt die Schleife.
Bestehen, ohne etwas zu tun: Verweigerungsaufgaben belohnen Untätigkeit
Aufgabe 0 Agent: openai/gpt-4o-mini
Dieselbe Aufgabe wie beim Fehler durch Richtlinienverstoß: Der Nutzer möchte EHGLP3 stornieren, und die Richtlinie erlaubt dies nicht.
- Die Gold-Aktionsliste ist leer, daher ist die Datenbankprüfung erfolgreich, solange sich nichts geändert hat
- communicate_info ist leer, daher gilt die communicate-Prüfung als trivial erfüllt
- Die natürlichsprachliche Assertion („Der Agent sollte ablehnen“) dient nur als Metadatum und wird niemals maschinell geprüft
Dieser Durchlauf wurde zu Recht als bestanden gewertet: Der Agent prüfte die Reservierung, verwies auf die 24-Stunden-Regel und lehnte ab. Doch sehen Sie sich an, was die Prüfinstanz tatsächlich überprüfte: eine unveränderte Datenbank und eine leere communicate-Liste. Ein Agent, der jede Anfrage abblockte oder sofort an einen Menschen weiterleitete, würde identisch abschneiden. Ablehnungsaufgaben messen, ob „nichts kaputtgegangen ist“, und treiben dadurch die Bewertungen übervorsichtiger Modelle in die Höhe.
Methodik
Die Bewertungen fassen erfolgreiche Durchläufe der letzten 90 Tage zusammen, gewichtet nach Aufgabenanzahl, mit mindestens 45 bewerteten Aufgaben pro Modell-Anbieter-Paar. Die Hauptbewertung eines Modells verwendet dessen Standard-Routing (ohne Bindung an einen Anbieter), sofern vorhanden; andernfalls wird auf den Median der Anbieter zurückgegriffen. Die Standardabweichung wird über die Durchläufe für dieses repräsentative Ergebnis gemessen. Kosten-, Zeit- und Token-Angaben sind Durchschnittswerte pro Aufgabe aus denselben Durchläufen. Das beste Preis-Leistungs-Verhältnis bietet das günstigste Pareto-optimale Modell, das höchstens 5 Punkte unter der höchsten Bewertung liegt.
Dies sind dieselben Messwerte wie beim Exacto-Routing. In der Dokumentation erfahren Sie, wie das Routing funktioniert, oder durchsuchen Sie alle Modelle , um eines auszuprobieren.
API-Zugriff
Diese Bewertungen sind über die öffentliche API für Leistungsvergleiche von OpenRouter verfügbar, sodass Sie dieselben Ergebnisse auf Modellebene programmatisch abrufen können.
GET https://dynamicsinfo.com/api/v1/benchmarks?source=openrouter Authorization: Bearer <API key>
Verwenden Sie task_type=agentic zum Filtern nach tau_bench_verified_airline. Jeder Eintrag steht für ein Modell und enthält accuracy, accuracy_stddev, avg_cost_per_task, total_tasks und last_run_timestamp. Lesen Sie die API-Dokumentation zu Leistungsvergleichen.
Herunterladen und zitieren
Ein Schnappschuss dieser Rangliste wird im benchmark-leaderboard offenen Datensatz veröffentlicht (filtern Sie anhand von benchmark als Spalte) und daily neu erstellt, ohne dass ein API-Schlüssel erforderlich ist. Der aktuelle Snapshot wurde erstellt am . Es steht unter der Lizenz CC BY 4.0, sodass Sie es mit Quellenangabe zu OpenRouter wiederverwenden und erneut veröffentlichen können.
- CSV herunterladen (text/csv)
- JSON herunterladen (application/json)
- Snapshot-Manifest (SHA-256-Prüfsummen der obigen Dateien)
- Neuestes Manifest (veränderlicher Alias, der bei Veröffentlichung neuer Snapshots aktualisiert wird)
Spaltendefinitionen, Methodik und Schwärzungsregeln finden Sie in der README des Datensatzes.
Diese Rangliste zitieren
OpenRouter (2026). τ²-Bench: Airline-Ergebnisse auf OpenRouter, Stand: 2026-11-16. https://dynamicsinfo.com/benchmarks/tau2-bench-airline. Lizenziert unter CC BY 4.0.





