Alle Leistungsvergleiche

τ²-Bench: Airline

τ²-Bench Airline testet, ob ein Modell die Arbeit eines Supportmitarbeiters einer Fluggesellschaft erledigen kann: ein Richtlinienhandbuch befolgen, mit einem simulierten Kunden sprechen und die richtigen Tools aufrufen, um Flüge zu suchen, Buchungen zu ändern und Erstattungen zu veranlassen. Das Modell benötigt kein Fachwissen; es wird ausschließlich danach bewertet, wie gut es Tool-Aufrufe in mehrstufigen Aufgabenabläufen ausführt. Wir führen den Test kontinuierlich auf denselben Anbieter-Endpunkten aus, die den OpenRouter-Datenverkehr verarbeiten, sodass eine Bewertung sowohl das Modell als auch den Anbieter widerspiegelt, der es betreibt. Wir verwenden diesen Leistungstest, weil er ein hohes Mindestniveau aufweist, sodass wir Unterschiede zwischen Anbietern und nicht die Fähigkeiten des Modells bewerten können. Unser Routing-Algorithmus für Anfragen mit Tool-Aufrufen nutzt dieselben Signale, um den Datenverkehr an die leistungsstärksten Endpunkte zu leiten.

Letzter Vergleichstestlauf

Welches Modell führt im Leistungsvergleich τ²-Bench Airline?

OpenAI: GPT-5.1 führt τ²-Bench Airline mit 80,0 % zum Stand vom 15.11.2026, 01:00 UTC an. Airline-Aufgaben, Richtlinie, Simulator- und Kundenkonfiguration, Schrittbudget und Bewertung bleiben über alle produktiven Anbieter-Endpunkte hinweg gleich, sodass die angezeigten Ergebnisse Modelle und die sie bereitstellenden Anbieter unter denselben Evaluierungsbedingungen vergleichen.

Tool-Aufruffehler vor → nach Auto Exacto

3,9 % → 1,4 %

Tool-Aufruf-Fehlerrate bei Modellen, die an Auto Exacto, der automatischen Anbieteroptimierung von OpenRouter für Anfragen mit Tool-Aufrufen, teilnehmen.

Modellvergleich

Am genauesten

Bestes Preis-Leistungs-Verhältnis

Favicon für xiaomi
Xiaomi: MiMo-V2.6-Flash

0,015 $/Aufgabe

Genauigkeit
Genauigkeit im repräsentativen Durchlauf, beste zuerst.
Kosten pro Aufgabe
Durchschnittliche Kosten pro bewerteter Aufgabe, günstigste zuerst.
Zeit pro Aufgabe
Durchschnittliche verstrichene Zeit pro Aufgabe, schnellste zuerst; Agenten, die in Schleifen geraten oder stecken bleiben, benötigen viel Zeit.

Kosteneffizienz

Genauigkeit vs. Kosten (Pareto-Grenze)
Ein Punkt pro Modell, nach Möglichkeit mit Standardrouting (ohne Bindung an einen Anbieter). Die Linie ist die Pareto-Grenze: Kein Modell übertrifft diese Modelle sowohl bei der Genauigkeit als auch bei den Kosten.

Zuverlässigkeit von Tool-Aufrufen

Rangliste

Zeilen der obersten Ebene verwenden das Standard-Routing, sofern verfügbar; klicken Sie auf eine Zeile, um die Ergebnisse mit festgelegtem Anbieter aufzuklappen.

τ²-Bench Airline-Rangliste: Modellgenauigkeit, Kosten, Zeit und Ausgabe-Token pro Aufgabe nach Anbieter
#ModellStandardabw.
180,0 %±0,0Prozentpunkte0,39 $8,0m34,1k
279,3 %--0,031 $10,6m16,7k
379,2 %±1,3Prozentpunkte0,72 $1,9m6,9k
479,1 %±1,8Prozentpunkte0,21 $12,8m32,4k
579,0 %±2,6Prozentpunkte0,86 $1,9m5,72k
678,8 %±2,2Prozentpunkte0,16 $71s6,25k
778,7 %--0,50 $5,8m22k
878,3 %±1,0Prozentpunkte0,074 $1,6m21,5k
978,2 %±1,5Prozentpunkte0,47 $1,9m6,97k
1077,9 %±1,5Prozentpunkte0,015 $6,3m21,7k
1177,5 %±2,4Prozentpunkte0,17 $9,4m35,6k
1277,5 %±2,6Prozentpunkte0,066 $4,3m14,2k
1377,3 %±2,7Prozentpunkte0,10 $4,8m21,8k
1477,3 %±3,3Prozentpunkte0,057 $1,9m6,56k
1577,2 %±0,8Prozentpunkte0,19 $3,6m17,1k
1677,0 %±2,3Prozentpunkte0,15 $14,2m32,4k
1777,0 %±0,3Prozentpunkte0,35 $3,0m12,7k
1876,9 %±2,1Prozentpunkte0,062 $3,8m13,1k
1976,8 %±2,1Prozentpunkte0,49 $2,1m8,04k
2076,8 %±4,3Prozentpunkte0,068 $16,2m44,2k
2176,7 %±0,0Prozentpunkte1,28 $1,6m5,71k
2276,4 %±2,2Prozentpunkte0,43 $89s5,55k
2376,1 %±2,7Prozentpunkte0,54 $2,9m10,7k
2476,0 %±3,1Prozentpunkte0,11 $14,6m24,2k
25
digitalocean
76,0 %--0,016 $42s1,76k
2675,9 %±1,5Prozentpunkte0,21 $5,2m10,2k
2775,7 %±1,0Prozentpunkte0,088 $73s8,72k
2875,7 %±2,5Prozentpunkte0,038 $3,3m13,6k
2975,6 %±3,2Prozentpunkte0,031 $6,7m11,7k
3075,6 %±5,1Prozentpunkte0,080 $11,8m47,6k
3175,6 %±1,9Prozentpunkte0,009 $2,0m5,38k
3275,3 %±2,7Prozentpunkte0,17 $2,5m22,9k
3375,3 %±0,7Prozentpunkte0,33 $4,0m12k
3475,3 %±1,7Prozentpunkte0,34 $1,9m7,04k
3575,3 %--0,30 $3,0m13,6k
36
Amazon Bedrock
75,3 %--0,29 $3,4m11,2k
3775,1 %±2,8Prozentpunkte0,033 $3,7m35,2k
3875,0 %±0,3Prozentpunkte0,29 $2,9m10,4k
3974,9 %±3,1Prozentpunkte0,20 $1,9m7,74k
4074,8 %±2,0Prozentpunkte0,19 $4,8m11,6k
4174,8 %±2,0Prozentpunkte0,030 $3,3m18,7k
4274,1 %±2,5Prozentpunkte0,026 $2,2m9,51k
4374,1 %±2,5Prozentpunkte0,51 $3,2m10,1k
4474,1 %±3,5Prozentpunkte0,044 $3,0m9,39k
4574,0 %±2,7Prozentpunkte0,33 $3,3m11,6k
4673,9 %±2,8Prozentpunkte0,077 $2,0m8,78k
4773,9 %±2,9Prozentpunkte0,25 $4,4m10,6k
4873,7 %±2,5Prozentpunkte0,043 $10,2m16,2k
4973,7 %±1,0Prozentpunkte0,48 $2,1m7,21k
5073,6 %±3,5Prozentpunkte0,031 $8,0m15,4k
5173,4 %±5,1Prozentpunkte0,009 $4,1m16k
5273,4 %±4,5Prozentpunkte0,033 $20,1m52,9k
5373,3 %±2,7Prozentpunkte0,13 $1,8m5,15k
5473,3 %±2,0Prozentpunkte0,12 $2,6m19,7k
5573,3 %--0,027 $1,7m4,21k
5673,2 %±4,1Prozentpunkte0,010 $6,9m14,4k
5773,1 %±1,9Prozentpunkte0,063 $3,9m12,5k
5873,1 %±3,0Prozentpunkte0,012 $3,6m14,7k
5973,0 %±0,3Prozentpunkte0,063 $8,1m14,5k
6072,9 %±1,7Prozentpunkte0,033 $2,2m14,6k
6172,8 %±4,1Prozentpunkte0,012 $86s10,7k
6272,7 %--2,91 $5,5m12,4k
6372,7 %±2,7Prozentpunkte0,43 $3,3m31,3k
6472,3 %±0,3Prozentpunkte0,11 $83s3,74k
6572,3 %±1,0Prozentpunkte0,029 $3,0m35k
6672,3 %±8,6Prozentpunkte0,040 $4,5m22,5k
6772,2 %±3,0Prozentpunkte0,33 $3,5m10,4k
6872,1 %±2,3Prozentpunkte0,060 $5,6m10k
6972,0 %--0,40 $3,3m16,3k
7071,9 %±1,4Prozentpunkte0,053 $6,4m9,36k
7171,7 %±3,8Prozentpunkte0,10 $3,6m10,1k
7271,7 %±1,0Prozentpunkte0,13 $8,9m57k
7371,3 %±0,0Prozentpunkte0,080 $2,3m42,7k
7471,3 %--0,017 $5,5m17,2k
7571,3 %--0,21 $4,4m27,6k
7670,9 %±2,9Prozentpunkte0,047 $1,7m8,39k
7770,9 %±1,3Prozentpunkte0,027 $3,9m10,5k
7870,7 %--0,005 $2,7m17k
7970,7 %--0,71 $4,8m22,9k
8070,3 %±0,3Prozentpunkte0,085 $5,8m32,9k
8170,3 %--0,054 $6,6m20,7k
8270,0 %--0,30 $2,1m8,5k
83
digitalocean
70,0 %--0,004 $49s1,57k
8470,0 %--0,003 $1,6m17,1k
8570,0 %±3,3Prozentpunkte0,056 $5,7m9,28k
8670,0 %--0,10 $2,4m3,64k
8769,7 %±1,0Prozentpunkte0,013 $1,9m5,14k
8869,3 %--0,13 $1,6m4,98k
8969,3 %--0,028 $3,5m14,9k
9068,7 %--0,002 $78s11,7k
9168,5 %±4,8Prozentpunkte0,014 $5,8m20,2k
9268,4 %±1,6Prozentpunkte0,064 $61s4,74k
9368,0 %--0,79 $2,1m9,36k
9468,0 %--0,58 $2,4m3,73k
9567,7 %±3,0Prozentpunkte0,022 $4,3m10,2k
9667,3 %±2,7Prozentpunkte0,63 $12,2m54,9k
9767,3 %--0,009 $2,0m8,9k
9867,2 %±2,8Prozentpunkte0,080 $81s3,53k
9966,7 %--0,039 $5,2m32k
10066,7 %±0,7Prozentpunkte0,013 $3,0m13,3k
10166,7 %±1,3Prozentpunkte0,089 $1,8m12,9k
10266,7 %±1,3Prozentpunkte0,008 $3,7m8,88k
10366,0 %--0,075 $3,7m15k
10465,7 %±2,7Prozentpunkte0,12 $2,0m12,6k
10565,6 %±1,9Prozentpunkte0,017 $5,2m22,8k
10665,2 %±3,6Prozentpunkte0,011 $9,1m18,1k
10764,7 %±2,7Prozentpunkte0,030 $2,0m16k
10863,3 %--0,043 $3,3m26,8k
10963,2 %--0,97 $4,2m73k
11062,7 %--0,12 $10,6m26,8k
11161,3 %±2,5Prozentpunkte0,047 $1,7m4,74k
11260,7 %--0,032 $5,6m8,85k
11360,7 %±2,7Prozentpunkte0,047 $3,5m3,67k
11458,3 %--0,015 $13,9m38,6k
11558,0 %±2,7Prozentpunkte0,21 $3,0m12,1k
11656,7 %±0,7Prozentpunkte0,029 $75s7,7k
11753,7 %±1,9Prozentpunkte0,015 $17,4m62,2k
11853,4 %--0,012 $1,6m16,6k
11951,8 %±2,7Prozentpunkte0,028 $7,4m58,3k
12049,5 %±3,8Prozentpunkte0,17 $35,3m40k
12148,3 %±3,7Prozentpunkte0,041 $11,2m93,9k
12248,0 %--0,011 $80s3,76k
12347,7 %±1,7Prozentpunkte0,13 $53s2,67k
12447,0 %--0,036 $7,3m20,9k
12547,0 %±1,0Prozentpunkte0,020 $13,8m18,4k
12646,2 %±1,9Prozentpunkte0,038 $61s2,73k
12746,2 %±2,3Prozentpunkte0,024 $1,8m3,75k
12846,0 %--0,011 $87s9,09k
12945,0 %±0,3Prozentpunkte0,080 $14,0m21,3k
13044,3 %±1,0Prozentpunkte0,023 $59s2,33k
13144,0 %±0,7Prozentpunkte0,031 $11,3m16,7k
13243,0 %±17,2Prozentpunkte0,075 $9,8m9,59k
13342,7 %±0,7Prozentpunkte0,21 $52s2,19k
13442,3 %±1,7Prozentpunkte0,070 $4,2m2,64k
13541,7 %±3,0Prozentpunkte0,20 $53s2,09k
13640,0 %±1,4Prozentpunkte0,082 $8,3m14,2k
13739,8 %±1,8Prozentpunkte0,069 $5,3m7,31k
13838,4 %±0,8Prozentpunkte0,027 $3,7m4,47k
13937,8 %±13,1Prozentpunkte0,019 $3,9m3,25k
14035,6 %±2,4Prozentpunkte0,078 $3,5m7,3k
14133,6 %±4,6Prozentpunkte0,057 $73s1,33k
14232,7 %--0,029 $2,2m3,41k
14330,7 %±0,7Prozentpunkte0,018 $55s3,41k
14425,6 %±5,5Prozentpunkte0,005 $19s2,05k
14524,0 %±3,3Prozentpunkte0,073 $11,0m5,32k
14611,0 %±1,0Prozentpunkte0,007 $64s2,31k

Warum wir diesen Leistungsvergleich durchführen

Es handelt sich um einen Leistungstest für Tool-Aufrufe, der sich nur schwer manipulieren lässt. Die Bewertung basiert auf tatsächlichen Abläufen von Tool-Aufrufen statt auf auswendig gelernten Antworten und ist dadurch weniger anfällig für Trainingsdatenlecks als Auswertungen im Frage-Antwort-Stil. Er prüft jede Art von Fehler bei Tool-Aufrufen (falsche Argumente, übersprungene Richtlinienprüfungen, Aufgeben, halluzinierte Bestätigungen) bei relativ geringen Kosten pro Durchlauf. Die relativen Bewertungen sind zudem aussagekräftiger als die absoluten. Dasselbe Modell kann bei verschiedenen Anbietern unterschiedlich abschneiden, und diese Unterschiede nutzt das Exacto -Routing, um Endpunkte mit höherer Genauigkeit auszuwählen.

Jede Aufgabe ist ein simuliertes Supportgespräch einer Fluggesellschaft mit einem skriptgesteuerten Nutzer, einer Sammlung von Werkzeugen (Flugsuche, Buchungsänderungen, Rückerstattungen, Treueprogrammrichtlinien) und einer maßgeblichen Referenzlösung. Eine Aufgabe gilt nur dann als bestanden, wenn der endgültige Datenbankzustand und die Nachrichten an den Nutzer mit der Referenz übereinstimmen; Teilpunkte werden nicht vergeben.

Was die Bewertungen aussagen können und was nicht

Es gibt noch Verbesserungspotenzial. Spitzenmodelle scheitern ungefähr an jeder fünften Aufgabe, und der Fluglinienbereich ist der schwierigste Teil von τ²-Bench. Unterschiede in der Genauigkeit trennen hier Modelle, die mehrstufige Richtlinien befolgen, von solchen, die lediglich gut chatten.

Das Mindestniveau ist allerdings hoch. Viele Aufgaben belohnen Untätigkeit. Eine Verweigerungsaufgabe mit einer leeren Liste der Sollaktionen gilt für jeden Agenten als bestanden, der nichts verändert. Selbst schwache Modelle erzielen deutlich mehr als null Punkte, sodass die aussagekräftigen Unterschiede am oberen Ende der Skala liegen.

Der Leistungsvergleich ist öffentlich, daher können Aufgaben in Trainingskorpora vorkommen. Eine solche Kontamination erhöht die Ergebnisse hier jedoch weniger als bei Evaluationen im Frage-Antwort-Stil, da eine durchgesickerte Aufgabe dennoch Schritt für Schritt korrekt an einer aktiven Datenbank ausgeführt werden muss.

Die Genauigkeit der Bewertung hat Grenzen. Die Prüfsoftware überprüft zwei Dinge: den endgültigen Datenbank-Hash und exakte Teilzeichenfolgenübereinstimmungen in den Nachrichten des Agenten. Die natürlichsprachlichen Aussagen jeder Aufgabe („der Agent sollte die Stornierung verweigern“) sind Metadaten, und kein Bewertungsmodell liest das Transkript. Daher schlägt eine Einsparungsberechnung fehl, wenn der Agent „$23,552.50“ ausgibt, während die Prüfsoftware per grep nach „23553“ sucht.

Auch der Benutzersimulator ist wichtig. Wir legen ihn auf gemini-2.5-flash fest, damit die Agentenbewertungen vergleichbar bleiben, aber der Simulator ist selbst ein LLM mit eigenen Fehlermodi. Er kann das Gespräch beenden, bevor der Agent fertig ist, seine verborgenen Aufgabenanweisungen preisgeben oder einen festgefahrenen Agenten in einer Schleife halten, bis die Obergrenze von 200 Schritten den Durchlauf beendet. Ein Wechsel des Simulatormodells verschiebt die absoluten Bewertungen, weshalb τ²-Bench-Zahlen aus verschiedenen Veröffentlichungen selten exakt übereinstimmen.

Wie eine Aufgabe bewertet wird

Jede Aufgabe enthält eine Referenzlösung: eine Liste von Tool-Aufrufen, Zeichenfolgen, die der Agent ausgeben muss, und Aussagen in natürlicher Sprache. Nach dem Ende der Konversation führt die Prüfkomponente die Referenz-Tool-Aufrufe erneut auf einer frischen Datenbank aus und vergleicht Hashwerte mit der endgültigen Datenbank des Agenten. Anschließend durchsucht sie die Nachrichten des Agenten nach jeder erforderlichen Zeichenfolge. Die Belohnung ist das Produkt dieser beiden Prüfungen:

reward = db_match × communicate_met   // each ∈ {0, 1}
db_match        = hash(agent DB) == hash(gold DB)
communicate_met = every required string appears in an agent message
any run that hits MAX_STEPS instead of a clean stop scores 0 outright

Die folgenden Abläufe stammen aus realen Durchläufen, bei denen durchgehend gemini-2.5-flash als Benutzersimulator eingesetzt wurde.

Belohnung = 1

Bestanden: drei Änderungen in einer Anfrage, alle drei umgesetzt

Aufgabe 17 Agent: openai/gpt-5.1

Für die Buchung FQ8APE: Fügen Sie 3 aufgegebene Gepäckstücke hinzu, ändern Sie den Passagier zu Omar Rossi und führen Sie ein Upgrade von Basic Economy auf Economy durch, wobei Sie mit einer Geschenkkarte bezahlen.

  • Die Datenbank muss dem Referenzzustand entsprechen: update_reservation_flights (Economy-Upgrade), update_reservation_passengers und update_reservation_baggages mit exakten Argumenten
  • communicate_info ist leer, daher ist keine Zeichenfolgenprüfung erforderlich
db ✓
communicate ✓
USER_STOP

Der Agent suchte den Nutzer, fand unter mehreren Reservierungen die richtige, bestätigte die Änderungen und die Zahlungsmethode und führte dann alle drei Schreibvorgänge aus: Passagierwechsel, Kabinen-Upgrade und Gepäck. Die abschließenden Datenbank-Hashes stimmen mit dem Referenzzustand überein und der Lauf endet mit USER_STOP, daher beträgt die Belohnung 1. Genau das soll die Evaluation messen: die korrekte mehrstufige Werkzeugnutzung unter Einhaltung von Richtlinien.

Methodik

Die Bewertungen fassen erfolgreiche Durchläufe der letzten 90 Tage zusammen, gewichtet nach Aufgabenanzahl, mit mindestens 45 bewerteten Aufgaben pro Modell-Anbieter-Paar. Die Hauptbewertung eines Modells verwendet dessen Standard-Routing (ohne Bindung an einen Anbieter), sofern vorhanden; andernfalls wird auf den Median der Anbieter zurückgegriffen. Die Standardabweichung wird über die Durchläufe für dieses repräsentative Ergebnis gemessen. Kosten-, Zeit- und Token-Angaben sind Durchschnittswerte pro Aufgabe aus denselben Durchläufen. Das beste Preis-Leistungs-Verhältnis bietet das günstigste Pareto-optimale Modell, das höchstens 5 Punkte unter der höchsten Bewertung liegt.

Dies sind dieselben Messwerte wie beim Exacto-Routing. In der Dokumentation erfahren Sie, wie das Routing funktioniert, oder durchsuchen Sie alle Modelle , um eines auszuprobieren.

API-Zugriff

Diese Bewertungen sind über die öffentliche API für Leistungsvergleiche von OpenRouter verfügbar, sodass Sie dieselben Ergebnisse auf Modellebene programmatisch abrufen können.

GET https://dynamicsinfo.com/api/v1/benchmarks?source=openrouter
Authorization: Bearer <API key>

Verwenden Sie task_type=agentic zum Filtern nach tau_bench_verified_airline. Jeder Eintrag steht für ein Modell und enthält accuracy, accuracy_stddev, avg_cost_per_task, total_tasks und last_run_timestamp. Lesen Sie die API-Dokumentation zu Leistungsvergleichen.

Herunterladen und zitieren

Ein Schnappschuss dieser Rangliste wird im benchmark-leaderboard offenen Datensatz veröffentlicht (filtern Sie anhand von benchmark als Spalte) und daily neu erstellt, ohne dass ein API-Schlüssel erforderlich ist. Der aktuelle Snapshot wurde erstellt am . Es steht unter der Lizenz CC BY 4.0, sodass Sie es mit Quellenangabe zu OpenRouter wiederverwenden und erneut veröffentlichen können.

Spaltendefinitionen, Methodik und Schwärzungsregeln finden Sie in der README des Datensatzes.

Diese Rangliste zitieren

OpenRouter (2026). τ²-Bench: Airline-Ergebnisse auf OpenRouter, Stand: 2026-11-16. https://dynamicsinfo.com/benchmarks/tau2-bench-airline. Lizenziert unter CC BY 4.0.

Häufig gestellte Fragen