すべてのベンチマーク

τ²-Bench: Airline

τ²-Bench Airline は、ポリシーマニュアルに従い、模擬顧客と対話し、適切なツールを呼び出してフライトの検索、予約の変更、払い戻しを行うという、航空会社のサポート担当者の業務をモデルが遂行できるかをテストします。モデルに専門知識は不要で、複数ステップのタスクの一連の過程でツール呼び出しをどれだけ適切に実行できるかのみで採点されます。OpenRouter のトラフィックを処理するものと同じプロバイダーのエンドポイントに対して継続的に実行しているため、スコアにはモデルとそれを実行するプロバイダーの両方が反映されます。このベンチマークはスコアの下限が高いため、モデルの能力ではなくプロバイダー間のばらつきを評価するために使用しています。ツール呼び出しリクエストのルーティングアルゴリズムは、これらと同じシグナルを使用して、最もパフォーマンスの高いエンドポイントにトラフィックを送信します。

ベンチマークの最終実行

ツール呼び出しエラー:Auto Exacto 導入前 → 導入後

3.9% → 1.4%

ツール呼び出しリクエスト向けにプロバイダーを自動最適化する OpenRouter の機能である Auto Exactoに登録されたモデルのツール呼び出しエラー率です。

モデル比較

最高精度

最高のコストパフォーマンス

xiaomi のファビコン
Xiaomi: MiMo-V2.6-Flash

$0.015/タスク

正確性
代表的な実行の正解率を、高い順に表示します。
タスクあたりのコスト
採点対象タスクあたりの平均コストを、安い順に表示しています。
タスクあたりの時間
タスクあたりの平均実経過時間を短い順に表示しており、ループや停滞が発生するエージェントは時間が長くなります。

コスト効率

精度とコスト(パレートフロンティア)
各モデルを点で示し、利用可能な場合はデフォルトのルーティング(プロバイダーに固定しない方式)を使用しています。線はパレートフロンティアを示し、精度とコストの両方でこれらを上回るモデルはありません。

ツール呼び出しの信頼性

リーダーボード

最上位の行では利用可能な場合にデフォルトのルーティングを使用し、行をクリックするとプロバイダーを固定した結果を展開できます。

τ²-Bench Airline リーダーボード:プロバイダー別のモデル精度、コスト、所要時間、タスクあたりの出力トークン数
#モデル標準偏差
1
OpenAI: GPT-5.1
パレート
80.0%±0.0パーセントポイント$0.398.0m34.1k
279.3%--$0.03110.6m16.7k
379.2%±1.3パーセントポイント$0.721.9m6.9k
479.1%±1.8パーセントポイント$0.2112.8m32.4k
579.0%±2.6パーセントポイント$0.861.9m5.72k
678.8%±2.2パーセントポイント$0.1671s6.25k
778.7%--$0.505.8m22k
878.3%±1.0パーセントポイント$0.0741.6m21.5k
978.2%±1.5パーセントポイント$0.471.9m6.97k
1077.9%±1.5パーセントポイント$0.0156.3m21.7k
1177.5%±2.4パーセントポイント$0.179.4m35.6k
1277.5%±2.6パーセントポイント$0.0664.3m14.2k
1377.3%±2.7パーセントポイント$0.104.8m21.8k
1477.3%±3.3パーセントポイント$0.0571.9m6.56k
1577.2%±0.8パーセントポイント$0.193.6m17.1k
1677.0%±2.3パーセントポイント$0.1514.2m32.4k
1777.0%±0.3パーセントポイント$0.353.0m12.7k
1876.9%±2.1パーセントポイント$0.0623.8m13.1k
1976.8%±2.1パーセントポイント$0.492.1m8.04k
2076.8%±4.3パーセントポイント$0.06816.2m44.2k
2176.7%±0.0パーセントポイント$1.281.6m5.71k
2276.4%±2.2パーセントポイント$0.4389s5.55k
2376.1%±2.7パーセントポイント$0.542.9m10.7k
2476.0%±3.1パーセントポイント$0.1114.6m24.2k
25
digitalocean
76.0%--$0.01642s1.76k
2675.9%±1.5パーセントポイント$0.215.2m10.2k
2775.7%±1.0パーセントポイント$0.08873s8.72k
2875.7%±2.5パーセントポイント$0.0383.3m13.6k
2975.6%±3.2パーセントポイント$0.0316.7m11.7k
3075.6%±5.1パーセントポイント$0.08011.8m47.6k
3175.6%±1.9パーセントポイント$0.0092.0m5.38k
3275.3%±2.7パーセントポイント$0.172.5m22.9k
3375.3%±0.7パーセントポイント$0.334.0m12k
3475.3%±1.7パーセントポイント$0.341.9m7.04k
3575.3%--$0.303.0m13.6k
36
Amazon Bedrock
75.3%--$0.293.4m11.2k
3775.1%±2.8パーセントポイント$0.0333.7m35.2k
3875.0%±0.3パーセントポイント$0.292.9m10.4k
3974.9%±3.1パーセントポイント$0.201.9m7.74k
4074.8%±2.0パーセントポイント$0.194.8m11.6k
4174.8%±2.0パーセントポイント$0.0303.3m18.7k
4274.1%±2.5パーセントポイント$0.0262.2m9.51k
4374.1%±2.5パーセントポイント$0.513.2m10.1k
4474.1%±3.5パーセントポイント$0.0443.0m9.39k
4574.0%±2.7パーセントポイント$0.333.3m11.6k
4673.9%±2.8パーセントポイント$0.0772.0m8.78k
4773.9%±2.9パーセントポイント$0.254.4m10.6k
4873.7%±2.5パーセントポイント$0.04310.2m16.2k
4973.7%±1.0パーセントポイント$0.482.1m7.21k
5073.6%±3.5パーセントポイント$0.0318.0m15.4k
5173.4%±5.1パーセントポイント$0.0094.1m16k
5273.4%±4.5パーセントポイント$0.03320.1m52.9k
5373.3%±2.7パーセントポイント$0.131.8m5.15k
5473.3%±2.0パーセントポイント$0.122.6m19.7k
5573.3%--$0.0271.7m4.21k
5673.2%±4.1パーセントポイント$0.0106.9m14.4k
5773.1%±1.9パーセントポイント$0.0633.9m12.5k
5873.1%±3.0パーセントポイント$0.0123.6m14.7k
5973.0%±0.3パーセントポイント$0.0638.1m14.5k
6072.9%±1.7パーセントポイント$0.0332.2m14.6k
6172.8%±4.1パーセントポイント$0.01286s10.7k
6272.7%--$2.915.5m12.4k
6372.7%±2.7パーセントポイント$0.433.3m31.3k
6472.3%±0.3パーセントポイント$0.1183s3.74k
6572.3%±1.0パーセントポイント$0.0293.0m35k
6672.3%±8.6パーセントポイント$0.0404.5m22.5k
6772.2%±3.0パーセントポイント$0.333.5m10.4k
6872.1%±2.3パーセントポイント$0.0605.6m10k
6972.0%--$0.403.3m16.3k
7071.9%±1.4パーセントポイント$0.0536.4m9.36k
7171.7%±3.8パーセントポイント$0.103.6m10.1k
7271.7%±1.0パーセントポイント$0.138.9m57k
7371.3%±0.0パーセントポイント$0.0802.3m42.7k
7471.3%--$0.0175.5m17.2k
7571.3%--$0.214.4m27.6k
7670.9%±2.9パーセントポイント$0.0471.7m8.39k
7770.9%±1.3パーセントポイント$0.0273.9m10.5k
7870.7%--$0.0052.7m17k
7970.7%--$0.714.8m22.9k
8070.3%±0.3パーセントポイント$0.0855.8m32.9k
8170.3%--$0.0546.6m20.7k
8270.0%--$0.302.1m8.5k
83
digitalocean
70.0%--$0.00449s1.57k
8470.0%--$0.0031.6m17.1k
8570.0%±3.3パーセントポイント$0.0565.7m9.28k
8670.0%--$0.102.4m3.64k
8769.7%±1.0パーセントポイント$0.0131.9m5.14k
8869.3%--$0.131.6m4.98k
8969.3%--$0.0283.5m14.9k
9068.7%--$0.00278s11.7k
9168.5%±4.8パーセントポイント$0.0145.8m20.2k
9268.4%±1.6パーセントポイント$0.06461s4.74k
9368.0%--$0.792.1m9.36k
9468.0%--$0.582.4m3.73k
9567.7%±3.0パーセントポイント$0.0224.3m10.2k
9667.3%±2.7パーセントポイント$0.6312.2m54.9k
9767.3%--$0.0092.0m8.9k
9867.2%±2.8パーセントポイント$0.08081s3.53k
9966.7%--$0.0395.2m32k
10066.7%±0.7パーセントポイント$0.0133.0m13.3k
10166.7%±1.3パーセントポイント$0.0891.8m12.9k
10266.7%±1.3パーセントポイント$0.0083.7m8.88k
10366.0%--$0.0753.7m15k
10465.7%±2.7パーセントポイント$0.122.0m12.6k
10565.6%±1.9パーセントポイント$0.0175.2m22.8k
10665.2%±3.6パーセントポイント$0.0119.1m18.1k
10764.7%±2.7パーセントポイント$0.0302.0m16k
10863.3%--$0.0433.3m26.8k
10963.2%--$0.974.2m73k
11062.7%--$0.1210.6m26.8k
11161.3%±2.5パーセントポイント$0.0471.7m4.74k
11260.7%--$0.0325.6m8.85k
11360.7%±2.7パーセントポイント$0.0473.5m3.67k
11458.3%--$0.01513.9m38.6k
11558.0%±2.7パーセントポイント$0.213.0m12.1k
11656.7%±0.7パーセントポイント$0.02975s7.7k
11753.7%±1.9パーセントポイント$0.01517.4m62.2k
11853.4%--$0.0121.6m16.6k
11951.8%±2.7パーセントポイント$0.0287.4m58.3k
12049.5%±3.8パーセントポイント$0.1735.3m40k
12148.3%±3.7パーセントポイント$0.04111.2m93.9k
12248.0%--$0.01180s3.76k
12347.7%±1.7パーセントポイント$0.1353s2.67k
12447.0%--$0.0367.3m20.9k
12547.0%±1.0パーセントポイント$0.02013.8m18.4k
12646.2%±1.9パーセントポイント$0.03861s2.73k
12746.2%±2.3パーセントポイント$0.0241.8m3.75k
12846.0%--$0.01187s9.09k
12945.0%±0.3パーセントポイント$0.08014.0m21.3k
13044.3%±1.0パーセントポイント$0.02359s2.33k
13144.0%±0.7パーセントポイント$0.03111.3m16.7k
13243.0%±17.2パーセントポイント$0.0759.8m9.59k
13342.7%±0.7パーセントポイント$0.2152s2.19k
13442.3%±1.7パーセントポイント$0.0704.2m2.64k
13541.7%±3.0パーセントポイント$0.2053s2.09k
13640.0%±1.4パーセントポイント$0.0828.3m14.2k
13739.8%±1.8パーセントポイント$0.0695.3m7.31k
13838.4%±0.8パーセントポイント$0.0273.7m4.47k
13937.8%±13.1パーセントポイント$0.0193.9m3.25k
14035.6%±2.4パーセントポイント$0.0783.5m7.3k
14133.6%±4.6パーセントポイント$0.05773s1.33k
14232.7%--$0.0292.2m3.41k
14330.7%±0.7パーセントポイント$0.01855s3.41k
14425.6%±5.5パーセントポイント$0.00519s2.05k
14524.0%±3.3パーセントポイント$0.07311.0m5.32k
14611.0%±1.0パーセントポイント$0.00764s2.31k

このベンチマークを実施する理由

不正にスコアを上げることが難しいツール呼び出しのベンチマークです。採点は暗記した回答ではなく、実際のツール呼び出しの軌跡に基づくため、Q&A 形式の評価よりも学習データの漏洩に強い仕組みです。実行あたりのコストを比較的低く抑えながら、ツール呼び出しのあらゆる失敗パターン(誤った引数、ポリシーチェックの省略、断念、確認結果の幻覚)を検証します。また、絶対スコアよりも相対スコアのほうが多くの情報を含みます。同じモデルでもプロバイダーによってスコアが異なる場合があり、この差を Exacto ルーティングが利用して、より精度の高いエンドポイントを選択します。

各タスクは、台本に沿って応答するユーザー、ツールボックス(フライト検索、予約変更、払い戻し、ロイヤルティプログラムのポリシー)、正解となる参照解答を備えた、航空会社のサポート会話のシミュレーションです。タスクは最終的なデータベースの状態とユーザーへのメッセージが参照解答と一致した場合にのみ合格となり、部分点は付与されません。

スコアからわかることとわからないこと

まだ改善の余地があります。上位モデルでもおよそ五件に一件のタスクで失敗し、航空分野は τ²-Bench で最も難しい区分です。ここでの精度の違いは、複数ステップのポリシーに従うモデルと、単に会話が得意なモデルを分けます。

ただし、スコアの下限は高めです。多くのタスクでは何もしないことが評価されます。正解のアクションリストが空の拒否タスクでは、何も変更しないエージェントはすべて合格します。性能の低いモデルでもゼロを大きく上回るスコアを獲得するため、意味のある差はスコア範囲の上位に集中しています。

ベンチマークは公開されているため、タスクが学習コーパスに含まれる可能性があります。ただし、流出したタスクでも実際のデータベースに対して段階的に正しく実行する必要があるため、ここでは Q&A 形式の評価ほどデータ汚染によるスコアの水増しは起きません。

採点の忠実性には限界があります。チェッカーが検証するのは、最終的なデータベースのハッシュと、エージェントのメッセージ内の部分文字列の完全一致の二点です。各タスクの自然言語によるアサーション(「エージェントはキャンセルを拒否するべきです」)はメタデータであり、判定モデルが会話記録を読むことはありません。そのため、チェッカーが「23553」を検索しているときにエージェントが「$23,552.50」と回答すると、節約額の計算は不合格になります。

ユーザーシミュレーターも重要です。エージェントのスコアを比較可能に保つため gemini-2.5-flash に固定していますが、シミュレーター自体も LLM であり、固有の失敗パターンがあります。エージェントが完了する前に会話を終了したり、隠されたタスク指示を漏らしたり、行き詰まったエージェントのループを続けさせて 200 ステップの上限で実行が強制終了されることがあります。シミュレーターモデルを変更すると絶対スコアが変わるため、異なる論文の τ²-Bench の数値が完全に一致することはほとんどありません。

タスクの採点方法

各タスクには、ツール呼び出しのリスト、エージェントが発言しなければならない文字列、自然言語のアサーションからなる正解例が付属しています。会話が終了すると、チェッカーは新しいデータベースに対して正解例のツール呼び出しを再実行し、エージェントの最終的なデータベースとハッシュを比較します。次に、エージェントのメッセージに対して grep を実行し、必須の各文字列を検索します。報酬は、これらのチェックの結果を掛け合わせたものです:

reward = db_match × communicate_met   // each ∈ {0, 1}
db_match        = hash(agent DB) == hash(gold DB)
communicate_met = every required string appears in an agent message
any run that hits MAX_STEPS instead of a clean stop scores 0 outright

以下のロールアウトは実際の実行によるもので、すべてユーザーシミュレーターとして gemini-2.5-flash を使用しています。

報酬 = 1

合格:ひとつのリクエストで三つの変更を行い、三つすべてが反映されます

タスク 17 のエージェント: openai/gpt-5.1

予約 FQ8APE について、預け入れ手荷物を 3 個追加し、搭乗者を Omar Rossi に変更し、ベーシックエコノミーからエコノミーにアップグレードして、ギフトカードで支払ってください。

  • データベースは正解状態と一致する必要があります:update_reservation_flights(エコノミーへのアップグレード)、update_reservation_passengers、update_reservation_baggages を正確な引数で実行してください
  • communicate_info が空のため、文字列チェックは適用されません
db ✓
communicate ✓
USER_STOP

エージェントはユーザーを検索し、複数の予約の中から正しい予約を見つけ、変更内容と支払い方法を確認した後、搭乗者の変更、キャビンのアップグレード、手荷物という三つの書き込みをすべて実行しました。最終的なデータベースのハッシュは正解の状態と一致し、実行は USER_STOP で終了するため、報酬は 1 です。この評価は、ポリシーの制約下で複数ステップのツール使用を正しく実行できるかを測定するように設計されています。

方法論

スコアは直近 90 日間の成功した実行をタスク数で重み付けして集計し、モデルとプロバイダーの組み合わせごとに最低 45 件の採点済みタスクを必要とします。モデルの主要スコアには、デフォルトのルーティング(プロバイダーに固定されていないもの)が存在する場合はそれを使用し、存在しない場合は中央値のプロバイダーを使用します。標準偏差は、その代表的な結果の実行間で測定されます。コスト、時間、トークン数は、同じ実行におけるタスクごとの平均値です。最も費用対効果が高いモデルは、最高スコアとの差が 5 ポイント以内のパレート最適なモデルのうち、最も安価なものです。

これらは、次の機能の基盤となる測定値と同じです: Exacto ルーティング。ルーティングの仕組みについては、 ドキュメント を参照するか、次の一覧から試すモデルを探してください: すべてのモデル 。

API アクセス

これらのスコアは OpenRouter の公開ベンチマーク API で利用できるため、同じモデル単位の結果をプログラムで取得できます。

GET https://dynamicsinfo.com/api/v1/benchmarks?source=openrouter
Authorization: Bearer <API key>

フィルタリングに task_type=agentic を使用して絞り込む対象は tau_bench_verified_airline です。各項目はモデルを表し、次の情報を含みます: accuracy、 accuracy_stddev、 avg_cost_per_task、 total_tasks、および last_run_timestamp。詳細は ベンチマーク API ドキュメントを参照してください。

ダウンロードと引用

このランキングのスナップショットは、 benchmark-leaderboard の公開データセットに掲載されており、フィルタリング対象は benchmark 列で、再生成の頻度は daily で、APIキーなしで利用できます。 現在のスナップショットの生成日は です。 ライセンスは CC BY 4.0で、OpenRouter への帰属を明記すれば再利用や再公開ができます。

列定義、手法、マスキングルールは、 データセットの READMEに記載されています。

このリーダーボードを引用

OpenRouter(2026)。τ²-Bench:OpenRouter での Airline の結果、2026-11-16 時点のスナップショット。https://dynamicsinfo.com/benchmarks/tau2-bench-airline。CC BY 4.0 に基づいてライセンスされています。

よくある質問