すべてのベンチマーク

GPQA Diamond

GPQA Diamond は、生物学、物理学、化学の大学院レベルの多肢選択式ベンチマークです。各設問は分野の専門家が作成し、その分野の専門家でも正解を特定するために慎重な推論が必要になるよう設計されています。同じ固定の設問セットを各プロバイダーのエンドポイントで実行し、モデルの能力、ルーティング、難しい科学的問題を解くための実際のコストを比較します。

ベンチマークの最終実行

モデル比較

最高精度

最高のコストパフォーマンス

openai のファビコン
OpenAI: GPT-6.1 Sol

$0.021/質問

正確性
代表的な実行の正解率を、高い順に表示します。
質問あたりのコスト
質問あたりの平均コストを安い順に表示します。
質問あたりの時間
質問ごとの平均実経過時間を、速い順に表示しています。

コスト効率

精度とコスト(パレートフロンティア)
各モデルを点で示し、利用可能な場合はデフォルトのルーティング(プロバイダーに固定しない方式)を使用しています。線はパレートフロンティアを示し、精度とコストの両方でこれらを上回るモデルはありません。

リーダーボード

最上位の行では利用可能な場合にデフォルトのルーティングを使用し、行をクリックするとプロバイダーを固定した結果を展開できます。

GPQA Diamond ランキング:プロバイダー別のモデル精度、コスト、所要時間、質問あたりの出力トークン数
#モデル標準偏差
1
Google
96.5%--$0.0951.7m8.44k
295.6%--$0.0682.2m18k
395.5%--$0.3375s4.53k
494.9%--$0.08426s1.87k
594.5%±0.1パーセントポイント$0.202.2m16.7k
694.4%--$0.1157s2.11k
794.4%--$0.02152s1.98k
894.1%--$0.151.6m11.6k
993.9%±0.3パーセントポイント$0.312.5m10.3k
1093.9%±0.4パーセントポイント$0.02959s7.68k
1192.9%--$0.08886s8.6k
1292.8%±0.4パーセントポイント$0.126.0m20.3k
1392.8%±0.6パーセントポイント$0.02520s2.28k
1492.8%±0.5パーセントポイント$0.04462s11.7k
1592.4%±0.0パーセントポイント$0.03963s3.71k
1692.3%±0.1パーセントポイント$0.1490s15.8k
1792.0%±1.0パーセントポイント$0.134.0m10.7k
1891.9%--$0.02532s2.37k
19
Amazon Bedrock
91.9%--$0.2213.4m36.1k
2091.1%--$0.01128s2.13k
2191.1%--$0.0311.6m30.6k
2290.9%--$0.225.0m29.4k
2390.5%±1.6パーセントポイント$0.119.0m37.5k
2490.2%±0.0パーセントポイント$0.142.5m9.46k
2590.2%±0.5パーセントポイント$0.05430s2.5k
2690.2%±1.9パーセントポイント$0.0355.2m30.5k
2790.2%±0.4パーセントポイント$0.0742.3m17.1k
2890.1%±0.7パーセントポイント$0.0112.0m19.4k
2989.9%±0.7パーセントポイント$0.1331s2.4k
3089.8%±0.6パーセントポイント$0.1213.8m47.5k
3189.7%±1.1パーセントポイント$0.201.6m7.86k
3289.6%±0.3パーセントポイント$0.0382.4m27k
3389.5%±1.0パーセントポイント$0.231.8m9.01k
3489.1%±0.8パーセントポイント$0.0234.1m30.7k
3588.8%±0.4パーセントポイント$0.03312.5m38k
3688.6%±0.3パーセントポイント$0.221.8m8.64k
3788.6%--$0.02111.2m45.5k
3888.5%±0.1パーセントポイント$0.134.2m43.9k
3988.4%±0.0パーセントポイント$0.04155s3.32k
4088.4%--$0.00873s13.1k
4188.4%±0.0パーセントポイント$0.01571s13.6k
4288.0%±1.1パーセントポイント$0.0233.9m25.3k
4387.9%±1.9パーセントポイント$0.1362s4.87k
4487.9%--$0.0449.8m34.2k
4587.8%±3.7パーセントポイント$0.1845s3.49k
4687.6%±0.9パーセントポイント$0.0142.9m26k
4787.6%±0.6パーセントポイント$0.00983s7.69k
4887.4%±1.4パーセントポイント$0.0913.3m14.8k
49
OpenAI: GPT-6 Luna
パレート
87.4%--$0.00350s5.75k
5087.3%±1.8パーセントポイント$0.04711.2m36k
5186.8%±1.0パーセントポイント$0.0228.7m46.3k
5286.7%±0.5パーセントポイント$0.00439s7.89k
5386.7%±4.2パーセントポイント$0.1615.9m56.1k
5486.7%±0.0パーセントポイント$0.224.4m22.2k
5586.7%±2.7パーセントポイント$0.0086.9m26.9k
5686.6%±1.8パーセントポイント$0.107.6m26.9k
5786.6%±1.4パーセントポイント$0.758.4m30k
5886.6%±0.8パーセントポイント$0.0253.9m20.8k
5986.5%±1.0パーセントポイント$0.846.8m33.5k
6086.0%±2.8パーセントポイント$0.0826.1m23.7k
6185.9%±0.8パーセントポイント$0.0069.3m32.3k
6285.9%--$0.0202.0m15.4k
6385.7%±0.3パーセントポイント$0.214.4m20.9k
6485.5%±2.1パーセントポイント$0.04410.0m37.9k
6585.4%±1.3パーセントポイント$0.107.6m31.8k
6685.3%±4.9パーセントポイント$0.172.8m16.8k
6785.2%±1.4パーセントポイント$0.147.3m49.9k
6884.9%±1.0パーセントポイント$0.0554.2m23.1k
6984.8%--$0.00188s17.5k
7084.5%±4.9パーセントポイント$0.09620.9m37.9k
7184.4%±0.9パーセントポイント$0.03653s14.5k
7284.1%±2.4パーセントポイント$0.0148.8m40.1k
7383.8%±3.0パーセントポイント$0.09012.9m31.8k
7483.8%±0.6パーセントポイント$0.06275s13.6k
7583.4%±1.1パーセントポイント$0.0954.9m23.4k
7683.2%--$0.0648.2m51.2k
7782.7%±1.9パーセントポイント$0.09318.5m45.2k
7882.6%±1.6パーセントポイント$0.263.9m26k
7982.3%±1.4パーセントポイント$0.0087.3m18.6k
8082.2%±6.7パーセントポイント$0.03012.5m30.5k
8182.1%±2.4パーセントポイント$0.04183s27k
8281.9%±1.4パーセントポイント$0.0343.5m13.9k
8381.7%±2.0パーセントポイント$0.0099.6m19.5k
8481.6%±1.3パーセントポイント$0.0274.6m25.4k
8581.6%±1.1パーセントポイント$0.314.8m20.7k
8681.3%--$0.0085.9m33.9k
8781.0%±1.8パーセントポイント$0.2418.0m63.9k
8881.0%±2.2パーセントポイント$0.0453.5m22.4k
8980.8%--$0.0536.8m43.9k
9080.8%±1.4パーセントポイント$0.0224.1m17.5k
9179.8%±4.3パーセントポイント$0.0438.6m42.6k
9279.1%±3.4パーセントポイント$0.1614.8m66.9k
9378.9%±2.3パーセントポイント$0.0297.1m25.9k
9478.6%--$0.263.0m17.4k
9578.6%--$0.05810.6m23.1k
9677.7%±0.4パーセントポイント$0.01364s10.3k
9777.4%±2.0パーセントポイント$0.00611.8m37.6k
9877.2%±4.8パーセントポイント$0.01414.9m40.6k
9977.2%±0.3パーセントポイント$0.0187.5m17.5k
10077.1%±3.3パーセントポイント$0.06317.0m30.9k
10176.7%±4.1パーセントポイント$0.05314.9m23.3k
10275.8%--$0.0152.9m24k
10375.1%±1.1パーセントポイント$0.0151.8m14.5k
10474.9%±1.9パーセントポイント$0.0032.8m31k
10574.2%±2.3パーセントポイント$0.0066.2m24.1k
10673.2%±2.4パーセントポイント$0.01611.2m60.9k
10773.2%±0.8パーセントポイント$0.194.0m37.9k
10872.8%±0.4パーセントポイント$0.0612.0m24.2k
10972.7%±1.6パーセントポイント$0.0065.4m8.11k
11072.1%±13.3パーセントポイント$0.6210.7m41k
11171.8%±0.3パーセントポイント$0.01185s10.5k
11270.6%±2.6パーセントポイント$0.0096.2m45.1k
11370.5%±0.4パーセントポイント$0.0133.9m33.3k
11469.5%±0.8パーセントポイント$0.0074.9m5.94k
11569.3%±4.4パーセントポイント$0.01515.5m50.7k
11666.8%--$0.0145.4m15.3k
11766.3%±0.5パーセントポイント$0.00381s2.99k
11865.7%--$0.01528.6m64.4k
11965.2%±1.3パーセントポイント$0.00427s2.41k
12065.2%±2.5パーセントポイント$0.00610.7m41.8k
12164.9%±0.6パーセントポイント$0.0032.8m10.3k
12264.2%±1.4パーセントポイント$0.0073.9m11.5k
12363.7%±0.4パーセントポイント$0.01615s1.75k
12463.7%±13.9パーセントポイント$0.0146.9m12k
12563.2%±2.2パーセントポイント$0.01811.2m89.4k
12662.1%±1.2パーセントポイント$0.00265s2.17k
12760.9%±1.0パーセントポイント$0.0085.6m17.3k
12860.9%--$0.0085.0m15.4k
12960.4%±0.5パーセントポイント$0.00435s2.12k
13059.2%±0.3パーセントポイント$0.0038.7m11.7k
13155.2%±0.5パーセントポイント$0.0181.9m44.3k
13254.6%±8.7パーセントポイント$0.0062.1m5.65k
13353.9%--$0.0052.0m11.8k
13452.0%±0.3パーセントポイント$0.01816s1.56k
13551.7%±0.5パーセントポイント$0.01610.6m40.5k
13651.1%±0.1パーセントポイント$0.01313s1.12k
13750.5%--$0.01011.7m64.8k
13849.1%±0.9パーセントポイント$0.0008423s1.9k
13947.5%±1.0パーセントポイント$0.00186s2.36k
14046.0%±1.3パーセントポイント$0.0011.6m1.85k
14143.6%±0.7パーセントポイント$0.00122s1.48k
14242.9%--$0.00259s1.66k
143
Reka
38.9%--$0.000239s711
14438.0%±1.2パーセントポイント$0.0003852s2.26k
14528.6%--$0.0005915s1.64k
14627.7%±2.2パーセントポイント$0.0012.5m15.5k
14727.7%±0.1パーセントポイント$0.0000629s580
14827.1%--$0.0001111s1.8k
14921.4%--$0.1878s14.6k
15010.3%±0.0パーセントポイント$0.01822s11.8k

問題例

GPQA は、定義を思い出すだけでは解けない四択問題を使用しています。これらの代表例は、ベンチマークの保護された問題プールの項目を転載せずに、形式と科学分野の幅を示しています。

Biology

A researcher observes that a membrane protein is synthesized on ribosomes attached to the rough endoplasmic reticulum. Which destination is most consistent with this protein entering the secretory pathway?

  1. A.The cytosol, where it remains soluble
  2. B.The nucleus, after import through a nuclear pore
  3. C.A membrane of the endomembrane system or the cell surface
  4. D.The mitochondrial matrix through a TOM/TIM complex

回答: C

Ribosomes on the rough ER synthesize proteins destined for secretion or insertion into the endomembrane system, including the plasma membrane.

Physics

A spacecraft is far from other bodies and fires its engine in the direction opposite to its velocity. Ignoring mass loss during the brief burn, what happens immediately to its speed?

  1. A.It increases because the exhaust carries away backward momentum
  2. B.It decreases because the thrust points opposite to its velocity
  3. C.It remains unchanged because thrust only changes direction
  4. D.It becomes zero because the spacecraft is in free space

回答: B

An impulse opposite the velocity vector reduces the spacecraft’s momentum and therefore its speed during the burn.

Chemistry

Why does adding a small amount of a common ion generally reduce the solubility of a sparingly soluble ionic solid in water?

  1. A.The common ion increases the solid’s lattice energy
  2. B.The common ion shifts the dissolution equilibrium toward the solid
  3. C.The common ion converts every dissolved ion into a neutral molecule
  4. D.The common ion removes solvent molecules from the solution

回答: B

The added ion raises the concentration of a dissolution product, so Le Chatelier’s principle shifts the equilibrium toward the undissolved solid.

このベンチマークを実施する理由

GPQA は生物学、物理学、化学にわたる幅広い大学院レベルの推論テストであり、デプロイが正常であることを低コストで示す、信頼性の高い基本的な指標になります。通常はこれらの問題に正解するモデルの成績が突然低下した場合、問題自体ではなく、エンドポイントやルーティングの不具合を示していることが一般的です。

各プロバイダーのエンドポイントで同じ固定の問題セットを実行するため、同じモデルを提供するプロバイダー間で正解率に大きな差があれば、設定ミスや性能低下のあるエンドポイントをすばやく検出できます。コストとレイテンシの列は、その推論品質を提供する際にかかるコストとレイテンシを示します。

スコアからわかることとわからないこと

GPQA は対象範囲が狭く難易度の高い評価であり、汎用的な知能や有用性を完全に測定するものではありません。スコアは専門家が作成した科学分野の多肢選択問題に対する性能を反映しており、コーディング、指示への追従、事実性などの評価と併せて検討する必要があります。

スコアは、サンプリング設定、回答の選択肢位置の扱い、繰り返し実行の回数に左右されることがあります。モデル間でサンプル数が同程度の場合、小さな差には意味がない可能性があるため、リーダーボードでは正答率だけでなく、実行ごとのばらつきやコストの情報も示しています。

このベンチマークの内容は公開されており、一部の問題は将来、学習データに含まれる可能性があります。ここでは非公開の問題プールの転載を避けていますが、公開ベンチマークでは、将来のすべての評価項目について学習データへの混入がないことを保証できません。

方法論

スコアは直近の 90 日間の成功した実行を問題数で重み付けして集計し、モデルとプロバイダーの組み合わせごとに最小サンプル数のしきい値を適用しています。モデルの代表スコアには、利用可能な場合はデフォルトのルーティングを使用し、そうでない場合は中央値のプロバイダーにフォールバックします。コスト、時間、出力トークン数は、同じ実行における問題ごとの平均値です。最もコストパフォーマンスが高いモデルは、最高スコアとの差が五パーセントポイント以内のパレート最適なモデルのうち、最も安価なものです。

GPQA Diamond については 原著論文で説明されています。ルーティングの詳細は ドキュメント を参照するか、 すべてのモデル を閲覧してお試しください。

API アクセス

これらのスコアは OpenRouter の公開ベンチマーク API で利用できるため、同じモデル単位の結果をプログラムで取得できます。

GET https://dynamicsinfo.com/api/v1/benchmarks?source=openrouter
Authorization: Bearer <API key>

絞り込みに task_type=intelligence を使用して gpqa_diamond を指定します。各項目はモデルを表し、 accuracy、 accuracy_stddev、 avg_cost_per_task、 total_tasks、 last_run_timestamp が含まれます。詳細は ベンチマーク API ドキュメントを参照してください。

ダウンロードと引用

このランキングのスナップショットは、 benchmark-leaderboard の公開データセットに掲載されており、フィルタリング対象は benchmark 列で、再生成の頻度は daily で、APIキーなしで利用できます。 現在のスナップショットの生成日は です。 ライセンスは CC BY 4.0で、OpenRouter への帰属を明記すれば再利用や再公開ができます。

列定義、手法、マスキングルールは、 データセットの READMEに記載されています。

このリーダーボードを引用

OpenRouter(2026)。OpenRouter での GPQA Diamond の結果、2026-11-16 時点のスナップショット。https://dynamicsinfo.com/benchmarks/gpqa-diamond。CC BY 4.0 に基づいてライセンスされています。

よくある質問