所有基准测试

GPQA Diamond

GPQA Diamond 是涵盖生物学、物理学和化学的研究生级别多项选择题基准测试。每道题均由学科专家编写,其设计使得即使是领域专家也需要仔细推理才能确定正确答案。我们在各提供商端点上运行同一组固定题目,以比较模型能力、路由效果以及解决高难度科学问题的实际成本。

上次基准测试运行

模型对比

最佳性价比

openai 的网站图标
OpenAI: GPT-6.1 Sol

US$0.021/问题

准确率
代表性运行的准确率,按从高到低排序。
每个问题的成本
每个问题的平均成本,按从低到高排序。
每题耗时
每道题的平均实际耗时,按耗时从短到长排序。

成本效率

准确率与成本(帕累托前沿)
每个点代表一个模型,在可用时使用默认路由(不固定到某个提供商)。曲线为帕累托前沿:没有模型能在准确率和成本两方面同时优于这些模型。

排行榜

顶层行在可用时使用默认路由;点击行可展开查看固定提供商的结果。

GPQA Diamond 排行榜:按提供商展示模型准确率、成本、耗时和每题输出 token 数
#模型标准差
1
Google
96.5%--US$0.0951.7m8.44k
295.6%--US$0.0682.2m18k
395.5%--US$0.3375s4.53k
494.9%--US$0.08426s1.87k
594.5%±0.1个百分点US$0.202.2m16.7k
694.4%--US$0.1157s2.11k
794.4%--US$0.02152s1.98k
894.1%--US$0.151.6m11.6k
993.9%±0.3个百分点US$0.312.5m10.3k
1093.9%±0.4个百分点US$0.02959s7.68k
1192.9%--US$0.08886s8.6k
1292.8%±0.4个百分点US$0.126.0m20.3k
1392.8%±0.6个百分点US$0.02520s2.28k
1492.8%±0.5个百分点US$0.04462s11.7k
1592.4%±0.0个百分点US$0.03963s3.71k
1692.3%±0.1个百分点US$0.1490s15.8k
1792.0%±1.0个百分点US$0.134.0m10.7k
1891.9%--US$0.02532s2.37k
19
Amazon Bedrock
91.9%--US$0.2213.4m36.1k
2091.1%--US$0.01128s2.13k
2191.1%--US$0.0311.6m30.6k
2290.9%--US$0.225.0m29.4k
2390.5%±1.6个百分点US$0.119.0m37.5k
2490.2%±0.0个百分点US$0.142.5m9.46k
2590.2%±0.5个百分点US$0.05430s2.5k
2690.2%±1.9个百分点US$0.0355.2m30.5k
2790.2%±0.4个百分点US$0.0742.3m17.1k
2890.1%±0.7个百分点US$0.0112.0m19.4k
2989.9%±0.7个百分点US$0.1331s2.4k
3089.8%±0.6个百分点US$0.1213.8m47.5k
3189.7%±1.1个百分点US$0.201.6m7.86k
3289.6%±0.3个百分点US$0.0382.4m27k
3389.5%±1.0个百分点US$0.231.8m9.01k
3489.1%±0.8个百分点US$0.0234.1m30.7k
3588.8%±0.4个百分点US$0.03312.5m38k
3688.6%±0.3个百分点US$0.221.8m8.64k
3788.6%--US$0.02111.2m45.5k
3888.5%±0.1个百分点US$0.134.2m43.9k
3988.4%±0.0个百分点US$0.04155s3.32k
4088.4%--US$0.00873s13.1k
4188.4%±0.0个百分点US$0.01571s13.6k
4288.0%±1.1个百分点US$0.0233.9m25.3k
4387.9%±1.9个百分点US$0.1362s4.87k
4487.9%--US$0.0449.8m34.2k
4587.8%±3.7个百分点US$0.1845s3.49k
4687.6%±0.9个百分点US$0.0142.9m26k
4787.6%±0.6个百分点US$0.00983s7.69k
4887.4%±1.4个百分点US$0.0913.3m14.8k
4987.4%--US$0.00350s5.75k
5087.3%±1.8个百分点US$0.04711.2m36k
5186.8%±1.0个百分点US$0.0228.7m46.3k
5286.7%±0.5个百分点US$0.00439s7.89k
5386.7%±4.2个百分点US$0.1615.9m56.1k
5486.7%±0.0个百分点US$0.224.4m22.2k
5586.7%±2.7个百分点US$0.0086.9m26.9k
5686.6%±1.8个百分点US$0.107.6m26.9k
5786.6%±1.4个百分点US$0.758.4m30k
5886.6%±0.8个百分点US$0.0253.9m20.8k
5986.5%±1.0个百分点US$0.846.8m33.5k
6086.0%±2.8个百分点US$0.0826.1m23.7k
6185.9%±0.8个百分点US$0.0069.3m32.3k
6285.9%--US$0.0202.0m15.4k
6385.7%±0.3个百分点US$0.214.4m20.9k
6485.5%±2.1个百分点US$0.04410.0m37.9k
6585.4%±1.3个百分点US$0.107.6m31.8k
6685.3%±4.9个百分点US$0.172.8m16.8k
6785.2%±1.4个百分点US$0.147.3m49.9k
6884.9%±1.0个百分点US$0.0554.2m23.1k
6984.8%--US$0.00188s17.5k
7084.5%±4.9个百分点US$0.09620.9m37.9k
7184.4%±0.9个百分点US$0.03653s14.5k
7284.1%±2.4个百分点US$0.0148.8m40.1k
7383.8%±3.0个百分点US$0.09012.9m31.8k
7483.8%±0.6个百分点US$0.06275s13.6k
7583.4%±1.1个百分点US$0.0954.9m23.4k
7683.2%--US$0.0648.2m51.2k
7782.7%±1.9个百分点US$0.09318.5m45.2k
7882.6%±1.6个百分点US$0.263.9m26k
7982.3%±1.4个百分点US$0.0087.3m18.6k
8082.2%±6.7个百分点US$0.03012.5m30.5k
8182.1%±2.4个百分点US$0.04183s27k
8281.9%±1.4个百分点US$0.0343.5m13.9k
8381.7%±2.0个百分点US$0.0099.6m19.5k
8481.6%±1.3个百分点US$0.0274.6m25.4k
8581.6%±1.1个百分点US$0.314.8m20.7k
8681.3%--US$0.0085.9m33.9k
8781.0%±1.8个百分点US$0.2418.0m63.9k
8881.0%±2.2个百分点US$0.0453.5m22.4k
8980.8%--US$0.0536.8m43.9k
9080.8%±1.4个百分点US$0.0224.1m17.5k
9179.8%±4.3个百分点US$0.0438.6m42.6k
9279.1%±3.4个百分点US$0.1614.8m66.9k
9378.9%±2.3个百分点US$0.0297.1m25.9k
9478.6%--US$0.263.0m17.4k
9578.6%--US$0.05810.6m23.1k
9677.7%±0.4个百分点US$0.01364s10.3k
9777.4%±2.0个百分点US$0.00611.8m37.6k
9877.2%±4.8个百分点US$0.01414.9m40.6k
9977.2%±0.3个百分点US$0.0187.5m17.5k
10077.1%±3.3个百分点US$0.06317.0m30.9k
10176.7%±4.1个百分点US$0.05314.9m23.3k
10275.8%--US$0.0152.9m24k
10375.1%±1.1个百分点US$0.0151.8m14.5k
10474.9%±1.9个百分点US$0.0032.8m31k
10574.2%±2.3个百分点US$0.0066.2m24.1k
10673.2%±2.4个百分点US$0.01611.2m60.9k
10773.2%±0.8个百分点US$0.194.0m37.9k
10872.8%±0.4个百分点US$0.0612.0m24.2k
10972.7%±1.6个百分点US$0.0065.4m8.11k
11072.1%±13.3个百分点US$0.6210.7m41k
11171.8%±0.3个百分点US$0.01185s10.5k
11270.6%±2.6个百分点US$0.0096.2m45.1k
11370.5%±0.4个百分点US$0.0133.9m33.3k
11469.5%±0.8个百分点US$0.0074.9m5.94k
11569.3%±4.4个百分点US$0.01515.5m50.7k
11666.8%--US$0.0145.4m15.3k
11766.3%±0.5个百分点US$0.00381s2.99k
11865.7%--US$0.01528.6m64.4k
11965.2%±1.3个百分点US$0.00427s2.41k
12065.2%±2.5个百分点US$0.00610.7m41.8k
12164.9%±0.6个百分点US$0.0032.8m10.3k
12264.2%±1.4个百分点US$0.0073.9m11.5k
12363.7%±0.4个百分点US$0.01615s1.75k
12463.7%±13.9个百分点US$0.0146.9m12k
12563.2%±2.2个百分点US$0.01811.2m89.4k
12662.1%±1.2个百分点US$0.00265s2.17k
12760.9%±1.0个百分点US$0.0085.6m17.3k
12860.9%--US$0.0085.0m15.4k
12960.4%±0.5个百分点US$0.00435s2.12k
13059.2%±0.3个百分点US$0.0038.7m11.7k
13155.2%±0.5个百分点US$0.0181.9m44.3k
13254.6%±8.7个百分点US$0.0062.1m5.65k
13353.9%--US$0.0052.0m11.8k
13452.0%±0.3个百分点US$0.01816s1.56k
13551.7%±0.5个百分点US$0.01610.6m40.5k
13651.1%±0.1个百分点US$0.01313s1.12k
13750.5%--US$0.01011.7m64.8k
13849.1%±0.9个百分点US$0.0008423s1.9k
13947.5%±1.0个百分点US$0.00186s2.36k
14046.0%±1.3个百分点US$0.0011.6m1.85k
14143.6%±0.7个百分点US$0.00122s1.48k
14242.9%--US$0.00259s1.66k
14338.9%--US$0.000239s711
14438.0%±1.2个百分点US$0.0003852s2.26k
14528.6%--US$0.0005915s1.64k
14627.7%±2.2个百分点US$0.0012.5m15.5k
14727.7%±0.1个百分点US$0.0000629s580
14827.1%--US$0.0001111s1.8k
14921.4%--US$0.1878s14.6k
15010.3%±0.0个百分点US$0.01822s11.8k

示例题目

GPQA 使用四选一题目,作答不仅需要回忆定义。以下代表性示例展示了题目格式及涵盖的科学领域范围,未复现该基准测试受保护题库中的题目。

Biology

A researcher observes that a membrane protein is synthesized on ribosomes attached to the rough endoplasmic reticulum. Which destination is most consistent with this protein entering the secretory pathway?

  1. A.The cytosol, where it remains soluble
  2. B.The nucleus, after import through a nuclear pore
  3. C.A membrane of the endomembrane system or the cell surface
  4. D.The mitochondrial matrix through a TOM/TIM complex

答案: C

Ribosomes on the rough ER synthesize proteins destined for secretion or insertion into the endomembrane system, including the plasma membrane.

Physics

A spacecraft is far from other bodies and fires its engine in the direction opposite to its velocity. Ignoring mass loss during the brief burn, what happens immediately to its speed?

  1. A.It increases because the exhaust carries away backward momentum
  2. B.It decreases because the thrust points opposite to its velocity
  3. C.It remains unchanged because thrust only changes direction
  4. D.It becomes zero because the spacecraft is in free space

答案: B

An impulse opposite the velocity vector reduces the spacecraft’s momentum and therefore its speed during the burn.

Chemistry

Why does adding a small amount of a common ion generally reduce the solubility of a sparingly soluble ionic solid in water?

  1. A.The common ion increases the solid’s lattice energy
  2. B.The common ion shifts the dissolution equilibrium toward the solid
  3. C.The common ion converts every dissolved ion into a neutral molecule
  4. D.The common ion removes solvent molecules from the solution

答案: B

The added ion raises the concentration of a dissolution product, so Le Chatelier’s principle shifts the equilibrium toward the undissolved solid.

我们为何运行此基准测试

GPQA 是一项涵盖生物学、物理学和化学的综合性研究生级推理测试,因此能以低成本为我们提供高基线信号,表明部署运行正常。一个通常能答对这些问题的模型如果准确率突然下降,通常意味着端点或路由出现了故障,而非问题本身有误。

由于我们在各提供商端点上运行相同的固定题集,同一模型在不同提供商之间出现较大的准确率差距,是快速发现端点配置错误或性能下降的一种方式。费用和延迟列显示了提供这种推理质量所需的成本。

分数能说明什么、不能说明什么

GPQA 是一项范围有限、难度较高的评估,并非对通用智能或实用性的全面衡量。分数反映了模型在专家编写的科学多项选择题上的表现,应结合编程、指令遵循、事实准确性及其他评估一并考量。

分数可能对采样设置、答案位置处理方式和重复运行次数较为敏感。当模型的样本数量相近时,细微差异可能并无实际意义,因此排行榜除了准确率,还提供了运行结果的变动情况和成本背景。

该基准测试已有公开说明,部分题目最终可能出现在训练数据中。我们避免在此展示私有题库,但任何公开基准测试都无法保证未来的每一道评估题目均未受到数据污染。

方法论

分数汇总了最近 90 天内的成功运行结果,按问题数量加权,并为每个模型与提供商组合设置最低样本量门槛。模型的主分数在默认路由可用时采用默认路由的结果,否则回退到提供商的中位数。成本、耗时和输出 token 数均为同一批运行结果的每题平均值。最佳性价比模型是分数与最高分相差不超过五个百分点的帕累托最优模型中成本最低的模型。

GPQA Diamond 的介绍见 原始论文。有关路由详情,请参阅 文档 ,或浏览 所有模型 并选择一个试用。

API 访问

这些分数可通过 OpenRouter 的公开基准测试 API 获取,因此您可以通过编程方式检索相同的模型级结果。

GET https://dynamicsinfo.com/api/v1/benchmarks?source=openrouter
Authorization: Bearer <API key>

使用 task_type=intelligence 筛选 gpqa_diamond。每个条目代表一个模型,包含 accuracy、 accuracy_stddev、 avg_cost_per_task、 total_tasks 和 last_run_timestamp。请参阅 基准测试 API 文档。

下载并引用

此排行榜的快照发布在 benchmark-leaderboard 开放数据集中(按 benchmark 列筛选),更新频率为 daily ,无需 API 密钥。 当前快照生成于 。 其采用的许可协议为 CC BY 4.0,因此您可以在注明 OpenRouter 署名的情况下重复使用和重新发布。

列定义、方法和脱敏规则见 数据集 README。

引用此排行榜

OpenRouter(2026)。OpenRouter 上的 GPQA Diamond 结果,2026-11-16 快照。https://dynamicsinfo.com/benchmarks/gpqa-diamond。依据 CC BY 4.0 授权。

常见问题