모든 벤치마크

GPQA Diamond

GPQA Diamond는 생물학, 물리학, 화학 분야의 대학원 수준 객관식 벤치마크입니다. 각 문항은 해당 분야 전문가가 작성하며, 분야 전문가도 정답을 찾으려면 신중하게 추론해야 하도록 설계되었습니다. 모델 역량, 라우팅, 어려운 과학 문제를 해결하는 데 드는 실제 비용을 비교하기 위해 제공업체 엔드포인트 전반에서 동일한 고정 문항 세트를 실행합니다.

최근 벤치마크 실행

GPQA Diamond 벤치마크에서 선두를 달리는 모델들은 무엇입니까?

2026. 11. 15. 오전 2:47 UTC 기준 Google: Gemini 4 Argon이(가) 96.5%의 점수로 GPQA Diamond에서 선두를 달리고 있습니다. 프로덕션 제공업체 엔드포인트 전반에 동일한 고정 GPQA Diamond 질문 세트와 채점 방식을 적용합니다. 대표 행은 사용 가능한 경우 기본 라우팅을 사용하고, 그렇지 않으면 대표 제공업체 결과를 사용합니다.

모델 비교

정확도 최고

최고의 가성비

openai의 파비콘
OpenAI: GPT-6.1 Sol

US$0.021/질문

정확도
대표 실행의 정확도이며, 높은 순으로 표시됩니다.
질문당 비용
질문당 평균 비용이며, 저렴한 순으로 표시됩니다.
질문당 소요 시간
질문당 평균 실제 경과 시간으로, 가장 빠른 순서로 표시됩니다.

비용 효율성

정확도 대 비용(파레토 프런티어)
모델마다 점 하나로 표시하며, 가능한 경우 기본 라우팅(제공업체에 고정하지 않음)을 사용합니다. 선은 파레토 프런티어를 나타내며, 이 모델들보다 정확도와 비용 모두에서 뛰어난 모델은 없습니다.

리더보드

최상위 행은 가능한 경우 기본 라우팅을 사용하며, 행을 클릭하면 제공업체 고정 결과가 펼쳐집니다.

GPQA Diamond 리더보드: 제공업체별 모델 정확도, 비용, 시간 및 질문당 출력 토큰
#모델표준 편차
1
Google
96.5%--US$0.0951.7m8.44k
295.6%--US$0.0682.2m18k
395.5%--US$0.3375s4.53k
494.9%--US$0.08426s1.87k
594.5%±0.1퍼센트포인트US$0.202.2m16.7k
694.4%--US$0.1157s2.11k
794.4%--US$0.02152s1.98k
894.1%--US$0.151.6m11.6k
993.9%±0.3퍼센트포인트US$0.312.5m10.3k
1093.9%±0.4퍼센트포인트US$0.02959s7.68k
1192.9%--US$0.08886s8.6k
1292.8%±0.4퍼센트포인트US$0.126.0m20.3k
1392.8%±0.6퍼센트포인트US$0.02520s2.28k
1492.8%±0.5퍼센트포인트US$0.04462s11.7k
1592.4%±0.0퍼센트포인트US$0.03963s3.71k
1692.3%±0.1퍼센트포인트US$0.1490s15.8k
1792.0%±1.0퍼센트포인트US$0.134.0m10.7k
1891.9%--US$0.02532s2.37k
19
Amazon Bedrock
91.9%--US$0.2213.4m36.1k
2091.1%--US$0.01128s2.13k
2191.1%--US$0.0311.6m30.6k
2290.9%--US$0.225.0m29.4k
2390.5%±1.6퍼센트포인트US$0.119.0m37.5k
2490.2%±0.0퍼센트포인트US$0.142.5m9.46k
2590.2%±0.5퍼센트포인트US$0.05430s2.5k
2690.2%±1.9퍼센트포인트US$0.0355.2m30.5k
2790.2%±0.4퍼센트포인트US$0.0742.3m17.1k
2890.1%±0.7퍼센트포인트US$0.0112.0m19.4k
2989.9%±0.7퍼센트포인트US$0.1331s2.4k
3089.8%±0.6퍼센트포인트US$0.1213.8m47.5k
3189.7%±1.1퍼센트포인트US$0.201.6m7.86k
3289.6%±0.3퍼센트포인트US$0.0382.4m27k
3389.5%±1.0퍼센트포인트US$0.231.8m9.01k
3489.1%±0.8퍼센트포인트US$0.0234.1m30.7k
3588.8%±0.4퍼센트포인트US$0.03312.5m38k
3688.6%±0.3퍼센트포인트US$0.221.8m8.64k
3788.6%--US$0.02111.2m45.5k
3888.5%±0.1퍼센트포인트US$0.134.2m43.9k
3988.4%±0.0퍼센트포인트US$0.04155s3.32k
4088.4%--US$0.00873s13.1k
4188.4%±0.0퍼센트포인트US$0.01571s13.6k
4288.0%±1.1퍼센트포인트US$0.0233.9m25.3k
4387.9%±1.9퍼센트포인트US$0.1362s4.87k
4487.9%--US$0.0449.8m34.2k
4587.8%±3.7퍼센트포인트US$0.1845s3.49k
4687.6%±0.9퍼센트포인트US$0.0142.9m26k
4787.6%±0.6퍼센트포인트US$0.00983s7.69k
4887.4%±1.4퍼센트포인트US$0.0913.3m14.8k
4987.4%--US$0.00350s5.75k
5087.3%±1.8퍼센트포인트US$0.04711.2m36k
5186.8%±1.0퍼센트포인트US$0.0228.7m46.3k
5286.7%±0.5퍼센트포인트US$0.00439s7.89k
5386.7%±4.2퍼센트포인트US$0.1615.9m56.1k
5486.7%±0.0퍼센트포인트US$0.224.4m22.2k
5586.7%±2.7퍼센트포인트US$0.0086.9m26.9k
5686.6%±1.8퍼센트포인트US$0.107.6m26.9k
5786.6%±1.4퍼센트포인트US$0.758.4m30k
5886.6%±0.8퍼센트포인트US$0.0253.9m20.8k
5986.5%±1.0퍼센트포인트US$0.846.8m33.5k
6086.0%±2.8퍼센트포인트US$0.0826.1m23.7k
6185.9%±0.8퍼센트포인트US$0.0069.3m32.3k
6285.9%--US$0.0202.0m15.4k
6385.7%±0.3퍼센트포인트US$0.214.4m20.9k
6485.5%±2.1퍼센트포인트US$0.04410.0m37.9k
6585.4%±1.3퍼센트포인트US$0.107.6m31.8k
6685.3%±4.9퍼센트포인트US$0.172.8m16.8k
6785.2%±1.4퍼센트포인트US$0.147.3m49.9k
6884.9%±1.0퍼센트포인트US$0.0554.2m23.1k
6984.8%--US$0.00188s17.5k
7084.5%±4.9퍼센트포인트US$0.09620.9m37.9k
7184.4%±0.9퍼센트포인트US$0.03653s14.5k
7284.1%±2.4퍼센트포인트US$0.0148.8m40.1k
7383.8%±3.0퍼센트포인트US$0.09012.9m31.8k
7483.8%±0.6퍼센트포인트US$0.06275s13.6k
7583.4%±1.1퍼센트포인트US$0.0954.9m23.4k
7683.2%--US$0.0648.2m51.2k
7782.7%±1.9퍼센트포인트US$0.09318.5m45.2k
7882.6%±1.6퍼센트포인트US$0.263.9m26k
7982.3%±1.4퍼센트포인트US$0.0087.3m18.6k
8082.2%±6.7퍼센트포인트US$0.03012.5m30.5k
8182.1%±2.4퍼센트포인트US$0.04183s27k
8281.9%±1.4퍼센트포인트US$0.0343.5m13.9k
8381.7%±2.0퍼센트포인트US$0.0099.6m19.5k
8481.6%±1.3퍼센트포인트US$0.0274.6m25.4k
8581.6%±1.1퍼센트포인트US$0.314.8m20.7k
8681.3%--US$0.0085.9m33.9k
8781.0%±1.8퍼센트포인트US$0.2418.0m63.9k
8881.0%±2.2퍼센트포인트US$0.0453.5m22.4k
8980.8%--US$0.0536.8m43.9k
9080.8%±1.4퍼센트포인트US$0.0224.1m17.5k
9179.8%±4.3퍼센트포인트US$0.0438.6m42.6k
9279.1%±3.4퍼센트포인트US$0.1614.8m66.9k
9378.9%±2.3퍼센트포인트US$0.0297.1m25.9k
9478.6%--US$0.263.0m17.4k
9578.6%--US$0.05810.6m23.1k
9677.7%±0.4퍼센트포인트US$0.01364s10.3k
9777.4%±2.0퍼센트포인트US$0.00611.8m37.6k
9877.2%±4.8퍼센트포인트US$0.01414.9m40.6k
9977.2%±0.3퍼센트포인트US$0.0187.5m17.5k
10077.1%±3.3퍼센트포인트US$0.06317.0m30.9k
10176.7%±4.1퍼센트포인트US$0.05314.9m23.3k
10275.8%--US$0.0152.9m24k
10375.1%±1.1퍼센트포인트US$0.0151.8m14.5k
10474.9%±1.9퍼센트포인트US$0.0032.8m31k
10574.2%±2.3퍼센트포인트US$0.0066.2m24.1k
10673.2%±2.4퍼센트포인트US$0.01611.2m60.9k
10773.2%±0.8퍼센트포인트US$0.194.0m37.9k
10872.8%±0.4퍼센트포인트US$0.0612.0m24.2k
10972.7%±1.6퍼센트포인트US$0.0065.4m8.11k
11072.1%±13.3퍼센트포인트US$0.6210.7m41k
11171.8%±0.3퍼센트포인트US$0.01185s10.5k
11270.6%±2.6퍼센트포인트US$0.0096.2m45.1k
11370.5%±0.4퍼센트포인트US$0.0133.9m33.3k
11469.5%±0.8퍼센트포인트US$0.0074.9m5.94k
11569.3%±4.4퍼센트포인트US$0.01515.5m50.7k
11666.8%--US$0.0145.4m15.3k
11766.3%±0.5퍼센트포인트US$0.00381s2.99k
11865.7%--US$0.01528.6m64.4k
11965.2%±1.3퍼센트포인트US$0.00427s2.41k
12065.2%±2.5퍼센트포인트US$0.00610.7m41.8k
12164.9%±0.6퍼센트포인트US$0.0032.8m10.3k
12264.2%±1.4퍼센트포인트US$0.0073.9m11.5k
12363.7%±0.4퍼센트포인트US$0.01615s1.75k
12463.7%±13.9퍼센트포인트US$0.0146.9m12k
12563.2%±2.2퍼센트포인트US$0.01811.2m89.4k
12662.1%±1.2퍼센트포인트US$0.00265s2.17k
12760.9%±1.0퍼센트포인트US$0.0085.6m17.3k
12860.9%--US$0.0085.0m15.4k
12960.4%±0.5퍼센트포인트US$0.00435s2.12k
13059.2%±0.3퍼센트포인트US$0.0038.7m11.7k
13155.2%±0.5퍼센트포인트US$0.0181.9m44.3k
13254.6%±8.7퍼센트포인트US$0.0062.1m5.65k
13353.9%--US$0.0052.0m11.8k
13452.0%±0.3퍼센트포인트US$0.01816s1.56k
13551.7%±0.5퍼센트포인트US$0.01610.6m40.5k
13651.1%±0.1퍼센트포인트US$0.01313s1.12k
13750.5%--US$0.01011.7m64.8k
13849.1%±0.9퍼센트포인트US$0.0008423s1.9k
13947.5%±1.0퍼센트포인트US$0.00186s2.36k
14046.0%±1.3퍼센트포인트US$0.0011.6m1.85k
14143.6%±0.7퍼센트포인트US$0.00122s1.48k
14242.9%--US$0.00259s1.66k
14338.9%--US$0.000239s711
14438.0%±1.2퍼센트포인트US$0.0003852s2.26k
14528.6%--US$0.0005915s1.64k
14627.7%±2.2퍼센트포인트US$0.0012.5m15.5k
14727.7%±0.1퍼센트포인트US$0.0000629s580
14827.1%--US$0.0001111s1.8k
14921.4%--US$0.1878s14.6k
15010.3%±0.0퍼센트포인트US$0.01822s11.8k

예제 문제

GPQA는 단순히 정의를 떠올리는 것 이상의 능력을 요구하는 사지선다형 질문을 사용합니다. 이 대표 예시는 벤치마크의 보호된 문제 모음에 있는 문항을 재현하지 않고 형식과 과학 분야의 범위를 보여줍니다.

Biology

A researcher observes that a membrane protein is synthesized on ribosomes attached to the rough endoplasmic reticulum. Which destination is most consistent with this protein entering the secretory pathway?

  1. A.The cytosol, where it remains soluble
  2. B.The nucleus, after import through a nuclear pore
  3. C.A membrane of the endomembrane system or the cell surface
  4. D.The mitochondrial matrix through a TOM/TIM complex

정답: C

Ribosomes on the rough ER synthesize proteins destined for secretion or insertion into the endomembrane system, including the plasma membrane.

Physics

A spacecraft is far from other bodies and fires its engine in the direction opposite to its velocity. Ignoring mass loss during the brief burn, what happens immediately to its speed?

  1. A.It increases because the exhaust carries away backward momentum
  2. B.It decreases because the thrust points opposite to its velocity
  3. C.It remains unchanged because thrust only changes direction
  4. D.It becomes zero because the spacecraft is in free space

정답: B

An impulse opposite the velocity vector reduces the spacecraft’s momentum and therefore its speed during the burn.

Chemistry

Why does adding a small amount of a common ion generally reduce the solubility of a sparingly soluble ionic solid in water?

  1. A.The common ion increases the solid’s lattice energy
  2. B.The common ion shifts the dissolution equilibrium toward the solid
  3. C.The common ion converts every dissolved ion into a neutral molecule
  4. D.The common ion removes solvent molecules from the solution

정답: B

The added ion raises the concentration of a dissolution product, so Le Chatelier’s principle shifts the equilibrium toward the undissolved solid.

이 벤치마크를 실행하는 이유

GPQA는 생물학, 물리학, 화학 전반을 아우르는 대학원 수준의 추론 테스트이므로, 적은 비용으로 배포 상태가 정상인지에 대한 높은 기본 신뢰도의 신호를 제공합니다. 평소에는 이 문제들을 잘 풀던 모델의 성능이 갑자기 떨어지는 경우, 대개 문제 자체보다는 엔드포인트나 라우팅에 문제가 있음을 나타냅니다.

제공업체 엔드포인트 전반에서 동일한 고정 문제 세트를 실행하므로, 같은 모델을 제공하는 제공업체 간의 큰 정확도 격차를 통해 잘못 구성되었거나 성능이 저하된 엔드포인트를 빠르게 감지할 수 있습니다. 비용 및 지연 시간 열은 해당 추론 품질을 제공하는 데 드는 비용과 지연 시간을 보여 줍니다.

점수로 알 수 있는 것과 알 수 없는 것

GPQA는 범위가 좁은 고난도 평가로, 일반 지능이나 유용성을 완전히 측정하지는 않습니다. 점수는 전문가가 작성한 객관식 과학 질문에 대한 성능을 반영하며 코딩, 지시 준수, 사실성 및 기타 평가와 함께 고려해야 합니다.

점수는 샘플링 설정, 정답 위치 처리 방식, 반복 실행 횟수에 민감할 수 있습니다. 모델 간 샘플 수가 비슷할 때 작은 차이는 유의미하지 않을 수 있으므로, 순위표에는 정확도뿐 아니라 실행 간 변동성과 비용 정보도 포함됩니다.

이 벤치마크의 내용은 공개적으로 설명되어 있으며, 일부 질문은 향후 학습 데이터에 포함될 수 있습니다. 여기서는 비공개 질문 풀을 재현하지 않지만, 어떤 공개 벤치마크도 향후 모든 평가 항목이 학습 데이터에 노출되지 않았음을 보장할 수는 없습니다.

방법론

점수는 최근 90 일간의 성공한 실행을 질문 수로 가중하여 집계하며, 모델-제공업체 쌍별로 최소 표본 임계값을 적용합니다. 모델의 대표 점수는 기본 라우팅을 사용할 수 있으면 이를 사용하고, 그렇지 않으면 중앙값에 해당하는 제공업체로 대체합니다. 비용, 시간, 출력 토큰 수치는 동일한 실행에서 산출한 질문당 평균입니다. 최고 가성비 모델은 최고 점수와의 차이가 5퍼센트포인트 이내인 파레토 최적 모델 중 가장 저렴한 모델입니다.

GPQA Diamond에 대한 설명은 원본 논문에 있습니다. 라우팅에 관한 자세한 내용은 문서 에서 확인하거나, 사용해 볼 모델을 찾으려면 전체 모델 을 살펴보십시오.

API 액세스

이 점수는 OpenRouter의 공개 벤치마크 API를 통해 제공되므로 동일한 모델 수준의 결과를 프로그래밍 방식으로 가져올 수 있습니다.

GET https://dynamicsinfo.com/api/v1/benchmarks?source=openrouter
Authorization: Bearer <API key>

다음을 사용하여 task_type=intelligence 기준으로 필터링합니다: gpqa_diamond. 각 항목은 모델 하나를 나타내며 다음을 포함합니다: accuracy, accuracy_stddev, avg_cost_per_task, total_tasks, last_run_timestamp. 다음 문서를 참조하십시오: 벤치마크 API 문서.

다운로드 및 인용

이 리더보드의 스냅샷은 benchmark-leaderboard 공개 데이터셋에 게시되며(필터링 기준: benchmark 열), daily 간격으로 재생성되며 API 키가 필요하지 않습니다. 현재 스냅샷은 에 생성되었습니다. 라이선스는 CC BY 4.0이며, OpenRouter를 출처로 표시하면 재사용 및 재게시할 수 있습니다.

열 정의, 방법론 및 마스킹 규칙: 데이터 세트 README에서 확인할 수 있습니다.

이 리더보드 인용

OpenRouter (2026). OpenRouter의 GPQA Diamond 결과, 2026-11-16 스냅샷. https://dynamicsinfo.com/benchmarks/gpqa-diamond. CC BY 4.0 라이선스 적용.

자주 묻는 질문