Tous les tests de référence

GPQA Diamond

GPQA Diamond est un test d’évaluation à choix multiples de niveau universitaire avancé en biologie, en physique et en chimie. Chaque question est rédigée par un expert du domaine et conçue de sorte que même les spécialistes doivent raisonner avec soin pour trouver la bonne réponse. Nous soumettons le même ensemble fixe de questions aux points de terminaison des fournisseurs afin de comparer les capacités des modèles, le routage et le coût réel de la résolution de problèmes scientifiques difficiles.

Dernière exécution de l’évaluation comparative

Quel modèle est en tête de l'évaluation GPQA Diamond ?

Google: Gemini 4 Argon est en tête de GPQA Diamond avec 96,5 % au 15 nov. 2026, 02:47 UTC. Le même ensemble fixe de questions GPQA Diamond et le même barème sont conservés pour tous les points de terminaison des fournisseurs en production. La ligne principale utilise le routage par défaut lorsqu’il est disponible ; sinon, elle utilise un résultat représentatif d’un fournisseur.

Comparaison des modèles

Le plus précis

Meilleur rapport qualité-prix

Favicon de openai
OpenAI: GPT-6.1 Sol

0,021 $US/question

Exactitude
Exactitude de l’exécution représentative, de la meilleure à la moins bonne.
Coût par question
Coût moyen par question, du moins cher au plus cher.
Temps par question
Temps réel moyen par question, du plus rapide au plus lent.

Efficacité économique

Précision et coût (frontière de Pareto)
Un point par modèle, avec le routage par défaut (sans fournisseur imposé) lorsqu’il est disponible. La ligne représente la frontière de Pareto : aucun modèle ne surpasse ceux-ci à la fois en précision et en coût.

Classement

Les lignes de premier niveau utilisent le routage par défaut lorsqu’il est disponible ; cliquez sur une ligne pour afficher les résultats avec un fournisseur imposé.

Classement GPQA Diamond : précision des modèles, coût, temps et jetons de sortie par question, par fournisseur
#ModèleÉcart-type
196,5 %--0,095 $US1,7m8,44k
295,6 %--0,068 $US2,2m18k
395,5 %--0,33 $US75s4,53k
494,9 %--0,084 $US26s1,87k
594,5 %±0,1points de pourcentage0,20 $US2,2m16,7k
694,4 %--0,11 $US57s2,11k
794,4 %--0,021 $US52s1,98k
894,1 %--0,15 $US1,6m11,6k
993,9 %±0,3points de pourcentage0,31 $US2,5m10,3k
1093,9 %±0,4points de pourcentage0,029 $US59s7,68k
1192,9 %--0,088 $US86s8,6k
1292,8 %±0,4points de pourcentage0,12 $US6,0m20,3k
1392,8 %±0,6points de pourcentage0,025 $US20s2,28k
1492,8 %±0,5points de pourcentage0,044 $US62s11,7k
1592,4 %±0,0points de pourcentage0,039 $US63s3,71k
1692,3 %±0,1points de pourcentage0,14 $US90s15,8k
1792,0 %±1,0points de pourcentage0,13 $US4,0m10,7k
1891,9 %--0,025 $US32s2,37k
19
Amazon Bedrock
91,9 %--0,22 $US13,4m36,1k
2091,1 %--0,011 $US28s2,13k
2191,1 %--0,031 $US1,6m30,6k
2290,9 %--0,22 $US5,0m29,4k
2390,5 %±1,6points de pourcentage0,11 $US9,0m37,5k
2490,2 %±0,0points de pourcentage0,14 $US2,5m9,46k
2590,2 %±0,5points de pourcentage0,054 $US30s2,5k
2690,2 %±1,9points de pourcentage0,035 $US5,2m30,5k
2790,2 %±0,4points de pourcentage0,074 $US2,3m17,1k
2890,1 %±0,7points de pourcentage0,011 $US2,0m19,4k
2989,9 %±0,7points de pourcentage0,13 $US31s2,4k
3089,8 %±0,6points de pourcentage0,12 $US13,8m47,5k
3189,7 %±1,1points de pourcentage0,20 $US1,6m7,86k
3289,6 %±0,3points de pourcentage0,038 $US2,4m27k
3389,5 %±1,0points de pourcentage0,23 $US1,8m9,01k
3489,1 %±0,8points de pourcentage0,023 $US4,1m30,7k
3588,8 %±0,4points de pourcentage0,033 $US12,5m38k
3688,6 %±0,3points de pourcentage0,22 $US1,8m8,64k
3788,6 %--0,021 $US11,2m45,5k
3888,5 %±0,1points de pourcentage0,13 $US4,2m43,9k
3988,4 %±0,0points de pourcentage0,041 $US55s3,32k
4088,4 %--0,008 $US73s13,1k
4188,4 %±0,0points de pourcentage0,015 $US71s13,6k
4288,0 %±1,1points de pourcentage0,023 $US3,9m25,3k
4387,9 %±1,9points de pourcentage0,13 $US62s4,87k
4487,9 %--0,044 $US9,8m34,2k
4587,8 %±3,7points de pourcentage0,18 $US45s3,49k
4687,6 %±0,9points de pourcentage0,014 $US2,9m26k
4787,6 %±0,6points de pourcentage0,009 $US83s7,69k
4887,4 %±1,4points de pourcentage0,091 $US3,3m14,8k
4987,4 %--0,003 $US50s5,75k
5087,3 %±1,8points de pourcentage0,047 $US11,2m36k
5186,8 %±1,0points de pourcentage0,022 $US8,7m46,3k
5286,7 %±0,5points de pourcentage0,004 $US39s7,89k
5386,7 %±4,2points de pourcentage0,16 $US15,9m56,1k
5486,7 %±0,0points de pourcentage0,22 $US4,4m22,2k
5586,7 %±2,7points de pourcentage0,008 $US6,9m26,9k
5686,6 %±1,8points de pourcentage0,10 $US7,6m26,9k
5786,6 %±1,4points de pourcentage0,75 $US8,4m30k
5886,6 %±0,8points de pourcentage0,025 $US3,9m20,8k
5986,5 %±1,0points de pourcentage0,84 $US6,8m33,5k
6086,0 %±2,8points de pourcentage0,082 $US6,1m23,7k
6185,9 %±0,8points de pourcentage0,006 $US9,3m32,3k
6285,9 %--0,020 $US2,0m15,4k
6385,7 %±0,3points de pourcentage0,21 $US4,4m20,9k
6485,5 %±2,1points de pourcentage0,044 $US10,0m37,9k
6585,4 %±1,3points de pourcentage0,10 $US7,6m31,8k
6685,3 %±4,9points de pourcentage0,17 $US2,8m16,8k
6785,2 %±1,4points de pourcentage0,14 $US7,3m49,9k
6884,9 %±1,0points de pourcentage0,055 $US4,2m23,1k
6984,8 %--0,001 $US88s17,5k
7084,5 %±4,9points de pourcentage0,096 $US20,9m37,9k
7184,4 %±0,9points de pourcentage0,036 $US53s14,5k
7284,1 %±2,4points de pourcentage0,014 $US8,8m40,1k
7383,8 %±3,0points de pourcentage0,090 $US12,9m31,8k
7483,8 %±0,6points de pourcentage0,062 $US75s13,6k
7583,4 %±1,1points de pourcentage0,095 $US4,9m23,4k
7683,2 %--0,064 $US8,2m51,2k
7782,7 %±1,9points de pourcentage0,093 $US18,5m45,2k
7882,6 %±1,6points de pourcentage0,26 $US3,9m26k
7982,3 %±1,4points de pourcentage0,008 $US7,3m18,6k
8082,2 %±6,7points de pourcentage0,030 $US12,5m30,5k
8182,1 %±2,4points de pourcentage0,041 $US83s27k
8281,9 %±1,4points de pourcentage0,034 $US3,5m13,9k
8381,7 %±2,0points de pourcentage0,009 $US9,6m19,5k
8481,6 %±1,3points de pourcentage0,027 $US4,6m25,4k
8581,6 %±1,1points de pourcentage0,31 $US4,8m20,7k
8681,3 %--0,008 $US5,9m33,9k
8781,0 %±1,8points de pourcentage0,24 $US18,0m63,9k
8881,0 %±2,2points de pourcentage0,045 $US3,5m22,4k
8980,8 %--0,053 $US6,8m43,9k
9080,8 %±1,4points de pourcentage0,022 $US4,1m17,5k
9179,8 %±4,3points de pourcentage0,043 $US8,6m42,6k
9279,1 %±3,4points de pourcentage0,16 $US14,8m66,9k
9378,9 %±2,3points de pourcentage0,029 $US7,1m25,9k
9478,6 %--0,26 $US3,0m17,4k
9578,6 %--0,058 $US10,6m23,1k
9677,7 %±0,4points de pourcentage0,013 $US64s10,3k
9777,4 %±2,0points de pourcentage0,006 $US11,8m37,6k
9877,2 %±4,8points de pourcentage0,014 $US14,9m40,6k
9977,2 %±0,3points de pourcentage0,018 $US7,5m17,5k
10077,1 %±3,3points de pourcentage0,063 $US17,0m30,9k
10176,7 %±4,1points de pourcentage0,053 $US14,9m23,3k
10275,8 %--0,015 $US2,9m24k
10375,1 %±1,1points de pourcentage0,015 $US1,8m14,5k
10474,9 %±1,9points de pourcentage0,003 $US2,8m31k
10574,2 %±2,3points de pourcentage0,006 $US6,2m24,1k
10673,2 %±2,4points de pourcentage0,016 $US11,2m60,9k
10773,2 %±0,8points de pourcentage0,19 $US4,0m37,9k
10872,8 %±0,4points de pourcentage0,061 $US2,0m24,2k
10972,7 %±1,6points de pourcentage0,006 $US5,4m8,11k
11072,1 %±13,3points de pourcentage0,62 $US10,7m41k
11171,8 %±0,3points de pourcentage0,011 $US85s10,5k
11270,6 %±2,6points de pourcentage0,009 $US6,2m45,1k
11370,5 %±0,4points de pourcentage0,013 $US3,9m33,3k
11469,5 %±0,8points de pourcentage0,007 $US4,9m5,94k
11569,3 %±4,4points de pourcentage0,015 $US15,5m50,7k
11666,8 %--0,014 $US5,4m15,3k
11766,3 %±0,5points de pourcentage0,003 $US81s2,99k
11865,7 %--0,015 $US28,6m64,4k
11965,2 %±1,3points de pourcentage0,004 $US27s2,41k
12065,2 %±2,5points de pourcentage0,006 $US10,7m41,8k
12164,9 %±0,6points de pourcentage0,003 $US2,8m10,3k
12264,2 %±1,4points de pourcentage0,007 $US3,9m11,5k
12363,7 %±0,4points de pourcentage0,016 $US15s1,75k
12463,7 %±13,9points de pourcentage0,014 $US6,9m12k
12563,2 %±2,2points de pourcentage0,018 $US11,2m89,4k
12662,1 %±1,2points de pourcentage0,002 $US65s2,17k
12760,9 %±1,0points de pourcentage0,008 $US5,6m17,3k
12860,9 %--0,008 $US5,0m15,4k
12960,4 %±0,5points de pourcentage0,004 $US35s2,12k
13059,2 %±0,3points de pourcentage0,003 $US8,7m11,7k
13155,2 %±0,5points de pourcentage0,018 $US1,9m44,3k
13254,6 %±8,7points de pourcentage0,006 $US2,1m5,65k
13353,9 %--0,005 $US2,0m11,8k
13452,0 %±0,3points de pourcentage0,018 $US16s1,56k
13551,7 %±0,5points de pourcentage0,016 $US10,6m40,5k
13651,1 %±0,1points de pourcentage0,013 $US13s1,12k
13750,5 %--0,010 $US11,7m64,8k
13849,1 %±0,9points de pourcentage0,00084 $US23s1,9k
13947,5 %±1,0points de pourcentage0,001 $US86s2,36k
14046,0 %±1,3points de pourcentage0,001 $US1,6m1,85k
14143,6 %±0,7points de pourcentage0,001 $US22s1,48k
14242,9 %--0,002 $US59s1,66k
14338,9 %--0,00023 $US9s711
14438,0 %±1,2points de pourcentage0,00038 $US52s2,26k
14528,6 %--0,00059 $US15s1,64k
14627,7 %±2,2points de pourcentage0,001 $US2,5m15,5k
14727,7 %±0,1points de pourcentage0,000062 $US9s580
14827,1 %--0,00011 $US11s1,8k
14921,4 %--0,18 $US78s14,6k
15010,3 %±0,0points de pourcentage0,018 $US22s11,8k

Exemples de problèmes

GPQA utilise des questions à quatre choix qui exigent davantage que le simple rappel d’une définition. Ces exemples représentatifs illustrent le format et l’éventail des domaines scientifiques sans reproduire de questions issues de la banque protégée de questions du test de référence.

Biology

A researcher observes that a membrane protein is synthesized on ribosomes attached to the rough endoplasmic reticulum. Which destination is most consistent with this protein entering the secretory pathway?

  1. A.The cytosol, where it remains soluble
  2. B.The nucleus, after import through a nuclear pore
  3. C.A membrane of the endomembrane system or the cell surface
  4. D.The mitochondrial matrix through a TOM/TIM complex

Réponse : C

Ribosomes on the rough ER synthesize proteins destined for secretion or insertion into the endomembrane system, including the plasma membrane.

Physics

A spacecraft is far from other bodies and fires its engine in the direction opposite to its velocity. Ignoring mass loss during the brief burn, what happens immediately to its speed?

  1. A.It increases because the exhaust carries away backward momentum
  2. B.It decreases because the thrust points opposite to its velocity
  3. C.It remains unchanged because thrust only changes direction
  4. D.It becomes zero because the spacecraft is in free space

Réponse : B

An impulse opposite the velocity vector reduces the spacecraft’s momentum and therefore its speed during the burn.

Chemistry

Why does adding a small amount of a common ion generally reduce the solubility of a sparingly soluble ionic solid in water?

  1. A.The common ion increases the solid’s lattice energy
  2. B.The common ion shifts the dissolution equilibrium toward the solid
  3. C.The common ion converts every dissolved ion into a neutral molecule
  4. D.The common ion removes solvent molecules from the solution

Réponse : B

The added ion raises the concentration of a dissolution product, so Le Chatelier’s principle shifts the equilibrium toward the undissolved solid.

Pourquoi nous réalisons cette évaluation comparative

GPQA est un test général de raisonnement de niveau universitaire avancé couvrant la biologie, la physique et la chimie, qui nous fournit donc un indicateur peu coûteux permettant de vérifier qu’un déploiement maintient le niveau de performance attendu. Un modèle qui réussit habituellement ces questions mais dont les performances chutent soudainement indique généralement un dysfonctionnement du point de terminaison ou du routage plutôt qu’un problème lié aux questions elles-mêmes.

Comme nous utilisons le même ensemble fixe de questions sur les points de terminaison des fournisseurs, un écart important de précision entre des fournisseurs servant le même modèle permet de repérer rapidement un point de terminaison mal configuré ou dégradé. Les colonnes de coût et de latence indiquent ce que coûte cette qualité de raisonnement en conditions de service.

Ce que les scores peuvent et ne peuvent pas vous dire

GPQA est une évaluation ciblée et très difficile, et non une mesure complète de l’intelligence générale ou de l’utilité. Un score reflète les performances sur des questions scientifiques à choix multiples rédigées par des experts et doit être considéré en complément des évaluations du code, du suivi des instructions, de l’exactitude factuelle et d’autres évaluations.

Les scores peuvent être sensibles aux paramètres d’échantillonnage, au traitement de la position des réponses et au nombre d’exécutions répétées. De faibles écarts peuvent ne pas être significatifs lorsque les modèles ont des nombres d’échantillons similaires, c’est pourquoi le classement inclut la variabilité des exécutions et des informations sur les coûts plutôt que de présenter uniquement la précision.

Le test de référence est décrit publiquement, et certaines questions pourraient finir par apparaître dans les données d’entraînement. Nous évitons de reproduire ici l’ensemble privé de questions, mais aucun test de référence public ne peut garantir que chaque futur élément d’évaluation sera exempt de contamination.

Méthodologie

Les scores regroupent les exécutions réussies des 90 derniers jours, pondérées par le nombre de questions, avec un seuil minimal d’échantillonnage par paire modèle-fournisseur. Le score principal d’un modèle utilise le routage par défaut lorsqu’il est disponible ; sinon, il se base sur le fournisseur médian. Les chiffres de coût, de temps et de jetons de sortie sont des moyennes par question issues des mêmes exécutions. Le meilleur rapport qualité-prix correspond au modèle Pareto-optimal le moins cher dont le score est inférieur d’au plus cinq points de pourcentage au meilleur score.

GPQA Diamond est décrit dans l’ article original. Consultez la documentation pour les détails du routage, ou parcourez tous les modèles pour en essayer un.

Accès à l’API

Ces scores sont disponibles via l’API publique d’OpenRouter dédiée aux évaluations comparatives, ce qui vous permet de récupérer les mêmes résultats par modèle de manière programmatique.

GET https://dynamicsinfo.com/api/v1/benchmarks?source=openrouter
Authorization: Bearer <API key>

Utilisez task_type=intelligence pour filtrer sur gpqa_diamond. Chaque élément représente un modèle et comprend accuracy, accuracy_stddev, avg_cost_per_task, total_tasks et last_run_timestamp. Consultez la documentation de l’API des évaluations.

Télécharger et citer

Un instantané de ce classement est publié dans le jeu de données ouvert benchmark-leaderboard (filtrez sur la colonne benchmark ), régénéré daily sans qu’aucune clé API soit requise. L’instantané actuel a été généré le . Il est distribué sous licence CC BY 4.0, vous pouvez donc le réutiliser et le republier en mentionnant OpenRouter.

Les définitions des colonnes, la méthodologie et les règles de masquage figurent dans le README du jeu de données.

Citer ce classement

OpenRouter (2026). Résultats de GPQA Diamond sur OpenRouter, instantané du 2026-11-16. https://dynamicsinfo.com/benchmarks/gpqa-diamond. Sous licence CC BY 4.0.

Questions fréquentes