Todos os testes de desempenho

GPQA Diamond

GPQA Diamond é um teste de avaliação de múltipla escolha de nível de pós-graduação em biologia, física e química. Cada pergunta é escrita por um especialista no assunto e elaborada para que até mesmo especialistas da área precisem raciocinar com cuidado para identificar a resposta correta. Executamos o mesmo conjunto fixo de perguntas nos endpoints dos provedores para comparar a capacidade dos modelos, o roteamento e o custo prático de resolver problemas científicos difíceis.

Última execução da avaliação comparativa

Qual modelo lidera a avaliação GPQA Diamond?

Google: Gemini 4 Argon lidera o GPQA Diamond com 96,5% em 15 de nov. de 2026, 02:47 UTC. O mesmo conjunto fixo de perguntas e a mesma pontuação do GPQA Diamond são mantidos constantes em todos os endpoints de provedores em produção. A linha de destaque usa o roteamento padrão quando disponível; caso contrário, usa um resultado representativo de um provedor.

Comparação de modelos

Mais preciso

Melhor custo-benefício

Favicon de openai
OpenAI: GPT-6.1 Sol

US$ 0,021/pergunta

Acurácia
Acurácia da execução representativa, da melhor para a pior.
Custo por pergunta
Custo médio por pergunta, do menor para o maior.
Tempo por pergunta
Tempo médio decorrido por pergunta, do mais rápido para o mais lento.

Eficiência de custos

Precisão vs. custo (fronteira de Pareto)
Um ponto por modelo, usando o roteamento padrão (sem fixar um provedor) quando disponível. A linha é a fronteira de Pareto: nenhum modelo supera esses modelos tanto em precisão quanto em custo.

Classificação

As linhas de nível superior usam o roteamento padrão quando disponível; clique em uma linha para expandir os resultados com provedor fixado.

Classificação do GPQA Diamond: precisão do modelo, custo, tempo e tokens de saída por pergunta, por provedor
#ModeloDesvio padrão
196,5%--US$ 0,0951,7m8,44k
295,6%--US$ 0,0682,2m18k
395,5%--US$ 0,3375s4,53k
494,9%--US$ 0,08426s1,87k
594,5%±0,1ppUS$ 0,202,2m16,7k
694,4%--US$ 0,1157s2,11k
794,4%--US$ 0,02152s1,98k
894,1%--US$ 0,151,6m11,6k
993,9%±0,3ppUS$ 0,312,5m10,3k
1093,9%±0,4ppUS$ 0,02959s7,68k
1192,9%--US$ 0,08886s8,6k
1292,8%±0,4ppUS$ 0,126,0m20,3k
1392,8%±0,6ppUS$ 0,02520s2,28k
1492,8%±0,5ppUS$ 0,04462s11,7k
1592,4%±0,0ppUS$ 0,03963s3,71k
1692,3%±0,1ppUS$ 0,1490s15,8k
1792,0%±1,0ppUS$ 0,134,0m10,7k
1891,9%--US$ 0,02532s2,37k
19
Amazon Bedrock
91,9%--US$ 0,2213,4m36,1k
2091,1%--US$ 0,01128s2,13k
2191,1%--US$ 0,0311,6m30,6k
2290,9%--US$ 0,225,0m29,4k
2390,5%±1,6ppUS$ 0,119,0m37,5k
2490,2%±0,0ppUS$ 0,142,5m9,46k
2590,2%±0,5ppUS$ 0,05430s2,5k
2690,2%±1,9ppUS$ 0,0355,2m30,5k
2790,2%±0,4ppUS$ 0,0742,3m17,1k
2890,1%±0,7ppUS$ 0,0112,0m19,4k
2989,9%±0,7ppUS$ 0,1331s2,4k
3089,8%±0,6ppUS$ 0,1213,8m47,5k
3189,7%±1,1ppUS$ 0,201,6m7,86k
3289,6%±0,3ppUS$ 0,0382,4m27k
3389,5%±1,0ppUS$ 0,231,8m9,01k
3489,1%±0,8ppUS$ 0,0234,1m30,7k
3588,8%±0,4ppUS$ 0,03312,5m38k
3688,6%±0,3ppUS$ 0,221,8m8,64k
3788,6%--US$ 0,02111,2m45,5k
3888,5%±0,1ppUS$ 0,134,2m43,9k
3988,4%±0,0ppUS$ 0,04155s3,32k
4088,4%--US$ 0,00873s13,1k
4188,4%±0,0ppUS$ 0,01571s13,6k
4288,0%±1,1ppUS$ 0,0233,9m25,3k
4387,9%±1,9ppUS$ 0,1362s4,87k
4487,9%--US$ 0,0449,8m34,2k
4587,8%±3,7ppUS$ 0,1845s3,49k
4687,6%±0,9ppUS$ 0,0142,9m26k
4787,6%±0,6ppUS$ 0,00983s7,69k
4887,4%±1,4ppUS$ 0,0913,3m14,8k
4987,4%--US$ 0,00350s5,75k
5087,3%±1,8ppUS$ 0,04711,2m36k
5186,8%±1,0ppUS$ 0,0228,7m46,3k
5286,7%±0,5ppUS$ 0,00439s7,89k
5386,7%±4,2ppUS$ 0,1615,9m56,1k
5486,7%±0,0ppUS$ 0,224,4m22,2k
5586,7%±2,7ppUS$ 0,0086,9m26,9k
5686,6%±1,8ppUS$ 0,107,6m26,9k
5786,6%±1,4ppUS$ 0,758,4m30k
5886,6%±0,8ppUS$ 0,0253,9m20,8k
5986,5%±1,0ppUS$ 0,846,8m33,5k
6086,0%±2,8ppUS$ 0,0826,1m23,7k
6185,9%±0,8ppUS$ 0,0069,3m32,3k
6285,9%--US$ 0,0202,0m15,4k
6385,7%±0,3ppUS$ 0,214,4m20,9k
6485,5%±2,1ppUS$ 0,04410,0m37,9k
6585,4%±1,3ppUS$ 0,107,6m31,8k
6685,3%±4,9ppUS$ 0,172,8m16,8k
6785,2%±1,4ppUS$ 0,147,3m49,9k
6884,9%±1,0ppUS$ 0,0554,2m23,1k
6984,8%--US$ 0,00188s17,5k
7084,5%±4,9ppUS$ 0,09620,9m37,9k
7184,4%±0,9ppUS$ 0,03653s14,5k
7284,1%±2,4ppUS$ 0,0148,8m40,1k
7383,8%±3,0ppUS$ 0,09012,9m31,8k
7483,8%±0,6ppUS$ 0,06275s13,6k
7583,4%±1,1ppUS$ 0,0954,9m23,4k
7683,2%--US$ 0,0648,2m51,2k
7782,7%±1,9ppUS$ 0,09318,5m45,2k
7882,6%±1,6ppUS$ 0,263,9m26k
7982,3%±1,4ppUS$ 0,0087,3m18,6k
8082,2%±6,7ppUS$ 0,03012,5m30,5k
8182,1%±2,4ppUS$ 0,04183s27k
8281,9%±1,4ppUS$ 0,0343,5m13,9k
8381,7%±2,0ppUS$ 0,0099,6m19,5k
8481,6%±1,3ppUS$ 0,0274,6m25,4k
8581,6%±1,1ppUS$ 0,314,8m20,7k
8681,3%--US$ 0,0085,9m33,9k
8781,0%±1,8ppUS$ 0,2418,0m63,9k
8881,0%±2,2ppUS$ 0,0453,5m22,4k
8980,8%--US$ 0,0536,8m43,9k
9080,8%±1,4ppUS$ 0,0224,1m17,5k
9179,8%±4,3ppUS$ 0,0438,6m42,6k
9279,1%±3,4ppUS$ 0,1614,8m66,9k
9378,9%±2,3ppUS$ 0,0297,1m25,9k
9478,6%--US$ 0,263,0m17,4k
9578,6%--US$ 0,05810,6m23,1k
9677,7%±0,4ppUS$ 0,01364s10,3k
9777,4%±2,0ppUS$ 0,00611,8m37,6k
9877,2%±4,8ppUS$ 0,01414,9m40,6k
9977,2%±0,3ppUS$ 0,0187,5m17,5k
10077,1%±3,3ppUS$ 0,06317,0m30,9k
10176,7%±4,1ppUS$ 0,05314,9m23,3k
10275,8%--US$ 0,0152,9m24k
10375,1%±1,1ppUS$ 0,0151,8m14,5k
10474,9%±1,9ppUS$ 0,0032,8m31k
10574,2%±2,3ppUS$ 0,0066,2m24,1k
10673,2%±2,4ppUS$ 0,01611,2m60,9k
10773,2%±0,8ppUS$ 0,194,0m37,9k
10872,8%±0,4ppUS$ 0,0612,0m24,2k
10972,7%±1,6ppUS$ 0,0065,4m8,11k
11072,1%±13,3ppUS$ 0,6210,7m41k
11171,8%±0,3ppUS$ 0,01185s10,5k
11270,6%±2,6ppUS$ 0,0096,2m45,1k
11370,5%±0,4ppUS$ 0,0133,9m33,3k
11469,5%±0,8ppUS$ 0,0074,9m5,94k
11569,3%±4,4ppUS$ 0,01515,5m50,7k
11666,8%--US$ 0,0145,4m15,3k
11766,3%±0,5ppUS$ 0,00381s2,99k
11865,7%--US$ 0,01528,6m64,4k
11965,2%±1,3ppUS$ 0,00427s2,41k
12065,2%±2,5ppUS$ 0,00610,7m41,8k
12164,9%±0,6ppUS$ 0,0032,8m10,3k
12264,2%±1,4ppUS$ 0,0073,9m11,5k
12363,7%±0,4ppUS$ 0,01615s1,75k
12463,7%±13,9ppUS$ 0,0146,9m12k
12563,2%±2,2ppUS$ 0,01811,2m89,4k
12662,1%±1,2ppUS$ 0,00265s2,17k
12760,9%±1,0ppUS$ 0,0085,6m17,3k
12860,9%--US$ 0,0085,0m15,4k
12960,4%±0,5ppUS$ 0,00435s2,12k
13059,2%±0,3ppUS$ 0,0038,7m11,7k
13155,2%±0,5ppUS$ 0,0181,9m44,3k
13254,6%±8,7ppUS$ 0,0062,1m5,65k
13353,9%--US$ 0,0052,0m11,8k
13452,0%±0,3ppUS$ 0,01816s1,56k
13551,7%±0,5ppUS$ 0,01610,6m40,5k
13651,1%±0,1ppUS$ 0,01313s1,12k
13750,5%--US$ 0,01011,7m64,8k
13849,1%±0,9ppUS$ 0,0008423s1,9k
13947,5%±1,0ppUS$ 0,00186s2,36k
14046,0%±1,3ppUS$ 0,0011,6m1,85k
14143,6%±0,7ppUS$ 0,00122s1,48k
14242,9%--US$ 0,00259s1,66k
14338,9%--US$ 0,000239s711
14438,0%±1,2ppUS$ 0,0003852s2,26k
14528,6%--US$ 0,0005915s1,64k
14627,7%±2,2ppUS$ 0,0012,5m15,5k
14727,7%±0,1ppUS$ 0,0000629s580
14827,1%--US$ 0,0001111s1,8k
14921,4%--US$ 0,1878s14,6k
15010,3%±0,0ppUS$ 0,01822s11,8k

Exemplos de problemas

O GPQA usa questões de quatro alternativas que exigem mais do que recordar uma definição. Estes exemplos representativos mostram o formato e a variedade de áreas científicas sem reproduzir itens do banco protegido de questões da avaliação comparativa.

Biology

A researcher observes that a membrane protein is synthesized on ribosomes attached to the rough endoplasmic reticulum. Which destination is most consistent with this protein entering the secretory pathway?

  1. A.The cytosol, where it remains soluble
  2. B.The nucleus, after import through a nuclear pore
  3. C.A membrane of the endomembrane system or the cell surface
  4. D.The mitochondrial matrix through a TOM/TIM complex

Resposta: C

Ribosomes on the rough ER synthesize proteins destined for secretion or insertion into the endomembrane system, including the plasma membrane.

Physics

A spacecraft is far from other bodies and fires its engine in the direction opposite to its velocity. Ignoring mass loss during the brief burn, what happens immediately to its speed?

  1. A.It increases because the exhaust carries away backward momentum
  2. B.It decreases because the thrust points opposite to its velocity
  3. C.It remains unchanged because thrust only changes direction
  4. D.It becomes zero because the spacecraft is in free space

Resposta: B

An impulse opposite the velocity vector reduces the spacecraft’s momentum and therefore its speed during the burn.

Chemistry

Why does adding a small amount of a common ion generally reduce the solubility of a sparingly soluble ionic solid in water?

  1. A.The common ion increases the solid’s lattice energy
  2. B.The common ion shifts the dissolution equilibrium toward the solid
  3. C.The common ion converts every dissolved ion into a neutral molecule
  4. D.The common ion removes solvent molecules from the solution

Resposta: B

The added ion raises the concentration of a dissolution product, so Le Chatelier’s principle shifts the equilibrium toward the undissolved solid.

Por que executamos esta avaliação comparativa

O GPQA é um teste abrangente de raciocínio de nível de pós-graduação em biologia, física e química, por isso nos fornece um indicador de baixo custo e com um patamar mínimo elevado de que uma implantação está funcionando bem. Um modelo que normalmente acerta essas questões, mas apresenta uma queda repentina, costuma indicar algum problema no endpoint ou no roteamento, e não nas próprias questões.

Como executamos o mesmo conjunto fixo de questões nos endpoints dos provedores, uma grande diferença de acurácia entre provedores que servem o mesmo modelo é uma forma rápida de detectar um endpoint mal configurado ou degradado. As colunas de custo e latência mostram quanto custa oferecer essa qualidade de raciocínio.

O que as pontuações podem e não podem indicar

O GPQA é uma avaliação de escopo restrito e alta dificuldade, não uma medida completa de inteligência geral ou utilidade. Uma pontuação reflete o desempenho em questões científicas de múltipla escolha elaboradas por especialistas e deve ser considerada junto com avaliações de programação, seguimento de instruções, factualidade e outras avaliações.

As pontuações podem ser sensíveis às configurações de amostragem, ao tratamento da posição das respostas e ao número de execuções repetidas. Pequenas diferenças podem não ser significativas quando os modelos têm quantidades semelhantes de amostras, por isso a classificação inclui a variabilidade entre execuções e o contexto de custos, em vez de apresentar apenas a acurácia.

A avaliação é descrita publicamente, e algumas questões podem acabar aparecendo nos dados de treinamento. Evitamos reproduzir aqui o conjunto privado de questões, mas nenhuma avaliação pública pode garantir que todos os futuros itens de avaliação estejam livres de contaminação.

Metodologia

As pontuações agregam execuções bem-sucedidas dos últimos 90 dias, ponderadas pelo número de questões, com um limite mínimo de amostra por par modelo-provedor. A pontuação principal de um modelo usa o roteamento padrão quando disponível; caso contrário, usa o provedor mediano como alternativa de contingência. Os valores de custo, tempo e tokens de saída são médias por questão das mesmas execuções. O melhor custo-benefício é o modelo mais barato na fronteira ótima de Pareto que esteja a até cinco pontos percentuais da maior pontuação.

O GPQA Diamond é descrito no artigo original. Consulte a documentação para obter detalhes de roteamento ou explore todos os modelos para experimentar um deles.

Acesso à API

Essas pontuações estão disponíveis pela API pública de avaliações comparativas do OpenRouter, para que você possa obter os mesmos resultados por modelo de forma programática.

GET https://dynamicsinfo.com/api/v1/benchmarks?source=openrouter
Authorization: Bearer <API key>

Use task_type=intelligence para filtrar por gpqa_diamond. Cada item representa um modelo e inclui accuracy, accuracy_stddev, avg_cost_per_task, total_tasks, e last_run_timestamp. Consulte: documentação da API de avaliações comparativas.

Baixar e citar

Um retrato desta classificação é publicado no conjunto de dados aberto benchmark-leaderboard (filtrar usando benchmark como coluna), regenerado daily sem necessidade de chave de API. O retrato atual foi gerado em . Está licenciado sob CC BY 4.0, então você pode reutilizá-lo e republicá-lo com atribuição ao OpenRouter.

As definições das colunas, a metodologia e as regras de mascaramento estão no README do conjunto de dados.

Citar esta classificação

OpenRouter (2026). Resultados do GPQA Diamond no OpenRouter, versão de 2026-11-16. https://dynamicsinfo.com/benchmarks/gpqa-diamond. Licenciado sob CC BY 4.0.

Perguntas frequentes