Todos os testes de desempenho

VGI-Bench

O VGI-Bench (Video General Intelligence Bench, da Seldon) faz perguntas de múltipla escolha sobre vídeos longos: o que apareceu primeiro, o que estava na tela ao mesmo tempo que outra coisa, o que um narrador disse enquanto uma cena específica era exibida e perguntas cuja premissa nunca acontece. Cada exemplo abaixo é uma execução real pela OpenRouter. O modelo recebeu o vídeo completo e a pergunta em um único turno com temperatura 0, e a resposta avaliada é a letra em sua última linha Answer: .

Última execução da avaliação comparativa

Comparação de modelos

Mais preciso

Melhor custo-benefício

Favicon de bytedance-seed
ByteDance Seed: Seed 1.6

US$ 0,039/pergunta

Acurácia
Acurácia da execução representativa, da melhor para a pior.
Custo por pergunta
Custo médio por pergunta, do menor para o maior.
Tempo por pergunta
Tempo médio decorrido por pergunta, do mais rápido para o mais lento.

Eficiência de custos

Precisão vs. custo (fronteira de Pareto)
Um ponto por modelo, usando o roteamento padrão (sem fixar um provedor) quando disponível. A linha é a fronteira de Pareto: nenhum modelo supera esses modelos tanto em precisão quanto em custo.

Classificação

Acurácia no subconjunto público (439 perguntas, as execuções precisam ter pelo menos 395 respondidas para serem listadas), com custo, tempo e tokens de entrada e saída por pergunta para cada endpoint de provedor no qual o modelo foi executado. As pontuações agregam execuções bem-sucedidas dos últimos 90 dias.

Classificação do VGI-Bench: precisão do modelo, custo, tempo e tokens de entrada e saída por pergunta, por provedor
#ModeloDesvio padrão
166,2%±1,0ppUS$ 0,03964s141k2,03k
265,5%--US$ 0,0464,6m412k11,5k
363,7%±4,8ppUS$ 0,0732,5m241k6,5k
463,7%--US$ 0,558,6m613k20,1k
563,6%--US$ 1,033,1m233k8,62k
6
Google AI Studio
61,4%±0,7ppUS$ 0,0611,8m3416,04k
761,1%--US$ 0,224,2m227k14,3k
858,0%--US$ 0,338,2m579k13,6k
957,4%--US$ 0,0231,6m231k9,18k
1056,8%----1,9m313102
1156,8%--US$ 0,116,2m1,52M24,1k
1254,8%±0,5ppUS$ 0,144,7m111k40,2k
1354,8%±0,5ppUS$ 0,275,6m1,48M10,9k
1454,2%±0,5ppUS$ 0,242,6m151k21,8k
1552,8%±2,3ppUS$ 0,163,7m98,6k14,1k
1651,3%--US$ 0,0086,0m7,53k13,7k
1751,0%±0,6ppUS$ 0,162,0m150k15,3k
1850,6%±0,4ppUS$ 0,217,1m532k20,9k
19
Google AI Studio
50,0%±0,3ppUS$ 0,0241,9m3419,42k
2048,0%--US$ 0,0122,4m34029,7k
2147,6%±1,9ppUS$ 0,0262,3m36,7k7,15k
2246,5%±2,9ppUS$ 0,0186,4m272k13,2k
2346,2%±0,1ppUS$ 0,0082,7m46,4k817
2446,2%±1,2ppUS$ 0,104,9m1,49M20,2k
2545,6%--US$ 0,0274,6m77,4k14,7k
2645,5%±1,0ppUS$ 0,958,6m1,45M21,4k
2745,5%±0,7ppUS$ 0,177,5m532k21,3k
2845,4%--US$ 0,0345,2m337k11,9k
2945,2%±0,8ppUS$ 1,146,7m1,49M19,4k
3045,1%±0,6ppUS$ 0,174,9m440k18,6k
3143,4%±2,9ppUS$ 0,0271,9m232k9,34k
3243,4%--US$ 0,343,2m77k21,1k
3342,3%--US$ 0,193,5m515k7,53k
3440,9%±7,2ppUS$ 0,704,4m38,3k81k
3534,8%±2,9ppUS$ 0,0217,5m199k16,4k
3634,6%±2,7ppUS$ 0,0288,3m58,2k43,9k
3730,1%±2,6ppUS$ 0,0819,8m53,4k75,3k
3828,9%--US$ 0,0191,6m49k7,48k
3928,5%±0,8ppUS$ 0,0161,9m14,6k30,3k
4024,7%±7,3ppUS$ 0,0042,8m4,59k9,91k
4122,2%--US$ 0,00644s130k3,99k
42
Reka Edge
Pareto
Reka
21,4%±0,2ppUS$ 0,0001531s1,49k30,5
4319,2%--US$ 0,0011,8m5,71k9,46k
4415,5%--US$ 0,05044s1,58k4,7k
4514,7%--US$ 0,323,0m1,63k15,5k
4614,4%--US$ 0,03976s1,42k10,3k
4713,8%--US$ 0,02247s6,28k6,46k
4812,8%±0,4ppUS$ 0,0233,9m38k6,22k
4912,7%±0,0ppUS$ 0,06851s1,58k8,24k
5012,4%--US$ 0,01324s1,19k3,29k
5112,4%±0,4ppUS$ 0,01556s38,3k6,56k
5212,3%±0,5ppUS$ 0,136,9m124k2,42k
5311,8%±0,4ppUS$ 0,0313,9m32,7k5,87k
5411,8%--US$ 0,04182s5,06k3,17k
55
Google AI Studio
11,5%--US$ 0,01624s1,39k3,97k
5611,4%--US$ 0,111,9m1,58k10,6k
5710,9%--US$ 0,09859s1,39k7,96k
5810,8%±0,3ppUS$ 0,00544s4,57k5,08k
5910,6%--US$ 0,09860s1,39k8,02k
60
Google AI Studio
10,1%--US$ 0,08839s1,38k9,59k
618,4%--US$ 0,00613s1,39k2,08k
628,2%--US$ 0,03858s1,39k25,1k
638,2%--US$ 0,03858s1,38k25,1k
646,7%±0,3ppUS$ 0,0075,7m5,07k24,3k
656,4%--US$ 0,2657s1,57k12,9k
666,3%±5,7ppUS$ 0,02536s5,46k1,69k
675,6%±4,3ppUS$ 0,0171,9m69,2k804

Trajetórias

O rastro de raciocínio é a percepção do modelo: os momentos que ele diz ter visto e os registros de tempo que associa a eles. Compará-lo com o vídeo mostra como a resposta foi alcançada e, nas execuções que falharam, onde a descrição diverge das imagens.

correto

Sobre qual janela o ponteiro permanece por mais tempo

Caminho ideal: O modelo localiza o momento e o interpreta corretamente.

Pergunta 1187 global-graph/interaction_partner Qwen3.8 27B

O vídeo completo enviado ao modelo, disponibilizado pelo espelho do OpenRouter usado pelo harness.

Sobre qual opção o ponteiro do mouse fica com mais frequência?

  1. A)Windhawk application windowchave, modelo
  2. B)Install button
  3. C)Adobe Premiere Pro window
  4. D)Windows taskbar
respondeu A ✓chave A

O rastro acompanha o ponteiro ao longo de toda a gravação, em vez de apenas um quadro, identifica a breve aparição do Premiere Pro perto do final como uma distração e chega à janela que domina a sessão.

The question asks which option the mouse pointer hovers over most often. Let me think about the video content. The video is a tutorial about Windhawk, a customization tool for Windows. Throughout the video, the user is constantly interacting with the Windhawk application window - browsing mods, installing them, configuring settings, etc. Let me consider each option: - A) Windhawk application window - This is the main focus of the video. The user opens Windhawk, browses mods, clicks on details, settings, installs mods, etc. The mouse is frequently over this window. - B) Install button - The install button is clicked a few times but not hovered over most often. - C) Adobe Premiere Pro window - This appears only briefly near the end (around 13:20-13:40) as a joke about the title bar color. - D) Windows taskbar - The taskbar is shown but the mouse isn't constantly hovering over it. The dominant interaction is with the Windhawk application window. The mouse pointer is over it for the majority of the video as the user navigates through mods, settings, etc. So the answer is A. Let me double check by reviewing timestamps. From 1:20 onwards, the Windhawk window is open and the mouse moves around it constantly - clicking Mods, Explore, scrolling, clicking Details, Settings, etc. This continues through most of the video. The taskbar is shown at times but the mouse hovers over the Windhawk window more. Thus A is correct.