VGI-Bench
O VGI-Bench (Video General Intelligence Bench, da Seldon) faz perguntas de múltipla escolha sobre vídeos longos: o que apareceu primeiro, o que estava na tela ao mesmo tempo que outra coisa, o que um narrador disse enquanto uma cena específica era exibida e perguntas cuja premissa nunca acontece. Cada exemplo abaixo é uma execução real pela OpenRouter. O modelo recebeu o vídeo completo e a pergunta em um único turno com temperatura 0, e a resposta avaliada é a letra em sua última linha Answer: .
Última execução da avaliação comparativa
Comparação de modelos
Eficiência de custos
Classificação
Acurácia no subconjunto público (439 perguntas, as execuções precisam ter pelo menos 395 respondidas para serem listadas), com custo, tempo e tokens de entrada e saída por pergunta para cada endpoint de provedor no qual o modelo foi executado. As pontuações agregam execuções bem-sucedidas dos últimos 90 dias.
| # | Modelo | Desvio padrão | |||||
|---|---|---|---|---|---|---|---|
| 1 | 66,2% | ±1,0pp | US$ 0,039 | 64s | 141k | 2,03k | |
| 2 | Alibaba | 65,5% | -- | US$ 0,046 | 4,6m | 412k | 11,5k |
| 3 | 63,7% | ±4,8pp | US$ 0,073 | 2,5m | 241k | 6,5k | |
| 4 | Alibaba | 63,7% | -- | US$ 0,55 | 8,6m | 613k | 20,1k |
| 5 | 63,6% | -- | US$ 1,03 | 3,1m | 233k | 8,62k | |
| 6 | Google AI Studio | 61,4% | ±0,7pp | US$ 0,061 | 1,8m | 341 | 6,04k |
| 7 | 61,1% | -- | US$ 0,22 | 4,2m | 227k | 14,3k | |
| 8 | Alibaba | 58,0% | -- | US$ 0,33 | 8,2m | 579k | 13,6k |
| 9 | Meta | 57,4% | -- | US$ 0,023 | 1,6m | 231k | 9,18k |
| 10 | Stealth | 56,8% | -- | -- | 1,9m | 313 | 102 |
| 11 | Alibaba | 56,8% | -- | US$ 0,11 | 6,2m | 1,52M | 24,1k |
| 12 | Google AI Studio | 54,8% | ±0,5pp | US$ 0,14 | 4,7m | 111k | 40,2k |
| 13 | Alibaba | 54,8% | ±0,5pp | US$ 0,27 | 5,6m | 1,48M | 10,9k |
| 14 | 54,2% | ±0,5pp | US$ 0,24 | 2,6m | 151k | 21,8k | |
| 15 | 52,8% | ±2,3pp | US$ 0,16 | 3,7m | 98,6k | 14,1k | |
| 16 | 51,3% | -- | US$ 0,008 | 6,0m | 7,53k | 13,7k | |
| 17 | 51,0% | ±0,6pp | US$ 0,16 | 2,0m | 150k | 15,3k | |
| 18 | Alibaba | 50,6% | ±0,4pp | US$ 0,21 | 7,1m | 532k | 20,9k |
| 19 | Google AI Studio | 50,0% | ±0,3pp | US$ 0,024 | 1,9m | 341 | 9,42k |
| 20 | Google AI Studio | 48,0% | -- | US$ 0,012 | 2,4m | 340 | 29,7k |
| 21 | 47,6% | ±1,9pp | US$ 0,026 | 2,3m | 36,7k | 7,15k | |
| 22 | Xiaomi | 46,5% | ±2,9pp | US$ 0,018 | 6,4m | 272k | 13,2k |
| 23 | Perceptron | 46,2% | ±0,1pp | US$ 0,008 | 2,7m | 46,4k | 817 |
| 24 | Alibaba | 46,2% | ±1,2pp | US$ 0,10 | 4,9m | 1,49M | 20,2k |
| 25 | 45,6% | -- | US$ 0,027 | 4,6m | 77,4k | 14,7k | |
| 26 | 45,5% | ±1,0pp | US$ 0,95 | 8,6m | 1,45M | 21,4k | |
| 27 | 45,5% | ±0,7pp | US$ 0,17 | 7,5m | 532k | 21,3k | |
| 28 | 45,4% | -- | US$ 0,034 | 5,2m | 337k | 11,9k | |
| 29 | Alibaba | 45,2% | ±0,8pp | US$ 1,14 | 6,7m | 1,49M | 19,4k |
| 30 | 45,1% | ±0,6pp | US$ 0,17 | 4,9m | 440k | 18,6k | |
| 31 | 43,4% | ±2,9pp | US$ 0,027 | 1,9m | 232k | 9,34k | |
| 32 | 43,4% | -- | US$ 0,34 | 3,2m | 77k | 21,1k | |
| 33 | Novita | 42,3% | -- | US$ 0,19 | 3,5m | 515k | 7,53k |
| 34 | 40,9% | ±7,2pp | US$ 0,70 | 4,4m | 38,3k | 81k | |
| 35 | 34,8% | ±2,9pp | US$ 0,021 | 7,5m | 199k | 16,4k | |
| 36 | 34,6% | ±2,7pp | US$ 0,028 | 8,3m | 58,2k | 43,9k | |
| 37 | 30,1% | ±2,6pp | US$ 0,081 | 9,8m | 53,4k | 75,3k | |
| 38 | Perceptron | 28,9% | -- | US$ 0,019 | 1,6m | 49k | 7,48k |
| 39 | 28,5% | ±0,8pp | US$ 0,016 | 1,9m | 14,6k | 30,3k | |
| 40 | 24,7% | ±7,3pp | US$ 0,004 | 2,8m | 4,59k | 9,91k | |
| 41 | 22,2% | -- | US$ 0,006 | 44s | 130k | 3,99k | |
| 42 | Reka | 21,4% | ±0,2pp | US$ 0,00015 | 31s | 1,49k | 30,5 |
| 43 | 19,2% | -- | US$ 0,001 | 1,8m | 5,71k | 9,46k | |
| 44 | 15,5% | -- | US$ 0,050 | 44s | 1,58k | 4,7k | |
| 45 | Google AI Studio | 14,7% | -- | US$ 0,32 | 3,0m | 1,63k | 15,5k |
| 46 | 14,4% | -- | US$ 0,039 | 76s | 1,42k | 10,3k | |
| 47 | Together | 13,8% | -- | US$ 0,022 | 47s | 6,28k | 6,46k |
| 48 | Alibaba | 12,8% | ±0,4pp | US$ 0,023 | 3,9m | 38k | 6,22k |
| 49 | 12,7% | ±0,0pp | US$ 0,068 | 51s | 1,58k | 8,24k | |
| 50 | Google | 12,4% | -- | US$ 0,013 | 24s | 1,19k | 3,29k |
| 51 | 12,4% | ±0,4pp | US$ 0,015 | 56s | 38,3k | 6,56k | |
| 52 | 12,3% | ±0,5pp | US$ 0,13 | 6,9m | 124k | 2,42k | |
| 53 | 11,8% | ±0,4pp | US$ 0,031 | 3,9m | 32,7k | 5,87k | |
| 54 | 11,8% | -- | US$ 0,041 | 82s | 5,06k | 3,17k | |
| 55 | Google AI Studio | 11,5% | -- | US$ 0,016 | 24s | 1,39k | 3,97k |
| 56 | 11,4% | -- | US$ 0,11 | 1,9m | 1,58k | 10,6k | |
| 57 | Google AI Studio | 10,9% | -- | US$ 0,098 | 59s | 1,39k | 7,96k |
| 58 | 10,8% | ±0,3pp | US$ 0,005 | 44s | 4,57k | 5,08k | |
| 59 | Google AI Studio | 10,6% | -- | US$ 0,098 | 60s | 1,39k | 8,02k |
| 60 | Google AI Studio | 10,1% | -- | US$ 0,088 | 39s | 1,38k | 9,59k |
| 61 | Google AI Studio | 8,4% | -- | US$ 0,006 | 13s | 1,39k | 2,08k |
| 62 | Google AI Studio | 8,2% | -- | US$ 0,038 | 58s | 1,39k | 25,1k |
| 63 | Google AI Studio | 8,2% | -- | US$ 0,038 | 58s | 1,38k | 25,1k |
| 64 | 6,7% | ±0,3pp | US$ 0,007 | 5,7m | 5,07k | 24,3k | |
| 65 | Google AI Studio | 6,4% | -- | US$ 0,26 | 57s | 1,57k | 12,9k |
| 66 | 6,3% | ±5,7pp | US$ 0,025 | 36s | 5,46k | 1,69k | |
| 67 | Z.AI | 5,6% | ±4,3pp | US$ 0,017 | 1,9m | 69,2k | 804 |
Trajetórias
O rastro de raciocínio é a percepção do modelo: os momentos que ele diz ter visto e os registros de tempo que associa a eles. Compará-lo com o vídeo mostra como a resposta foi alcançada e, nas execuções que falharam, onde a descrição diverge das imagens.
Sobre qual janela o ponteiro permanece por mais tempo
Caminho ideal: O modelo localiza o momento e o interpreta corretamente.
Pergunta 1187 global-graph/interaction_partner Qwen3.8 27B
O vídeo completo enviado ao modelo, disponibilizado pelo espelho do OpenRouter usado pelo harness.
Sobre qual opção o ponteiro do mouse fica com mais frequência?
- A)Windhawk application windowchave, modelo
- B)Install button
- C)Adobe Premiere Pro window
- D)Windows taskbar
O rastro acompanha o ponteiro ao longo de toda a gravação, em vez de apenas um quadro, identifica a breve aparição do Premiere Pro perto do final como uma distração e chega à janela que domina a sessão.
Objeto presente junto a um abrigo de jardim
Modo de falha: Objeto saliente sobre a chave
Pergunta 1862 global-graph/co_presence Qwen3.8 27B
O vídeo completo enviado ao modelo, disponibilizado pelo espelho do OpenRouter usado pelo harness.
Qual opção aparece repetidamente ao mesmo tempo que o galpão de madeira do jardim durante o vídeo?
- A)presenter with short curly hairchave
- B)metal shed hinge
- C)wagon wheelmodelo
- D)glass doors
O rastro cita oito marcações de tempo de uma roda de carroça encostada no galpão e considera o apresentador incidental. A resposta correta validada por humanos é o apresentador. O modelo escolheu o objeto mais distinto no quadro em vez daquele usado para pontuar a questão.
Uma pergunta com premissa falsa sobre uma colher medidora
Modo de falha: Narra um momento que nunca acontece
Pergunta 1096 contrastive-hard-negative/false-premise-visual-attribute Qwen3.8 27B
O vídeo completo enviado ao modelo, disponibilizado pelo espelho do OpenRouter usado pelo harness.
Quando a falante diz que usou uma colher de sopa cheia de sal, onde está posicionada a colher medidora vermelha em relação aos grãos de coalhada?
- A)This does not happen in the video.chave
- B)It is resting beside the bowl of cheese curds.
- C)It is positioned just in front of the cheese curds.modelo
- D)It is laid across the top of the cheese curds.
O gabarito diz que esse momento não ocorre. O rastreamento narra uma sequência de 2:38 a 2:44 com a colher colocada em frente à coalhada, rejeita categoricamente a opção 'não acontece' e responde com detalhes que o gabarito não sustenta.
O som de um dissipador de calor M.2 se encaixando
Modo de falha: Responde a uma pergunta em áudio com base em conhecimentos sobre o mundo
Pergunta 2852 contrastive-hard-negative/visual_audio Qwen3.8 27B
O vídeo completo enviado ao modelo, disponibilizado pelo espelho do OpenRouter usado pelo harness.
Quando os dois slots M.2 estão destacados em roxo, que clique é ouvido quando o dissipador de calor superior se encaixa novamente no lugar?
- A)This does not happen in the videochave
- B)A sharp metallic snap
- C)A firm double-click
- D)A soft plastic clickmodelo
O rastreamento diz 'preciso me lembrar do áudio' e depois raciocina com base em como vídeos de montagem de PCs 'tipicamente' soam, nunca com base neste vídeo. O ponto-chave é 'não acontece'. A resposta final apresenta o clique presumido como algo ouvido no vídeo.
Plano de fundo atrás de um cabo de fonte de alimentação sendo conectado
Modo de falha: Localiza um momento quase idêntico
Pergunta 1539 near-duplicate-moments Qwen3.8 27B
O vídeo completo enviado ao modelo, disponibilizado pelo espelho do OpenRouter usado pelo harness.
Quando a mão insere um cabo de alimentação preto na fonte de alimentação Seasonic na parte traseira do gabinete preto do PC, que superfície está atrás dele?
- A)A dark, textured surfacechave
- B)A gray carpeted surface
- C)A metal mesh surface
- D)A plain white surfacemodelo
A pergunta aponta um momento que se repete com pequenas diferenças. O rastreamento se fixa em uma vista traseira entre 15:30 e 15:40 com uma parede branca ao fundo. O elemento-chave é uma superfície escura e texturizada, então o modelo associou a ação a uma tomada semelhante e identificou o fundo a partir dela.
Onde uma garrafa de uísque está quando uma fala é dita
Modo de falha: Nunca localiza a indicação falada
Pergunta 2894 contrastive-hard-negative/transcript_visual Qwen3.8 27B
O vídeo completo enviado ao modelo, disponibilizado pelo espelho do OpenRouter usado pelo harness.
Quando ele diz “Esse tempo todo ele está lá atrás bebendo uísque”, a garrafa de uísque está à esquerda ou à direita do notebook na bancada de Craig?
- A)This does not happen in the video.chave
- B)To the left of the laptop.modelo
- C)To the right of the laptop.
- D)Directly behind the laptop.
A pista é uma fala. O rastreamento nunca a encontra, diz que ela “provavelmente ocorre durante a conversa no banco” e responde com base em um quadro entre 60 e 70 segundos. A chave é “não acontece”. Sem a âncora da transcrição, o modelo usou a cena mais parecida no lugar.


