Todas las pruebas de referencia

VGI-Bench

VGI-Bench (Video General Intelligence Bench, de Seldon) plantea preguntas de opción múltiple sobre vídeos de larga duración: qué apareció primero, qué se mostraba en pantalla al mismo tiempo que otra cosa, qué dijo un narrador mientras se mostraba un plano específico y preguntas cuya premisa nunca ocurre. Cada ejemplo que aparece a continuación es una ejecución real a través de OpenRouter. El modelo recibió el vídeo completo y la pregunta en un solo turno con temperatura 0, y la respuesta evaluada es la letra de su última línea Answer: .

Última ejecución de la evaluación comparativa

Comparación de modelos

Mayor precisión

Mejor relación calidad-precio

Favicon de bytedance-seed
ByteDance Seed: Seed 1.6

0,039 US$/pregunta

Exactitud
Precisión de la ejecución representativa, de mayor a menor.
Coste por pregunta
Coste medio por pregunta, de menor a mayor.
Tiempo por pregunta
Tiempo real transcurrido medio por pregunta, de menor a mayor.

Eficiencia de costes

Exactitud frente a coste (frontera de Pareto)
Un punto por modelo, con el enrutamiento predeterminado (sin fijarlo a un proveedor) cuando está disponible. La línea es la frontera de Pareto: ningún modelo supera a estos tanto en precisión como en coste.

Clasificación

Precisión en la partición pública (439 preguntas; las ejecuciones deben tener al menos 395 respondidas para aparecer en la lista), con el coste, el tiempo y los tokens de entrada y salida por pregunta para cada endpoint de proveedor en el que se ejecutó el modelo. Las puntuaciones agregan las ejecuciones satisfactorias de los últimos 90 días.

Clasificación de VGI-Bench: precisión del modelo, costo, tiempo y tokens de entrada y salida por pregunta, por proveedor
#ModeloDesv. estándar
166,2 %±1,0pp0,039 US$64s141k2,03k
265,5 %--0,046 US$4,6m412k11,5k
363,7 %±4,8pp0,073 US$2,5m241k6,5k
463,7 %--0,55 US$8,6m613k20,1k
563,6 %--1,03 US$3,1m233k8,62k
6
Google AI Studio
61,4 %±0,7pp0,061 US$1,8m3416,04k
761,1 %--0,22 US$4,2m227k14,3k
858,0 %--0,33 US$8,2m579k13,6k
957,4 %--0,023 US$1,6m231k9,18k
1056,8 %----1,9m313102
1156,8 %--0,11 US$6,2m1,52M24,1k
1254,8 %±0,5pp0,14 US$4,7m111k40,2k
1354,8 %±0,5pp0,27 US$5,6m1,48M10,9k
1454,2 %±0,5pp0,24 US$2,6m151k21,8k
1552,8 %±2,3pp0,16 US$3,7m98,6k14,1k
1651,3 %--0,008 US$6,0m7,53k13,7k
1751,0 %±0,6pp0,16 US$2,0m150k15,3k
1850,6 %±0,4pp0,21 US$7,1m532k20,9k
19
Google AI Studio
50,0 %±0,3pp0,024 US$1,9m3419,42k
2048,0 %--0,012 US$2,4m34029,7k
2147,6 %±1,9pp0,026 US$2,3m36,7k7,15k
2246,5 %±2,9pp0,018 US$6,4m272k13,2k
2346,2 %±0,1pp0,008 US$2,7m46,4k817
2446,2 %±1,2pp0,10 US$4,9m1,49M20,2k
2545,6 %--0,027 US$4,6m77,4k14,7k
2645,5 %±1,0pp0,95 US$8,6m1,45M21,4k
2745,5 %±0,7pp0,17 US$7,5m532k21,3k
2845,4 %--0,034 US$5,2m337k11,9k
2945,2 %±0,8pp1,14 US$6,7m1,49M19,4k
3045,1 %±0,6pp0,17 US$4,9m440k18,6k
3143,4 %±2,9pp0,027 US$1,9m232k9,34k
3243,4 %--0,34 US$3,2m77k21,1k
3342,3 %--0,19 US$3,5m515k7,53k
3440,9 %±7,2pp0,70 US$4,4m38,3k81k
3534,8 %±2,9pp0,021 US$7,5m199k16,4k
3634,6 %±2,7pp0,028 US$8,3m58,2k43,9k
3730,1 %±2,6pp0,081 US$9,8m53,4k75,3k
3828,9 %--0,019 US$1,6m49k7,48k
3928,5 %±0,8pp0,016 US$1,9m14,6k30,3k
4024,7 %±7,3pp0,004 US$2,8m4,59k9,91k
4122,2 %--0,006 US$44s130k3,99k
42
Reka Edge
Pareto
Reka
21,4 %±0,2pp0,00015 US$31s1,49k30,5
4319,2 %--0,001 US$1,8m5,71k9,46k
4415,5 %--0,050 US$44s1,58k4,7k
4514,7 %--0,32 US$3,0m1,63k15,5k
4614,4 %--0,039 US$76s1,42k10,3k
4713,8 %--0,022 US$47s6,28k6,46k
4812,8 %±0,4pp0,023 US$3,9m38k6,22k
4912,7 %±0,0pp0,068 US$51s1,58k8,24k
5012,4 %--0,013 US$24s1,19k3,29k
5112,4 %±0,4pp0,015 US$56s38,3k6,56k
5212,3 %±0,5pp0,13 US$6,9m124k2,42k
5311,8 %±0,4pp0,031 US$3,9m32,7k5,87k
5411,8 %--0,041 US$82s5,06k3,17k
55
Google AI Studio
11,5 %--0,016 US$24s1,39k3,97k
5611,4 %--0,11 US$1,9m1,58k10,6k
5710,9 %--0,098 US$59s1,39k7,96k
5810,8 %±0,3pp0,005 US$44s4,57k5,08k
5910,6 %--0,098 US$60s1,39k8,02k
60
Google AI Studio
10,1 %--0,088 US$39s1,38k9,59k
618,4 %--0,006 US$13s1,39k2,08k
628,2 %--0,038 US$58s1,39k25,1k
638,2 %--0,038 US$58s1,38k25,1k
646,7 %±0,3pp0,007 US$5,7m5,07k24,3k
656,4 %--0,26 US$57s1,57k12,9k
666,3 %±5,7pp0,025 US$36s5,46k1,69k
675,6 %±4,3pp0,017 US$1,9m69,2k804

Trayectorias

La traza de razonamiento refleja la percepción del modelo: los momentos que afirma haber visto y las marcas de tiempo que les asigna. Compararla con el vídeo muestra cómo se llegó a la respuesta y, en las ejecuciones fallidas, dónde la descripción se aparta de las imágenes.

correcto

La ventana sobre la que permanece el puntero durante más tiempo

Escenario ideal: El modelo localiza el momento y lo interpreta correctamente.

Pregunta 1187 global-graph/interaction_partner Qwen3.8 27B

El video completo que se envió al modelo, servido desde la réplica de OpenRouter utilizada por el harness.

¿Sobre qué opción se sitúa el puntero del ratón con mayor frecuencia?

  1. A)Windhawk application windowclave, modelo
  2. B)Install button
  3. C)Adobe Premiere Pro window
  4. D)Windows taskbar
respondió A ✓clave A

La traza sigue el puntero a lo largo de toda la grabación en lugar de un solo fotograma, identifica la breve aparición de Premiere Pro cerca del final como un distractor y se decide por la ventana que domina la sesión.

The question asks which option the mouse pointer hovers over most often. Let me think about the video content. The video is a tutorial about Windhawk, a customization tool for Windows. Throughout the video, the user is constantly interacting with the Windhawk application window - browsing mods, installing them, configuring settings, etc. Let me consider each option: - A) Windhawk application window - This is the main focus of the video. The user opens Windhawk, browses mods, clicks on details, settings, installs mods, etc. The mouse is frequently over this window. - B) Install button - The install button is clicked a few times but not hovered over most often. - C) Adobe Premiere Pro window - This appears only briefly near the end (around 13:20-13:40) as a joke about the title bar color. - D) Windows taskbar - The taskbar is shown but the mouse isn't constantly hovering over it. The dominant interaction is with the Windhawk application window. The mouse pointer is over it for the majority of the video as the user navigates through mods, settings, etc. So the answer is A. Let me double check by reviewing timestamps. From 1:20 onwards, the Windhawk window is open and the mouse moves around it constantly - clicking Mods, Explore, scrolling, clicking Details, Settings, etc. This continues through most of the video. The taskbar is shown at times but the mouse hovers over the Windhawk window more. Thus A is correct.