Tous les tests de référence

VGI-Bench

VGI-Bench (Video General Intelligence Bench, par Seldon) pose des questions à choix multiples sur des vidéos longues : ce qui est apparu en premier, ce qui était à l’écran en même temps qu’un autre élément, ce qu’un narrateur a dit pendant un plan précis, ainsi que des questions dont la prémisse ne se réalise jamais. Chaque exemple ci-dessous est une exécution réelle via OpenRouter. Le modèle a reçu la vidéo complète et la question en un seul tour à une température de 0, et la réponse évaluée est la lettre figurant sur sa dernière ligne Answer: .

Dernière exécution de l’évaluation comparative

Comparaison des modèles

Le plus précis

Meilleur rapport qualité-prix

Favicon de bytedance-seed
ByteDance Seed: Seed 1.6

0,039 $US/question

Le plus rapide

Exactitude
Exactitude de l’exécution représentative, de la meilleure à la moins bonne.
Coût par question
Coût moyen par question, du moins cher au plus cher.
Temps par question
Temps réel moyen par question, du plus rapide au plus lent.

Efficacité économique

Précision et coût (frontière de Pareto)
Un point par modèle, avec le routage par défaut (sans fournisseur imposé) lorsqu’il est disponible. La ligne représente la frontière de Pareto : aucun modèle ne surpasse ceux-ci à la fois en précision et en coût.

Classement

Exactitude sur le sous-ensemble public (439 questions, les exécutions doivent comporter au moins 395 réponses pour être affichées), avec le coût, le temps et les jetons d’entrée et de sortie par question pour chaque point de terminaison de fournisseur sur lequel le modèle a été exécuté. Les scores agrègent les exécutions réussies des 90 derniers jours.

Classement VGI-Bench : précision des modèles, coût, durée et jetons d’entrée et de sortie par question, par fournisseur
#ModèleÉcart-type
166,2 %±1,0points de pourcentage0,039 $US64s141k2,03k
265,5 %--0,046 $US4,6m412k11,5k
363,7 %±4,8points de pourcentage0,073 $US2,5m241k6,5k
463,7 %--0,55 $US8,6m613k20,1k
563,6 %--1,03 $US3,1m233k8,62k
6
Google AI Studio
61,4 %±0,7points de pourcentage0,061 $US1,8m3416,04k
761,1 %--0,22 $US4,2m227k14,3k
858,0 %--0,33 $US8,2m579k13,6k
957,4 %--0,023 $US1,6m231k9,18k
1056,8 %----1,9m313102
1156,8 %--0,11 $US6,2m1,52M24,1k
1254,8 %±0,5points de pourcentage0,14 $US4,7m111k40,2k
1354,8 %±0,5points de pourcentage0,27 $US5,6m1,48M10,9k
1454,2 %±0,5points de pourcentage0,24 $US2,6m151k21,8k
1552,8 %±2,3points de pourcentage0,16 $US3,7m98,6k14,1k
1651,3 %--0,008 $US6,0m7,53k13,7k
1751,0 %±0,6points de pourcentage0,16 $US2,0m150k15,3k
1850,6 %±0,4points de pourcentage0,21 $US7,1m532k20,9k
19
Google AI Studio
50,0 %±0,3points de pourcentage0,024 $US1,9m3419,42k
2048,0 %--0,012 $US2,4m34029,7k
2147,6 %±1,9points de pourcentage0,026 $US2,3m36,7k7,15k
2246,5 %±2,9points de pourcentage0,018 $US6,4m272k13,2k
2346,2 %±0,1points de pourcentage0,008 $US2,7m46,4k817
2446,2 %±1,2points de pourcentage0,10 $US4,9m1,49M20,2k
2545,6 %--0,027 $US4,6m77,4k14,7k
2645,5 %±1,0points de pourcentage0,95 $US8,6m1,45M21,4k
2745,5 %±0,7points de pourcentage0,17 $US7,5m532k21,3k
2845,4 %--0,034 $US5,2m337k11,9k
2945,2 %±0,8points de pourcentage1,14 $US6,7m1,49M19,4k
3045,1 %±0,6points de pourcentage0,17 $US4,9m440k18,6k
3143,4 %±2,9points de pourcentage0,027 $US1,9m232k9,34k
3243,4 %--0,34 $US3,2m77k21,1k
3342,3 %--0,19 $US3,5m515k7,53k
3440,9 %±7,2points de pourcentage0,70 $US4,4m38,3k81k
3534,8 %±2,9points de pourcentage0,021 $US7,5m199k16,4k
3634,6 %±2,7points de pourcentage0,028 $US8,3m58,2k43,9k
3730,1 %±2,6points de pourcentage0,081 $US9,8m53,4k75,3k
3828,9 %--0,019 $US1,6m49k7,48k
3928,5 %±0,8points de pourcentage0,016 $US1,9m14,6k30,3k
4024,7 %±7,3points de pourcentage0,004 $US2,8m4,59k9,91k
4122,2 %--0,006 $US44s130k3,99k
42
Reka Edge
Pareto
Reka
21,4 %±0,2points de pourcentage0,00015 $US31s1,49k30,5
4319,2 %--0,001 $US1,8m5,71k9,46k
4415,5 %--0,050 $US44s1,58k4,7k
4514,7 %--0,32 $US3,0m1,63k15,5k
4614,4 %--0,039 $US76s1,42k10,3k
4713,8 %--0,022 $US47s6,28k6,46k
4812,8 %±0,4points de pourcentage0,023 $US3,9m38k6,22k
4912,7 %±0,0points de pourcentage0,068 $US51s1,58k8,24k
5012,4 %--0,013 $US24s1,19k3,29k
5112,4 %±0,4points de pourcentage0,015 $US56s38,3k6,56k
5212,3 %±0,5points de pourcentage0,13 $US6,9m124k2,42k
5311,8 %±0,4points de pourcentage0,031 $US3,9m32,7k5,87k
5411,8 %--0,041 $US82s5,06k3,17k
55
Google AI Studio
11,5 %--0,016 $US24s1,39k3,97k
5611,4 %--0,11 $US1,9m1,58k10,6k
5710,9 %--0,098 $US59s1,39k7,96k
5810,8 %±0,3points de pourcentage0,005 $US44s4,57k5,08k
5910,6 %--0,098 $US60s1,39k8,02k
60
Google AI Studio
10,1 %--0,088 $US39s1,38k9,59k
618,4 %--0,006 $US13s1,39k2,08k
628,2 %--0,038 $US58s1,39k25,1k
638,2 %--0,038 $US58s1,38k25,1k
646,7 %±0,3points de pourcentage0,007 $US5,7m5,07k24,3k
656,4 %--0,26 $US57s1,57k12,9k
666,3 %±5,7points de pourcentage0,025 $US36s5,46k1,69k
675,6 %±4,3points de pourcentage0,017 $US1,9m69,2k804

Trajectoires

La trace de raisonnement reflète la perception du modèle : les moments qu’il dit avoir vus et les horodatages qu’il leur associe. La comparer à la vidéo montre comment la réponse a été obtenue et, lors des exécutions ayant échoué, où la description s’écarte des images.

correct

La fenêtre que le pointeur survole le plus

Scénario nominal: Le modèle repère le moment et l’interprète correctement.

Question 1187 global-graph/interaction_partner Qwen3.8 27B

La vidéo complète envoyée au modèle, diffusée depuis le miroir OpenRouter utilisé par le harness.

Quelle option le pointeur de la souris survole-t-il le plus souvent ?

  1. A)Windhawk application windowclé, modèle
  2. B)Install button
  3. C)Adobe Premiere Pro window
  4. D)Windows taskbar
a répondu A ✓clé A

La trace suit le pointeur sur l’ensemble de l’enregistrement plutôt que sur une seule image, identifie la brève apparition de Premiere Pro vers la fin comme un élément distracteur et retient la fenêtre qui domine la session.

The question asks which option the mouse pointer hovers over most often. Let me think about the video content. The video is a tutorial about Windhawk, a customization tool for Windows. Throughout the video, the user is constantly interacting with the Windhawk application window - browsing mods, installing them, configuring settings, etc. Let me consider each option: - A) Windhawk application window - This is the main focus of the video. The user opens Windhawk, browses mods, clicks on details, settings, installs mods, etc. The mouse is frequently over this window. - B) Install button - The install button is clicked a few times but not hovered over most often. - C) Adobe Premiere Pro window - This appears only briefly near the end (around 13:20-13:40) as a joke about the title bar color. - D) Windows taskbar - The taskbar is shown but the mouse isn't constantly hovering over it. The dominant interaction is with the Windhawk application window. The mouse pointer is over it for the majority of the video as the user navigates through mods, settings, etc. So the answer is A. Let me double check by reviewing timestamps. From 1:20 onwards, the Windhawk window is open and the mouse moves around it constantly - clicking Mods, Explore, scrolling, clicking Details, Settings, etc. This continues through most of the video. The taskbar is shown at times but the mouse hovers over the Windhawk window more. Thus A is correct.