VGI-Bench
VGI-Bench (Video General Intelligence Bench, par Seldon) pose des questions à choix multiples sur des vidéos longues : ce qui est apparu en premier, ce qui était à l’écran en même temps qu’un autre élément, ce qu’un narrateur a dit pendant un plan précis, ainsi que des questions dont la prémisse ne se réalise jamais. Chaque exemple ci-dessous est une exécution réelle via OpenRouter. Le modèle a reçu la vidéo complète et la question en un seul tour à une température de 0, et la réponse évaluée est la lettre figurant sur sa dernière ligne Answer: .
Dernière exécution de l’évaluation comparative
Comparaison des modèles
Le plus précis
66,2 %
Meilleur rapport qualité-prix
0,039 $US/question
Le plus rapide
Efficacité économique
Classement
Exactitude sur le sous-ensemble public (439 questions, les exécutions doivent comporter au moins 395 réponses pour être affichées), avec le coût, le temps et les jetons d’entrée et de sortie par question pour chaque point de terminaison de fournisseur sur lequel le modèle a été exécuté. Les scores agrègent les exécutions réussies des 90 derniers jours.
| # | Modèle | Écart-type | |||||
|---|---|---|---|---|---|---|---|
| 1 | 66,2 % | ±1,0points de pourcentage | 0,039 $US | 64s | 141k | 2,03k | |
| 2 | Alibaba | 65,5 % | -- | 0,046 $US | 4,6m | 412k | 11,5k |
| 3 | 63,7 % | ±4,8points de pourcentage | 0,073 $US | 2,5m | 241k | 6,5k | |
| 4 | Alibaba | 63,7 % | -- | 0,55 $US | 8,6m | 613k | 20,1k |
| 5 | 63,6 % | -- | 1,03 $US | 3,1m | 233k | 8,62k | |
| 6 | Google AI Studio | 61,4 % | ±0,7points de pourcentage | 0,061 $US | 1,8m | 341 | 6,04k |
| 7 | 61,1 % | -- | 0,22 $US | 4,2m | 227k | 14,3k | |
| 8 | Alibaba | 58,0 % | -- | 0,33 $US | 8,2m | 579k | 13,6k |
| 9 | Meta | 57,4 % | -- | 0,023 $US | 1,6m | 231k | 9,18k |
| 10 | Stealth | 56,8 % | -- | -- | 1,9m | 313 | 102 |
| 11 | Alibaba | 56,8 % | -- | 0,11 $US | 6,2m | 1,52M | 24,1k |
| 12 | Google AI Studio | 54,8 % | ±0,5points de pourcentage | 0,14 $US | 4,7m | 111k | 40,2k |
| 13 | Alibaba | 54,8 % | ±0,5points de pourcentage | 0,27 $US | 5,6m | 1,48M | 10,9k |
| 14 | 54,2 % | ±0,5points de pourcentage | 0,24 $US | 2,6m | 151k | 21,8k | |
| 15 | 52,8 % | ±2,3points de pourcentage | 0,16 $US | 3,7m | 98,6k | 14,1k | |
| 16 | 51,3 % | -- | 0,008 $US | 6,0m | 7,53k | 13,7k | |
| 17 | 51,0 % | ±0,6points de pourcentage | 0,16 $US | 2,0m | 150k | 15,3k | |
| 18 | Alibaba | 50,6 % | ±0,4points de pourcentage | 0,21 $US | 7,1m | 532k | 20,9k |
| 19 | Google AI Studio | 50,0 % | ±0,3points de pourcentage | 0,024 $US | 1,9m | 341 | 9,42k |
| 20 | Google AI Studio | 48,0 % | -- | 0,012 $US | 2,4m | 340 | 29,7k |
| 21 | 47,6 % | ±1,9points de pourcentage | 0,026 $US | 2,3m | 36,7k | 7,15k | |
| 22 | Xiaomi | 46,5 % | ±2,9points de pourcentage | 0,018 $US | 6,4m | 272k | 13,2k |
| 23 | Perceptron | 46,2 % | ±0,1points de pourcentage | 0,008 $US | 2,7m | 46,4k | 817 |
| 24 | Alibaba | 46,2 % | ±1,2points de pourcentage | 0,10 $US | 4,9m | 1,49M | 20,2k |
| 25 | 45,6 % | -- | 0,027 $US | 4,6m | 77,4k | 14,7k | |
| 26 | 45,5 % | ±1,0points de pourcentage | 0,95 $US | 8,6m | 1,45M | 21,4k | |
| 27 | 45,5 % | ±0,7points de pourcentage | 0,17 $US | 7,5m | 532k | 21,3k | |
| 28 | 45,4 % | -- | 0,034 $US | 5,2m | 337k | 11,9k | |
| 29 | Alibaba | 45,2 % | ±0,8points de pourcentage | 1,14 $US | 6,7m | 1,49M | 19,4k |
| 30 | 45,1 % | ±0,6points de pourcentage | 0,17 $US | 4,9m | 440k | 18,6k | |
| 31 | 43,4 % | ±2,9points de pourcentage | 0,027 $US | 1,9m | 232k | 9,34k | |
| 32 | 43,4 % | -- | 0,34 $US | 3,2m | 77k | 21,1k | |
| 33 | Novita | 42,3 % | -- | 0,19 $US | 3,5m | 515k | 7,53k |
| 34 | 40,9 % | ±7,2points de pourcentage | 0,70 $US | 4,4m | 38,3k | 81k | |
| 35 | 34,8 % | ±2,9points de pourcentage | 0,021 $US | 7,5m | 199k | 16,4k | |
| 36 | 34,6 % | ±2,7points de pourcentage | 0,028 $US | 8,3m | 58,2k | 43,9k | |
| 37 | 30,1 % | ±2,6points de pourcentage | 0,081 $US | 9,8m | 53,4k | 75,3k | |
| 38 | Perceptron | 28,9 % | -- | 0,019 $US | 1,6m | 49k | 7,48k |
| 39 | 28,5 % | ±0,8points de pourcentage | 0,016 $US | 1,9m | 14,6k | 30,3k | |
| 40 | 24,7 % | ±7,3points de pourcentage | 0,004 $US | 2,8m | 4,59k | 9,91k | |
| 41 | 22,2 % | -- | 0,006 $US | 44s | 130k | 3,99k | |
| 42 | Reka | 21,4 % | ±0,2points de pourcentage | 0,00015 $US | 31s | 1,49k | 30,5 |
| 43 | 19,2 % | -- | 0,001 $US | 1,8m | 5,71k | 9,46k | |
| 44 | 15,5 % | -- | 0,050 $US | 44s | 1,58k | 4,7k | |
| 45 | Google AI Studio | 14,7 % | -- | 0,32 $US | 3,0m | 1,63k | 15,5k |
| 46 | 14,4 % | -- | 0,039 $US | 76s | 1,42k | 10,3k | |
| 47 | Together | 13,8 % | -- | 0,022 $US | 47s | 6,28k | 6,46k |
| 48 | Alibaba | 12,8 % | ±0,4points de pourcentage | 0,023 $US | 3,9m | 38k | 6,22k |
| 49 | 12,7 % | ±0,0points de pourcentage | 0,068 $US | 51s | 1,58k | 8,24k | |
| 50 | Google | 12,4 % | -- | 0,013 $US | 24s | 1,19k | 3,29k |
| 51 | 12,4 % | ±0,4points de pourcentage | 0,015 $US | 56s | 38,3k | 6,56k | |
| 52 | 12,3 % | ±0,5points de pourcentage | 0,13 $US | 6,9m | 124k | 2,42k | |
| 53 | 11,8 % | ±0,4points de pourcentage | 0,031 $US | 3,9m | 32,7k | 5,87k | |
| 54 | 11,8 % | -- | 0,041 $US | 82s | 5,06k | 3,17k | |
| 55 | Google AI Studio | 11,5 % | -- | 0,016 $US | 24s | 1,39k | 3,97k |
| 56 | 11,4 % | -- | 0,11 $US | 1,9m | 1,58k | 10,6k | |
| 57 | Google AI Studio | 10,9 % | -- | 0,098 $US | 59s | 1,39k | 7,96k |
| 58 | 10,8 % | ±0,3points de pourcentage | 0,005 $US | 44s | 4,57k | 5,08k | |
| 59 | Google AI Studio | 10,6 % | -- | 0,098 $US | 60s | 1,39k | 8,02k |
| 60 | Google AI Studio | 10,1 % | -- | 0,088 $US | 39s | 1,38k | 9,59k |
| 61 | Google AI Studio | 8,4 % | -- | 0,006 $US | 13s | 1,39k | 2,08k |
| 62 | Google AI Studio | 8,2 % | -- | 0,038 $US | 58s | 1,39k | 25,1k |
| 63 | Google AI Studio | 8,2 % | -- | 0,038 $US | 58s | 1,38k | 25,1k |
| 64 | 6,7 % | ±0,3points de pourcentage | 0,007 $US | 5,7m | 5,07k | 24,3k | |
| 65 | Google AI Studio | 6,4 % | -- | 0,26 $US | 57s | 1,57k | 12,9k |
| 66 | 6,3 % | ±5,7points de pourcentage | 0,025 $US | 36s | 5,46k | 1,69k | |
| 67 | Z.AI | 5,6 % | ±4,3points de pourcentage | 0,017 $US | 1,9m | 69,2k | 804 |
Trajectoires
La trace de raisonnement reflète la perception du modèle : les moments qu’il dit avoir vus et les horodatages qu’il leur associe. La comparer à la vidéo montre comment la réponse a été obtenue et, lors des exécutions ayant échoué, où la description s’écarte des images.
La fenêtre que le pointeur survole le plus
Scénario nominal: Le modèle repère le moment et l’interprète correctement.
Question 1187 global-graph/interaction_partner Qwen3.8 27B
La vidéo complète envoyée au modèle, diffusée depuis le miroir OpenRouter utilisé par le harness.
Quelle option le pointeur de la souris survole-t-il le plus souvent ?
- A)Windhawk application windowclé, modèle
- B)Install button
- C)Adobe Premiere Pro window
- D)Windows taskbar
La trace suit le pointeur sur l’ensemble de l’enregistrement plutôt que sur une seule image, identifie la brève apparition de Premiere Pro vers la fin comme un élément distracteur et retient la fenêtre qui domine la session.
Objet présent aux côtés d’un abri de jardin
Mode de défaillance: Objet saillant au-dessus de la clé
Question 1862 global-graph/co_presence Qwen3.8 27B
La vidéo complète envoyée au modèle, diffusée depuis le miroir OpenRouter utilisé par le harness.
Quelle option est visible à plusieurs reprises en même temps que l’abri de jardin en bois pendant la vidéo ?
- A)presenter with short curly hairclé
- B)metal shed hinge
- C)wagon wheelmodèle
- D)glass doors
La trace cite huit horodatages pour une roue de chariot appuyée contre la remise et considère le présentateur comme accessoire. La réponse de référence validée par un humain est le présentateur. Le modèle a choisi l’objet le plus distinctif de l’image plutôt que celui sur lequel portait l’évaluation de la question.
Une question fondée sur une prémisse erronée à propos d’une cuillère doseuse
Mode de défaillance: Raconte un moment qui ne se produit jamais
Question 1096 contrastive-hard-negative/false-premise-visual-attribute Qwen3.8 27B
La vidéo complète envoyée au modèle, diffusée depuis le miroir OpenRouter utilisé par le harness.
Lorsque l’intervenante dit qu’elle a utilisé une cuillère à soupe entière de sel, où se trouve la cuillère doseuse rouge par rapport au fromage en grains ?
- A)This does not happen in the video.clé
- B)It is resting beside the bowl of cheese curds.
- C)It is positioned just in front of the cheese curds.modèle
- D)It is laid across the top of the cheese curds.
Le corrigé indique que ce moment ne se produit pas. La trace décrit une séquence de 2:38 à 2:44 où la cuillère est posée devant le caillé, rejette catégoriquement l’option « ne se produit pas » et fournit une réponse détaillée que le corrigé n’étaye pas.
Le son du verrouillage d’un dissipateur thermique M.2
Mode de défaillance: Répond à une question audio à partir de connaissances générales
Question 2852 contrastive-hard-negative/visual_audio Qwen3.8 27B
La vidéo complète envoyée au modèle, diffusée depuis le miroir OpenRouter utilisé par le harness.
Lorsque les deux emplacements M.2 sont surlignés en violet, quel clic entend-on lorsque le dissipateur thermique supérieur se verrouille à nouveau en place ?
- A)This does not happen in the videoclé
- B)A sharp metallic snap
- C)A firm double-click
- D)A soft plastic clickmodèle
La trace indique « Je dois me remémorer l’audio », puis raisonne à partir de ce à quoi ressemblent « typiquement » les sons des vidéos de montage de PC, jamais à partir de celle-ci. L’élément clé est « ne se produit pas ». La réponse finale présente le clic supposé comme un son entendu dans la vidéo.
Arrière-plan derrière un câble d’alimentation en cours de branchement
Mode de défaillance: Localise un moment quasi identique
Question 1539 near-duplicate-moments Qwen3.8 27B
La vidéo complète envoyée au modèle, diffusée depuis le miroir OpenRouter utilisé par le harness.
Lorsque la main insère un câble d’alimentation noir dans le bloc d’alimentation Seasonic à l’arrière du boîtier de PC noir, quelle surface se trouve derrière ?
- A)A dark, textured surfaceclé
- B)A gray carpeted surface
- C)A metal mesh surface
- D)A plain white surfacemodèle
La question cible un moment qui se répète avec de légères différences. La trace retient une vue de dos entre 15:30 et 15:40 avec un mur blanc en arrière-plan. L’élément clé est une surface sombre texturée, le modèle a donc associé l’action à un plan similaire et en a déduit l’arrière-plan à partir de celui-ci.
L’emplacement d’une bouteille de whisky lorsqu’une réplique est prononcée
Mode de défaillance: Ne repère jamais l’indice oral
Question 2894 contrastive-hard-negative/transcript_visual Qwen3.8 27B
La vidéo complète envoyée au modèle, diffusée depuis le miroir OpenRouter utilisé par le harness.
Lorsqu’il dit « Pendant tout ce temps, il est là-derrière à boire du whisky », la bouteille de whisky se trouve-t-elle à gauche ou à droite de l’ordinateur portable sur l’établi de Craig ?
- A)This does not happen in the video.clé
- B)To the left of the laptop.modèle
- C)To the right of the laptop.
- D)Directly behind the laptop.
L’indice est une réplique prononcée à voix haute. La trace ne la trouve jamais, indique qu’elle « se produit probablement pendant la conversation sur le banc » et répond à partir d’une image située entre 60 et 70 secondes. La clé est « ne se produit pas ». Sans le point d’ancrage fourni par la transcription, le modèle a substitué la scène la plus proche.


