VGI-Bench
VGI-Bench (Video General Intelligence Bench, von Seldon) stellt Multiple-Choice-Fragen zu langen Videos: was zuerst erschien, was gleichzeitig mit etwas anderem auf dem Bildschirm zu sehen war, was ein Erzähler sagte, während eine bestimmte Einstellung zu sehen war, sowie Fragen, deren Prämisse nie eintritt. Jedes Beispiel unten ist ein tatsächlicher Durchlauf über OpenRouter. Das Modell erhielt das vollständige Video und die Frage in einem einzigen Turn bei einer Temperatur von 0, und die bewertete Antwort ist der Buchstabe auf seiner letzten mit Answer: beginnenden Zeile.
Letzter Vergleichstestlauf
Modellvergleich
Am genauesten
66,2 %
Bestes Preis-Leistungs-Verhältnis
0,039 $/Frage
Am schnellsten
Kosteneffizienz
Rangliste
Genauigkeit auf dem öffentlichen Teildatensatz (439 Fragen, für eine Auflistung müssen in einem Durchlauf mindestens 395 beantwortet werden), mit Kosten, Zeit sowie Eingabe- und Ausgabe-Token pro Frage für jeden Anbieter-Endpunkt, auf dem das Modell ausgeführt wurde. Die Bewertungen fassen erfolgreiche Durchläufe der letzten 90 Tage zusammen.
| # | Modell | Standardabw. | |||||
|---|---|---|---|---|---|---|---|
| 1 | 66,2 % | ±1,0Prozentpunkte | 0,039 $ | 64s | 141k | 2,03k | |
| 2 | Alibaba | 65,5 % | -- | 0,046 $ | 4,6m | 412k | 11,5k |
| 3 | 63,7 % | ±4,8Prozentpunkte | 0,073 $ | 2,5m | 241k | 6,5k | |
| 4 | Alibaba | 63,7 % | -- | 0,55 $ | 8,6m | 613k | 20,1k |
| 5 | 63,6 % | -- | 1,03 $ | 3,1m | 233k | 8,62k | |
| 6 | Google AI Studio | 61,4 % | ±0,7Prozentpunkte | 0,061 $ | 1,8m | 341 | 6,04k |
| 7 | 61,1 % | -- | 0,22 $ | 4,2m | 227k | 14,3k | |
| 8 | Alibaba | 58,0 % | -- | 0,33 $ | 8,2m | 579k | 13,6k |
| 9 | Meta | 57,4 % | -- | 0,023 $ | 1,6m | 231k | 9,18k |
| 10 | Stealth | 56,8 % | -- | -- | 1,9m | 313 | 102 |
| 11 | Alibaba | 56,8 % | -- | 0,11 $ | 6,2m | 1,52M | 24,1k |
| 12 | Google AI Studio | 54,8 % | ±0,5Prozentpunkte | 0,14 $ | 4,7m | 111k | 40,2k |
| 13 | Alibaba | 54,8 % | ±0,5Prozentpunkte | 0,27 $ | 5,6m | 1,48M | 10,9k |
| 14 | 54,2 % | ±0,5Prozentpunkte | 0,24 $ | 2,6m | 151k | 21,8k | |
| 15 | 52,8 % | ±2,3Prozentpunkte | 0,16 $ | 3,7m | 98,6k | 14,1k | |
| 16 | 51,3 % | -- | 0,008 $ | 6,0m | 7,53k | 13,7k | |
| 17 | 51,0 % | ±0,6Prozentpunkte | 0,16 $ | 2,0m | 150k | 15,3k | |
| 18 | Alibaba | 50,6 % | ±0,4Prozentpunkte | 0,21 $ | 7,1m | 532k | 20,9k |
| 19 | Google AI Studio | 50,0 % | ±0,3Prozentpunkte | 0,024 $ | 1,9m | 341 | 9,42k |
| 20 | Google AI Studio | 48,0 % | -- | 0,012 $ | 2,4m | 340 | 29,7k |
| 21 | 47,6 % | ±1,9Prozentpunkte | 0,026 $ | 2,3m | 36,7k | 7,15k | |
| 22 | Xiaomi | 46,5 % | ±2,9Prozentpunkte | 0,018 $ | 6,4m | 272k | 13,2k |
| 23 | Perceptron | 46,2 % | ±0,1Prozentpunkte | 0,008 $ | 2,7m | 46,4k | 817 |
| 24 | Alibaba | 46,2 % | ±1,2Prozentpunkte | 0,10 $ | 4,9m | 1,49M | 20,2k |
| 25 | 45,6 % | -- | 0,027 $ | 4,6m | 77,4k | 14,7k | |
| 26 | 45,5 % | ±1,0Prozentpunkte | 0,95 $ | 8,6m | 1,45M | 21,4k | |
| 27 | 45,5 % | ±0,7Prozentpunkte | 0,17 $ | 7,5m | 532k | 21,3k | |
| 28 | 45,4 % | -- | 0,034 $ | 5,2m | 337k | 11,9k | |
| 29 | Alibaba | 45,2 % | ±0,8Prozentpunkte | 1,14 $ | 6,7m | 1,49M | 19,4k |
| 30 | 45,1 % | ±0,6Prozentpunkte | 0,17 $ | 4,9m | 440k | 18,6k | |
| 31 | 43,4 % | ±2,9Prozentpunkte | 0,027 $ | 1,9m | 232k | 9,34k | |
| 32 | 43,4 % | -- | 0,34 $ | 3,2m | 77k | 21,1k | |
| 33 | Novita | 42,3 % | -- | 0,19 $ | 3,5m | 515k | 7,53k |
| 34 | 40,9 % | ±7,2Prozentpunkte | 0,70 $ | 4,4m | 38,3k | 81k | |
| 35 | 34,8 % | ±2,9Prozentpunkte | 0,021 $ | 7,5m | 199k | 16,4k | |
| 36 | 34,6 % | ±2,7Prozentpunkte | 0,028 $ | 8,3m | 58,2k | 43,9k | |
| 37 | 30,1 % | ±2,6Prozentpunkte | 0,081 $ | 9,8m | 53,4k | 75,3k | |
| 38 | Perceptron | 28,9 % | -- | 0,019 $ | 1,6m | 49k | 7,48k |
| 39 | 28,5 % | ±0,8Prozentpunkte | 0,016 $ | 1,9m | 14,6k | 30,3k | |
| 40 | 24,7 % | ±7,3Prozentpunkte | 0,004 $ | 2,8m | 4,59k | 9,91k | |
| 41 | 22,2 % | -- | 0,006 $ | 44s | 130k | 3,99k | |
| 42 | Reka | 21,4 % | ±0,2Prozentpunkte | 0,00015 $ | 31s | 1,49k | 30,5 |
| 43 | 19,2 % | -- | 0,001 $ | 1,8m | 5,71k | 9,46k | |
| 44 | 15,5 % | -- | 0,050 $ | 44s | 1,58k | 4,7k | |
| 45 | Google AI Studio | 14,7 % | -- | 0,32 $ | 3,0m | 1,63k | 15,5k |
| 46 | 14,4 % | -- | 0,039 $ | 76s | 1,42k | 10,3k | |
| 47 | Together | 13,8 % | -- | 0,022 $ | 47s | 6,28k | 6,46k |
| 48 | Alibaba | 12,8 % | ±0,4Prozentpunkte | 0,023 $ | 3,9m | 38k | 6,22k |
| 49 | 12,7 % | ±0,0Prozentpunkte | 0,068 $ | 51s | 1,58k | 8,24k | |
| 50 | Google | 12,4 % | -- | 0,013 $ | 24s | 1,19k | 3,29k |
| 51 | 12,4 % | ±0,4Prozentpunkte | 0,015 $ | 56s | 38,3k | 6,56k | |
| 52 | 12,3 % | ±0,5Prozentpunkte | 0,13 $ | 6,9m | 124k | 2,42k | |
| 53 | 11,8 % | ±0,4Prozentpunkte | 0,031 $ | 3,9m | 32,7k | 5,87k | |
| 54 | 11,8 % | -- | 0,041 $ | 82s | 5,06k | 3,17k | |
| 55 | Google AI Studio | 11,5 % | -- | 0,016 $ | 24s | 1,39k | 3,97k |
| 56 | 11,4 % | -- | 0,11 $ | 1,9m | 1,58k | 10,6k | |
| 57 | Google AI Studio | 10,9 % | -- | 0,098 $ | 59s | 1,39k | 7,96k |
| 58 | 10,8 % | ±0,3Prozentpunkte | 0,005 $ | 44s | 4,57k | 5,08k | |
| 59 | Google AI Studio | 10,6 % | -- | 0,098 $ | 60s | 1,39k | 8,02k |
| 60 | Google AI Studio | 10,1 % | -- | 0,088 $ | 39s | 1,38k | 9,59k |
| 61 | Google AI Studio | 8,4 % | -- | 0,006 $ | 13s | 1,39k | 2,08k |
| 62 | Google AI Studio | 8,2 % | -- | 0,038 $ | 58s | 1,39k | 25,1k |
| 63 | Google AI Studio | 8,2 % | -- | 0,038 $ | 58s | 1,38k | 25,1k |
| 64 | 6,7 % | ±0,3Prozentpunkte | 0,007 $ | 5,7m | 5,07k | 24,3k | |
| 65 | Google AI Studio | 6,4 % | -- | 0,26 $ | 57s | 1,57k | 12,9k |
| 66 | 6,3 % | ±5,7Prozentpunkte | 0,025 $ | 36s | 5,46k | 1,69k | |
| 67 | Z.AI | 5,6 % | ±4,3Prozentpunkte | 0,017 $ | 1,9m | 69,2k | 804 |
Trajektorien
Das Denkprotokoll zeigt die Wahrnehmung des Modells: die Momente, die es nach eigener Aussage gesehen hat, und die Zeitstempel, die es ihnen zuordnet. Der Abgleich mit dem Video zeigt, wie die Antwort zustande kam und bei fehlgeschlagenen Durchläufen, wo die Beschreibung vom Videomaterial abweicht.
Über welchem Fenster sich der Zeiger am häufigsten befindet
Idealfall: Das Modell findet den Moment und interpretiert ihn korrekt.
Frage 1187 global-graph/interaction_partner Qwen3.8 27B
Das vollständige Video, das dem Modell gesendet wurde, bereitgestellt über den vom Harness verwendeten OpenRouter-Mirror.
Über welcher Option befindet sich der Mauszeiger am häufigsten?
- A)Windhawk application windowSchlüssel, Modell
- B)Install button
- C)Adobe Premiere Pro window
- D)Windows taskbar
Der Trace verfolgt den Mauszeiger über die gesamte Aufnahme statt nur über ein einzelnes Bild, benennt den kurzen Auftritt von Premiere Pro gegen Ende als Ablenkung und identifiziert schließlich das Fenster, das die Sitzung dominiert.
Objekt gemeinsam mit einem Gartenschuppen vorhanden
Fehlermodus: Auffälliges Objekt über dem Schlüssel
Frage 1862 global-graph/co_presence Qwen3.8 27B
Das vollständige Video, das dem Modell gesendet wurde, bereitgestellt über den vom Harness verwendeten OpenRouter-Mirror.
Welche Option ist während des Videos wiederholt gleichzeitig mit dem hölzernen Gartenhaus sichtbar?
- A)presenter with short curly hairSchlüssel
- B)metal shed hinge
- C)wagon wheelModell
- D)glass doors
Der Trace nennt acht Zeitstempel für ein Wagenrad, das an einem Schuppen lehnt, und stuft den Moderator als nebensächlich ein. Die von Menschen validierte richtige Antwort ist der Moderator. Das Modell wählte das auffälligste Objekt im Bild statt des Objekts, auf das sich die Bewertung der Frage bezog.
Eine Frage mit falscher Prämisse über einen Messlöffel
Fehlermodus: Schildert einen Moment, der nie stattfindet
Frage 1096 contrastive-hard-negative/false-premise-visual-attribute Qwen3.8 27B
Das vollständige Video, das dem Modell gesendet wurde, bereitgestellt über den vom Harness verwendeten OpenRouter-Mirror.
Wo befindet sich der rote Messlöffel im Verhältnis zum Käsebruch, als die Sprecherin sagt, dass sie einen ganzen Esslöffel Salz verwendet hat?
- A)This does not happen in the video.Schlüssel
- B)It is resting beside the bowl of cheese curds.
- C)It is positioned just in front of the cheese curds.Modell
- D)It is laid across the top of the cheese curds.
Laut Lösungsschlüssel kommt dieser Moment nicht vor. Der Trace beschreibt eine Sequenz von 2:38 bis 2:44, in der der Löffel vor dem Käsebruch abgelegt wird, lehnt die Option „kommt nicht vor“ kategorisch ab und antwortet mit Details, die der Lösungsschlüssel nicht belegt.
Das Geräusch beim Einrasten eines M.2-Kühlkörpers
Fehlermodus: Beantwortet eine Audiofrage anhand von Weltwissen
Frage 2852 contrastive-hard-negative/visual_audio Qwen3.8 27B
Das vollständige Video, das dem Modell gesendet wurde, bereitgestellt über den vom Harness verwendeten OpenRouter-Mirror.
Welches Klicken ist zu hören, wenn der obere Kühlkörper wieder einrastet, während die beiden M.2-Steckplätze violett hervorgehoben sind?
- A)This does not happen in the videoSchlüssel
- B)A sharp metallic snap
- C)A firm double-click
- D)A soft plastic clickModell
Im Trace steht „Ich muss mich an den Ton erinnern“, und anschließend wird auf Grundlage dessen argumentiert, wie Videos zum PC-Zusammenbau „typischerweise“ klingen, nie auf Grundlage dieses konkreten Videos. Entscheidend ist „passiert nicht“. Die endgültige Antwort stellt das vermutete Klicken als etwas dar, das im Video zu hören war.
Hintergrund hinter einem Netzteilkabel, das eingesteckt wird
Fehlermodus: Lokalisiert einen nahezu identischen Moment
Frage 1539 near-duplicate-moments Qwen3.8 27B
Das vollständige Video, das dem Modell gesendet wurde, bereitgestellt über den vom Harness verwendeten OpenRouter-Mirror.
Wenn die Hand ein schwarzes Stromkabel in das Seasonic-Netzteil an der Rückseite des schwarzen PC-Gehäuses steckt, welche Oberfläche befindet sich dahinter?
- A)A dark, textured surfaceSchlüssel
- B)A gray carpeted surface
- C)A metal mesh surface
- D)A plain white surfaceModell
Die Frage bezieht sich auf einen Moment, der mit kleinen Unterschieden wiederkehrt. Der Trace legt sich auf eine Rückansicht von 15:30 bis 15:40 mit einer weißen Wand im Hintergrund fest. Entscheidend ist eine dunkle, strukturierte Oberfläche, daher hat das Modell die Handlung einer ähnlichen Einstellung zugeordnet und den Hintergrund aus dieser abgeleitet.
Wo eine Whiskeyflasche steht, wenn eine Dialogzeile gesprochen wird
Fehlermodus: Findet den gesprochenen Hinweis nie
Frage 2894 contrastive-hard-negative/transcript_visual Qwen3.8 27B
Das vollständige Video, das dem Modell gesendet wurde, bereitgestellt über den vom Harness verwendeten OpenRouter-Mirror.
Wenn er sagt: „Die ganze Zeit sitzt er da hinten und trinkt Whiskey“, steht die Whiskeyflasche links oder rechts vom Laptop auf Craigs Werkbank?
- A)This does not happen in the video.Schlüssel
- B)To the left of the laptop.Modell
- C)To the right of the laptop.
- D)Directly behind the laptop.
Der Hinweis ist eine gesprochene Zeile. Der Trace findet sie nie, sagt, sie komme „wahrscheinlich während des Gesprächs auf der Bank vor“, und antwortet anhand eines Einzelbilds bei 60 bis 70 Sekunden. Entscheidend ist „passiert nicht“. Ohne den Anker im Transkript ersetzte das Modell sie durch die nächstgelegene passende Szene.


