Alle Leistungsvergleiche

VGI-Bench

VGI-Bench (Video General Intelligence Bench, von Seldon) stellt Multiple-Choice-Fragen zu langen Videos: was zuerst erschien, was gleichzeitig mit etwas anderem auf dem Bildschirm zu sehen war, was ein Erzähler sagte, während eine bestimmte Einstellung zu sehen war, sowie Fragen, deren Prämisse nie eintritt. Jedes Beispiel unten ist ein tatsächlicher Durchlauf über OpenRouter. Das Modell erhielt das vollständige Video und die Frage in einem einzigen Turn bei einer Temperatur von 0, und die bewertete Antwort ist der Buchstabe auf seiner letzten mit Answer: beginnenden Zeile.

Letzter Vergleichstestlauf

Modellvergleich

Am genauesten

Bestes Preis-Leistungs-Verhältnis

Am schnellsten

Genauigkeit
Genauigkeit im repräsentativen Durchlauf, beste zuerst.
Kosten pro Frage
Durchschnittliche Kosten pro Frage, günstigste zuerst.
Zeit pro Frage
Durchschnittliche Gesamtdauer pro Frage, schnellste zuerst.

Kosteneffizienz

Genauigkeit vs. Kosten (Pareto-Grenze)
Ein Punkt pro Modell, nach Möglichkeit mit Standardrouting (ohne Bindung an einen Anbieter). Die Linie ist die Pareto-Grenze: Kein Modell übertrifft diese Modelle sowohl bei der Genauigkeit als auch bei den Kosten.

Rangliste

Genauigkeit auf dem öffentlichen Teildatensatz (439 Fragen, für eine Auflistung müssen in einem Durchlauf mindestens 395 beantwortet werden), mit Kosten, Zeit sowie Eingabe- und Ausgabe-Token pro Frage für jeden Anbieter-Endpunkt, auf dem das Modell ausgeführt wurde. Die Bewertungen fassen erfolgreiche Durchläufe der letzten 90 Tage zusammen.

VGI-Bench-Rangliste: Modellgenauigkeit, Kosten, Zeit sowie Eingabe- und Ausgabe-Token pro Frage nach Anbieter
#ModellStandardabw.
166,2 %±1,0Prozentpunkte0,039 $64s141k2,03k
265,5 %--0,046 $4,6m412k11,5k
363,7 %±4,8Prozentpunkte0,073 $2,5m241k6,5k
463,7 %--0,55 $8,6m613k20,1k
563,6 %--1,03 $3,1m233k8,62k
6
Google AI Studio
61,4 %±0,7Prozentpunkte0,061 $1,8m3416,04k
761,1 %--0,22 $4,2m227k14,3k
858,0 %--0,33 $8,2m579k13,6k
957,4 %--0,023 $1,6m231k9,18k
1056,8 %----1,9m313102
1156,8 %--0,11 $6,2m1,52M24,1k
1254,8 %±0,5Prozentpunkte0,14 $4,7m111k40,2k
1354,8 %±0,5Prozentpunkte0,27 $5,6m1,48M10,9k
1454,2 %±0,5Prozentpunkte0,24 $2,6m151k21,8k
1552,8 %±2,3Prozentpunkte0,16 $3,7m98,6k14,1k
1651,3 %--0,008 $6,0m7,53k13,7k
1751,0 %±0,6Prozentpunkte0,16 $2,0m150k15,3k
1850,6 %±0,4Prozentpunkte0,21 $7,1m532k20,9k
19
Google AI Studio
50,0 %±0,3Prozentpunkte0,024 $1,9m3419,42k
2048,0 %--0,012 $2,4m34029,7k
2147,6 %±1,9Prozentpunkte0,026 $2,3m36,7k7,15k
2246,5 %±2,9Prozentpunkte0,018 $6,4m272k13,2k
2346,2 %±0,1Prozentpunkte0,008 $2,7m46,4k817
2446,2 %±1,2Prozentpunkte0,10 $4,9m1,49M20,2k
2545,6 %--0,027 $4,6m77,4k14,7k
2645,5 %±1,0Prozentpunkte0,95 $8,6m1,45M21,4k
2745,5 %±0,7Prozentpunkte0,17 $7,5m532k21,3k
2845,4 %--0,034 $5,2m337k11,9k
2945,2 %±0,8Prozentpunkte1,14 $6,7m1,49M19,4k
3045,1 %±0,6Prozentpunkte0,17 $4,9m440k18,6k
3143,4 %±2,9Prozentpunkte0,027 $1,9m232k9,34k
3243,4 %--0,34 $3,2m77k21,1k
3342,3 %--0,19 $3,5m515k7,53k
3440,9 %±7,2Prozentpunkte0,70 $4,4m38,3k81k
3534,8 %±2,9Prozentpunkte0,021 $7,5m199k16,4k
3634,6 %±2,7Prozentpunkte0,028 $8,3m58,2k43,9k
3730,1 %±2,6Prozentpunkte0,081 $9,8m53,4k75,3k
3828,9 %--0,019 $1,6m49k7,48k
3928,5 %±0,8Prozentpunkte0,016 $1,9m14,6k30,3k
4024,7 %±7,3Prozentpunkte0,004 $2,8m4,59k9,91k
4122,2 %--0,006 $44s130k3,99k
42
Reka Edge
Pareto
Reka
21,4 %±0,2Prozentpunkte0,00015 $31s1,49k30,5
4319,2 %--0,001 $1,8m5,71k9,46k
4415,5 %--0,050 $44s1,58k4,7k
4514,7 %--0,32 $3,0m1,63k15,5k
4614,4 %--0,039 $76s1,42k10,3k
4713,8 %--0,022 $47s6,28k6,46k
4812,8 %±0,4Prozentpunkte0,023 $3,9m38k6,22k
4912,7 %±0,0Prozentpunkte0,068 $51s1,58k8,24k
5012,4 %--0,013 $24s1,19k3,29k
5112,4 %±0,4Prozentpunkte0,015 $56s38,3k6,56k
5212,3 %±0,5Prozentpunkte0,13 $6,9m124k2,42k
5311,8 %±0,4Prozentpunkte0,031 $3,9m32,7k5,87k
5411,8 %--0,041 $82s5,06k3,17k
55
Google AI Studio
11,5 %--0,016 $24s1,39k3,97k
5611,4 %--0,11 $1,9m1,58k10,6k
5710,9 %--0,098 $59s1,39k7,96k
5810,8 %±0,3Prozentpunkte0,005 $44s4,57k5,08k
5910,6 %--0,098 $60s1,39k8,02k
60
Google AI Studio
10,1 %--0,088 $39s1,38k9,59k
618,4 %--0,006 $13s1,39k2,08k
628,2 %--0,038 $58s1,39k25,1k
638,2 %--0,038 $58s1,38k25,1k
646,7 %±0,3Prozentpunkte0,007 $5,7m5,07k24,3k
656,4 %--0,26 $57s1,57k12,9k
666,3 %±5,7Prozentpunkte0,025 $36s5,46k1,69k
675,6 %±4,3Prozentpunkte0,017 $1,9m69,2k804

Trajektorien

Das Denkprotokoll zeigt die Wahrnehmung des Modells: die Momente, die es nach eigener Aussage gesehen hat, und die Zeitstempel, die es ihnen zuordnet. Der Abgleich mit dem Video zeigt, wie die Antwort zustande kam und bei fehlgeschlagenen Durchläufen, wo die Beschreibung vom Videomaterial abweicht.

korrekt

Über welchem Fenster sich der Zeiger am häufigsten befindet

Idealfall: Das Modell findet den Moment und interpretiert ihn korrekt.

Frage 1187 global-graph/interaction_partner Qwen3.8 27B

Das vollständige Video, das dem Modell gesendet wurde, bereitgestellt über den vom Harness verwendeten OpenRouter-Mirror.

Über welcher Option befindet sich der Mauszeiger am häufigsten?

  1. A)Windhawk application windowSchlüssel, Modell
  2. B)Install button
  3. C)Adobe Premiere Pro window
  4. D)Windows taskbar
antwortete A ✓Schlüssel A

Der Trace verfolgt den Mauszeiger über die gesamte Aufnahme statt nur über ein einzelnes Bild, benennt den kurzen Auftritt von Premiere Pro gegen Ende als Ablenkung und identifiziert schließlich das Fenster, das die Sitzung dominiert.

The question asks which option the mouse pointer hovers over most often. Let me think about the video content. The video is a tutorial about Windhawk, a customization tool for Windows. Throughout the video, the user is constantly interacting with the Windhawk application window - browsing mods, installing them, configuring settings, etc. Let me consider each option: - A) Windhawk application window - This is the main focus of the video. The user opens Windhawk, browses mods, clicks on details, settings, installs mods, etc. The mouse is frequently over this window. - B) Install button - The install button is clicked a few times but not hovered over most often. - C) Adobe Premiere Pro window - This appears only briefly near the end (around 13:20-13:40) as a joke about the title bar color. - D) Windows taskbar - The taskbar is shown but the mouse isn't constantly hovering over it. The dominant interaction is with the Windhawk application window. The mouse pointer is over it for the majority of the video as the user navigates through mods, settings, etc. So the answer is A. Let me double check by reviewing timestamps. From 1:20 onwards, the Windhawk window is open and the mouse moves around it constantly - clicking Mods, Explore, scrolling, clicking Details, Settings, etc. This continues through most of the video. The taskbar is shown at times but the mouse hovers over the Windhawk window more. Thus A is correct.