すべてのベンチマーク

VGI-Bench

VGI-Bench(Seldon による Video General Intelligence Bench)は、長尺動画について、何が最初に登場したか、別のものと同時に画面に何が映っていたか、特定のショットの間にナレーターが何を言ったか、そして前提となる出来事が起こらない質問など、多肢選択式の質問を出します。以下の各サンプルは、OpenRouter を通じた実際の実行結果です。モデルは温度 0 で動画全体と質問を同じターンで受け取り、採点対象の回答は最後の Answer: 行にある文字です。

ベンチマークの最終実行

モデル比較

最高精度

最高のコストパフォーマンス

正確性
代表的な実行の正解率を、高い順に表示します。
質問あたりのコスト
質問あたりの平均コストを安い順に表示します。
質問あたりの時間
質問ごとの平均実経過時間を、速い順に表示しています。

コスト効率

精度とコスト(パレートフロンティア)
各モデルを点で示し、利用可能な場合はデフォルトのルーティング(プロバイダーに固定しない方式)を使用しています。線はパレートフロンティアを示し、精度とコストの両方でこれらを上回るモデルはありません。

リーダーボード

公開分割データでの正解率(439 問、掲載には少なくとも 395 問への回答が必要です)と、モデルを実行した各プロバイダーのエンドポイントにおける質問あたりのコスト、時間、入力および出力トークン数を示します。スコアは直近 90 日間の成功した実行結果を集計しています。

VGI-Bench リーダーボード:プロバイダー別のモデル精度、コスト、時間、および質問あたりの入力・出力トークン数
#モデル標準偏差
166.2%±1.0パーセントポイント$0.03964s141k2.03k
265.5%--$0.0464.6m412k11.5k
363.7%±4.8パーセントポイント$0.0732.5m241k6.5k
463.7%--$0.558.6m613k20.1k
563.6%--$1.033.1m233k8.62k
6
Google AI Studio
61.4%±0.7パーセントポイント$0.0611.8m3416.04k
761.1%--$0.224.2m227k14.3k
858.0%--$0.338.2m579k13.6k
9
Meta: Muse Ember
パレート
Meta
57.4%--$0.0231.6m231k9.18k
1056.8%----1.9m313102
1156.8%--$0.116.2m1.52M24.1k
1254.8%±0.5パーセントポイント$0.144.7m111k40.2k
1354.8%±0.5パーセントポイント$0.275.6m1.48M10.9k
1454.2%±0.5パーセントポイント$0.242.6m151k21.8k
1552.8%±2.3パーセントポイント$0.163.7m98.6k14.1k
1651.3%--$0.0086.0m7.53k13.7k
1751.0%±0.6パーセントポイント$0.162.0m150k15.3k
1850.6%±0.4パーセントポイント$0.217.1m532k20.9k
19
Google AI Studio
50.0%±0.3パーセントポイント$0.0241.9m3419.42k
2048.0%--$0.0122.4m34029.7k
2147.6%±1.9パーセントポイント$0.0262.3m36.7k7.15k
2246.5%±2.9パーセントポイント$0.0186.4m272k13.2k
2346.2%±0.1パーセントポイント$0.0082.7m46.4k817
2446.2%±1.2パーセントポイント$0.104.9m1.49M20.2k
2545.6%--$0.0274.6m77.4k14.7k
2645.5%±1.0パーセントポイント$0.958.6m1.45M21.4k
2745.5%±0.7パーセントポイント$0.177.5m532k21.3k
2845.4%--$0.0345.2m337k11.9k
2945.2%±0.8パーセントポイント$1.146.7m1.49M19.4k
3045.1%±0.6パーセントポイント$0.174.9m440k18.6k
3143.4%±2.9パーセントポイント$0.0271.9m232k9.34k
3243.4%--$0.343.2m77k21.1k
3342.3%--$0.193.5m515k7.53k
3440.9%±7.2パーセントポイント$0.704.4m38.3k81k
3534.8%±2.9パーセントポイント$0.0217.5m199k16.4k
3634.6%±2.7パーセントポイント$0.0288.3m58.2k43.9k
3730.1%±2.6パーセントポイント$0.0819.8m53.4k75.3k
3828.9%--$0.0191.6m49k7.48k
3928.5%±0.8パーセントポイント$0.0161.9m14.6k30.3k
4024.7%±7.3パーセントポイント$0.0042.8m4.59k9.91k
4122.2%--$0.00644s130k3.99k
42
Reka Edge
パレート
Reka
21.4%±0.2パーセントポイント$0.0001531s1.49k30.5
4319.2%--$0.0011.8m5.71k9.46k
4415.5%--$0.05044s1.58k4.7k
4514.7%--$0.323.0m1.63k15.5k
4614.4%--$0.03976s1.42k10.3k
4713.8%--$0.02247s6.28k6.46k
4812.8%±0.4パーセントポイント$0.0233.9m38k6.22k
4912.7%±0.0パーセントポイント$0.06851s1.58k8.24k
5012.4%--$0.01324s1.19k3.29k
5112.4%±0.4パーセントポイント$0.01556s38.3k6.56k
5212.3%±0.5パーセントポイント$0.136.9m124k2.42k
5311.8%±0.4パーセントポイント$0.0313.9m32.7k5.87k
5411.8%--$0.04182s5.06k3.17k
55
Google AI Studio
11.5%--$0.01624s1.39k3.97k
5611.4%--$0.111.9m1.58k10.6k
5710.9%--$0.09859s1.39k7.96k
5810.8%±0.3パーセントポイント$0.00544s4.57k5.08k
5910.6%--$0.09860s1.39k8.02k
60
Google AI Studio
10.1%--$0.08839s1.38k9.59k
618.4%--$0.00613s1.39k2.08k
628.2%--$0.03858s1.39k25.1k
638.2%--$0.03858s1.38k25.1k
646.7%±0.3パーセントポイント$0.0075.7m5.07k24.3k
656.4%--$0.2657s1.57k12.9k
666.3%±5.7パーセントポイント$0.02536s5.46k1.69k
675.6%±4.3パーセントポイント$0.0171.9m69.2k804

軌跡

推論トレースはモデルの認識を表すもので、モデルが見たと述べる場面と、それらに付けたタイムスタンプです。動画と照らし合わせて読むことで、回答に至った過程や、失敗した実行で説明が映像から逸脱した箇所がわかります。

正解

ポインターが最も長く重なっているウィンドウ

正常系: モデルは該当する瞬間を見つけ、正しく読み取ります。

質問 1187 global-graph/interaction_partner Qwen3.8 27B

モデルに送信された動画の全編で、ハーネスが使用する OpenRouter ミラーから配信されます。

マウスポインターが最も頻繁に重なるのはどの選択肢ですか?

  1. A)Windhawk application windowキー、モデル
  2. B)Install button
  3. C)Adobe Premiere Pro window
  4. D)Windows taskbar
回答:A ✓キー A

このトレースは単一のフレームではなく録画全体にわたってポインターを追跡し、終盤に少しだけ登場する Premiere Pro を判断を惑わせる要素として挙げ、セッションの大部分を占めるウィンドウを特定します。

The question asks which option the mouse pointer hovers over most often. Let me think about the video content. The video is a tutorial about Windhawk, a customization tool for Windows. Throughout the video, the user is constantly interacting with the Windhawk application window - browsing mods, installing them, configuring settings, etc. Let me consider each option: - A) Windhawk application window - This is the main focus of the video. The user opens Windhawk, browses mods, clicks on details, settings, installs mods, etc. The mouse is frequently over this window. - B) Install button - The install button is clicked a few times but not hovered over most often. - C) Adobe Premiere Pro window - This appears only briefly near the end (around 13:20-13:40) as a joke about the title bar color. - D) Windows taskbar - The taskbar is shown but the mouse isn't constantly hovering over it. The dominant interaction is with the Windhawk application window. The mouse pointer is over it for the majority of the video as the user navigates through mods, settings, etc. So the answer is A. Let me double check by reviewing timestamps. From 1:20 onwards, the Windhawk window is open and the mouse moves around it constantly - clicking Mods, Explore, scrolling, clicking Details, Settings, etc. This continues through most of the video. The taskbar is shown at times but the mouse hovers over the Windhawk window more. Thus A is correct.