VGI-Bench
VGI-Bench(Seldon による Video General Intelligence Bench)は、長尺動画について、何が最初に登場したか、別のものと同時に画面に何が映っていたか、特定のショットの間にナレーターが何を言ったか、そして前提となる出来事が起こらない質問など、多肢選択式の質問を出します。以下の各サンプルは、OpenRouter を通じた実際の実行結果です。モデルは温度 0 で動画全体と質問を同じターンで受け取り、採点対象の回答は最後の Answer: 行にある文字です。
ベンチマークの最終実行
モデル比較
最高精度
最高のコストパフォーマンス
$0.039/質問
コスト効率
リーダーボード
公開分割データでの正解率(439 問、掲載には少なくとも 395 問への回答が必要です)と、モデルを実行した各プロバイダーのエンドポイントにおける質問あたりのコスト、時間、入力および出力トークン数を示します。スコアは直近 90 日間の成功した実行結果を集計しています。
| # | モデル | 標準偏差 | |||||
|---|---|---|---|---|---|---|---|
| 1 | 66.2% | ±1.0パーセントポイント | $0.039 | 64s | 141k | 2.03k | |
| 2 | Alibaba | 65.5% | -- | $0.046 | 4.6m | 412k | 11.5k |
| 3 | 63.7% | ±4.8パーセントポイント | $0.073 | 2.5m | 241k | 6.5k | |
| 4 | Alibaba | 63.7% | -- | $0.55 | 8.6m | 613k | 20.1k |
| 5 | 63.6% | -- | $1.03 | 3.1m | 233k | 8.62k | |
| 6 | Google AI Studio | 61.4% | ±0.7パーセントポイント | $0.061 | 1.8m | 341 | 6.04k |
| 7 | 61.1% | -- | $0.22 | 4.2m | 227k | 14.3k | |
| 8 | Alibaba | 58.0% | -- | $0.33 | 8.2m | 579k | 13.6k |
| 9 | Meta | 57.4% | -- | $0.023 | 1.6m | 231k | 9.18k |
| 10 | Stealth | 56.8% | -- | -- | 1.9m | 313 | 102 |
| 11 | Alibaba | 56.8% | -- | $0.11 | 6.2m | 1.52M | 24.1k |
| 12 | Google AI Studio | 54.8% | ±0.5パーセントポイント | $0.14 | 4.7m | 111k | 40.2k |
| 13 | Alibaba | 54.8% | ±0.5パーセントポイント | $0.27 | 5.6m | 1.48M | 10.9k |
| 14 | 54.2% | ±0.5パーセントポイント | $0.24 | 2.6m | 151k | 21.8k | |
| 15 | 52.8% | ±2.3パーセントポイント | $0.16 | 3.7m | 98.6k | 14.1k | |
| 16 | 51.3% | -- | $0.008 | 6.0m | 7.53k | 13.7k | |
| 17 | 51.0% | ±0.6パーセントポイント | $0.16 | 2.0m | 150k | 15.3k | |
| 18 | Alibaba | 50.6% | ±0.4パーセントポイント | $0.21 | 7.1m | 532k | 20.9k |
| 19 | Google AI Studio | 50.0% | ±0.3パーセントポイント | $0.024 | 1.9m | 341 | 9.42k |
| 20 | Google AI Studio | 48.0% | -- | $0.012 | 2.4m | 340 | 29.7k |
| 21 | 47.6% | ±1.9パーセントポイント | $0.026 | 2.3m | 36.7k | 7.15k | |
| 22 | Xiaomi | 46.5% | ±2.9パーセントポイント | $0.018 | 6.4m | 272k | 13.2k |
| 23 | Perceptron | 46.2% | ±0.1パーセントポイント | $0.008 | 2.7m | 46.4k | 817 |
| 24 | Alibaba | 46.2% | ±1.2パーセントポイント | $0.10 | 4.9m | 1.49M | 20.2k |
| 25 | 45.6% | -- | $0.027 | 4.6m | 77.4k | 14.7k | |
| 26 | 45.5% | ±1.0パーセントポイント | $0.95 | 8.6m | 1.45M | 21.4k | |
| 27 | 45.5% | ±0.7パーセントポイント | $0.17 | 7.5m | 532k | 21.3k | |
| 28 | 45.4% | -- | $0.034 | 5.2m | 337k | 11.9k | |
| 29 | Alibaba | 45.2% | ±0.8パーセントポイント | $1.14 | 6.7m | 1.49M | 19.4k |
| 30 | 45.1% | ±0.6パーセントポイント | $0.17 | 4.9m | 440k | 18.6k | |
| 31 | 43.4% | ±2.9パーセントポイント | $0.027 | 1.9m | 232k | 9.34k | |
| 32 | 43.4% | -- | $0.34 | 3.2m | 77k | 21.1k | |
| 33 | Novita | 42.3% | -- | $0.19 | 3.5m | 515k | 7.53k |
| 34 | 40.9% | ±7.2パーセントポイント | $0.70 | 4.4m | 38.3k | 81k | |
| 35 | 34.8% | ±2.9パーセントポイント | $0.021 | 7.5m | 199k | 16.4k | |
| 36 | 34.6% | ±2.7パーセントポイント | $0.028 | 8.3m | 58.2k | 43.9k | |
| 37 | 30.1% | ±2.6パーセントポイント | $0.081 | 9.8m | 53.4k | 75.3k | |
| 38 | Perceptron | 28.9% | -- | $0.019 | 1.6m | 49k | 7.48k |
| 39 | 28.5% | ±0.8パーセントポイント | $0.016 | 1.9m | 14.6k | 30.3k | |
| 40 | 24.7% | ±7.3パーセントポイント | $0.004 | 2.8m | 4.59k | 9.91k | |
| 41 | 22.2% | -- | $0.006 | 44s | 130k | 3.99k | |
| 42 | Reka | 21.4% | ±0.2パーセントポイント | $0.00015 | 31s | 1.49k | 30.5 |
| 43 | 19.2% | -- | $0.001 | 1.8m | 5.71k | 9.46k | |
| 44 | 15.5% | -- | $0.050 | 44s | 1.58k | 4.7k | |
| 45 | Google AI Studio | 14.7% | -- | $0.32 | 3.0m | 1.63k | 15.5k |
| 46 | 14.4% | -- | $0.039 | 76s | 1.42k | 10.3k | |
| 47 | Together | 13.8% | -- | $0.022 | 47s | 6.28k | 6.46k |
| 48 | Alibaba | 12.8% | ±0.4パーセントポイント | $0.023 | 3.9m | 38k | 6.22k |
| 49 | 12.7% | ±0.0パーセントポイント | $0.068 | 51s | 1.58k | 8.24k | |
| 50 | Google | 12.4% | -- | $0.013 | 24s | 1.19k | 3.29k |
| 51 | 12.4% | ±0.4パーセントポイント | $0.015 | 56s | 38.3k | 6.56k | |
| 52 | 12.3% | ±0.5パーセントポイント | $0.13 | 6.9m | 124k | 2.42k | |
| 53 | 11.8% | ±0.4パーセントポイント | $0.031 | 3.9m | 32.7k | 5.87k | |
| 54 | 11.8% | -- | $0.041 | 82s | 5.06k | 3.17k | |
| 55 | Google AI Studio | 11.5% | -- | $0.016 | 24s | 1.39k | 3.97k |
| 56 | 11.4% | -- | $0.11 | 1.9m | 1.58k | 10.6k | |
| 57 | Google AI Studio | 10.9% | -- | $0.098 | 59s | 1.39k | 7.96k |
| 58 | 10.8% | ±0.3パーセントポイント | $0.005 | 44s | 4.57k | 5.08k | |
| 59 | Google AI Studio | 10.6% | -- | $0.098 | 60s | 1.39k | 8.02k |
| 60 | Google AI Studio | 10.1% | -- | $0.088 | 39s | 1.38k | 9.59k |
| 61 | Google AI Studio | 8.4% | -- | $0.006 | 13s | 1.39k | 2.08k |
| 62 | Google AI Studio | 8.2% | -- | $0.038 | 58s | 1.39k | 25.1k |
| 63 | Google AI Studio | 8.2% | -- | $0.038 | 58s | 1.38k | 25.1k |
| 64 | 6.7% | ±0.3パーセントポイント | $0.007 | 5.7m | 5.07k | 24.3k | |
| 65 | Google AI Studio | 6.4% | -- | $0.26 | 57s | 1.57k | 12.9k |
| 66 | 6.3% | ±5.7パーセントポイント | $0.025 | 36s | 5.46k | 1.69k | |
| 67 | Z.AI | 5.6% | ±4.3パーセントポイント | $0.017 | 1.9m | 69.2k | 804 |
軌跡
推論トレースはモデルの認識を表すもので、モデルが見たと述べる場面と、それらに付けたタイムスタンプです。動画と照らし合わせて読むことで、回答に至った過程や、失敗した実行で説明が映像から逸脱した箇所がわかります。
ポインターが最も長く重なっているウィンドウ
正常系: モデルは該当する瞬間を見つけ、正しく読み取ります。
質問 1187 global-graph/interaction_partner Qwen3.8 27B
モデルに送信された動画の全編で、ハーネスが使用する OpenRouter ミラーから配信されます。
マウスポインターが最も頻繁に重なるのはどの選択肢ですか?
- A)Windhawk application windowキー、モデル
- B)Install button
- C)Adobe Premiere Pro window
- D)Windows taskbar
このトレースは単一のフレームではなく録画全体にわたってポインターを追跡し、終盤に少しだけ登場する Premiere Pro を判断を惑わせる要素として挙げ、セッションの大部分を占めるウィンドウを特定します。
庭の物置と一緒に存在する物体
失敗モード: キーの上の目立つオブジェクト
質問 1862 global-graph/co_presence Qwen3.8 27B
モデルに送信された動画の全編で、ハーネスが使用する OpenRouter ミラーから配信されます。
動画の中で、木製の庭の物置と繰り返し同時に映っているのはどの選択肢ですか?
- A)presenter with short curly hairキー
- B)metal shed hinge
- C)wagon wheelモデル
- D)glass doors
トレースでは、小屋に立てかけられた荷車の車輪について八つのタイムスタンプを挙げ、プレゼンターを付随的なものとして扱っています。人手で検証された正解はプレゼンターです。モデルは、設問の採点対象ではなく、フレーム内で最も特徴的な物体を選びました。
計量スプーンに関する誤った前提の質問
失敗モード: 実際には起こらない瞬間を描写します
質問 1096 contrastive-hard-negative/false-premise-visual-attribute Qwen3.8 27B
モデルに送信された動画の全編で、ハーネスが使用する OpenRouter ミラーから配信されます。
話者が塩を大さじ一杯使ったと言っているとき、赤い計量スプーンはチーズカードに対してどの位置にありますか?
- A)This does not happen in the video.キー
- B)It is resting beside the bowl of cheese curds.
- C)It is positioned just in front of the cheese curds.モデル
- D)It is laid across the top of the cheese curds.
正解では、この場面は起こらないとされています。トレースは 2:38 から 2:44 までの流れを説明し、その中でスプーンがカードの手前に置かれ、「起こらない」という選択肢を完全に否定し、正解では裏付けられていない詳細を含めて回答しています。
M.2 ヒートシンクが固定される音
失敗モード: 一般知識に基づいて音声の質問に回答します
質問 2852 contrastive-hard-negative/visual_audio Qwen3.8 27B
モデルに送信された動画の全編で、ハーネスが使用する OpenRouter ミラーから配信されます。
2 つの M.2 スロットが紫色で強調表示されているとき、上部のヒートシンクが元の位置に固定される際に、どのようなクリック音が聞こえますか?
- A)This does not happen in the videoキー
- B)A sharp metallic snap
- C)A firm double-click
- D)A soft plastic clickモデル
トレースには「音声を思い出す必要があります」と記され、その後はこの動画の音ではなく、PC 組み立て動画で「一般的に」聞こえる音から推論しています。正解の鍵は「起こらない」です。最終回答では、推測したクリック音を動画で実際に聞いた音として提示しています。
PSU ケーブルを差し込んでいる場面の背景
失敗モード: ほぼ同一の場面を特定します
質問 1539 near-duplicate-moments Qwen3.8 27B
モデルに送信された動画の全編で、ハーネスが使用する OpenRouter ミラーから配信されます。
手が黒い PC ケース背面の Seasonic 電源ユニットに黒い電源ケーブルを差し込むとき、その背後にはどのような面がありますか?
- A)A dark, textured surfaceキー
- B)A gray carpeted surface
- C)A metal mesh surface
- D)A plain white surfaceモデル
質問は、少しずつ異なる形で繰り返される場面を指定しています。トレースでは、15:30 から 15:40 の、背後に白い壁がある後ろ姿の映像に絞り込んでいます。正解は暗い凹凸のある表面なので、モデルは動作を似たショットに対応付け、そのショットから背景を読み取ったことになります。
セリフが発せられたときのウイスキーのボトルの位置
失敗モード: 音声の手がかりをまったく特定できません
質問 2894 contrastive-hard-negative/transcript_visual Qwen3.8 27B
モデルに送信された動画の全編で、ハーネスが使用する OpenRouter ミラーから配信されます。
彼が「あいつはこの間ずっと奥でウイスキーを飲んでいる」と言うとき、Craig の作業台にあるウイスキーのボトルは、ノートパソコンの左側と右側のどちらにありますか?
- A)This does not happen in the video.キー
- B)To the left of the laptop.モデル
- C)To the right of the laptop.
- D)Directly behind the laptop.
手がかりは発話されたセリフです。トレースではそれを発見できず、「おそらくベンチでの会話中に登場する」と述べ、60 ~ 70 秒のフレームに基づいて回答しています。鍵となるのは「起こらない」という点です。文字起こしの該当箇所を特定できなかったため、モデルは最も近いシーンで代用しました。


