모든 벤치마크

VGI-Bench

VGI-Bench(Seldon의 Video General Intelligence Bench)는 긴 동영상에 대해 무엇이 먼저 등장했는지, 다른 대상과 동시에 화면에 무엇이 나왔는지, 특정 장면이 나오는 동안 내레이터가 무엇을 말했는지, 그리고 전제 자체가 발생하지 않는 경우를 묻는 객관식 질문을 제시합니다. 아래의 각 샘플은 OpenRouter를 통한 실제 실행 결과입니다. 모델은 temperature 0에서 전체 동영상과 질문을 한 턴에 받았으며, 채점 대상 답변은 마지막 Answer: 줄에 있는 문자입니다.

최근 벤치마크 실행

모델 비교

정확도 최고

최고의 가성비

가장 빠름

정확도
대표 실행의 정확도이며, 높은 순으로 표시됩니다.
질문당 비용
질문당 평균 비용이며, 저렴한 순으로 표시됩니다.
질문당 소요 시간
질문당 평균 실제 경과 시간으로, 가장 빠른 순서로 표시됩니다.

비용 효율성

정확도 대 비용(파레토 프런티어)
모델마다 점 하나로 표시하며, 가능한 경우 기본 라우팅(제공업체에 고정하지 않음)을 사용합니다. 선은 파레토 프런티어를 나타내며, 이 모델들보다 정확도와 비용 모두에서 뛰어난 모델은 없습니다.

리더보드

공개 분할 데이터셋의 정확도(439개 질문, 실행 결과가 목록에 표시되려면 최소 395개에 답변해야 함)와 모델이 실행된 각 제공업체 엔드포인트의 질문당 비용, 시간, 입력 및 출력 토큰을 보여주며, 점수는 최근 90 일 동안 성공한 실행 결과를 집계합니다.

VGI-Bench 순위표: 제공업체별 모델 정확도, 비용, 시간 및 질문당 입력 및 출력 토큰
#모델표준 편차
166.2%±1.0퍼센트포인트US$0.03964s141k2.03k
265.5%--US$0.0464.6m412k11.5k
363.7%±4.8퍼센트포인트US$0.0732.5m241k6.5k
463.7%--US$0.558.6m613k20.1k
563.6%--US$1.033.1m233k8.62k
6
Google AI Studio
61.4%±0.7퍼센트포인트US$0.0611.8m3416.04k
761.1%--US$0.224.2m227k14.3k
858.0%--US$0.338.2m579k13.6k
9
Meta
57.4%--US$0.0231.6m231k9.18k
1056.8%----1.9m313102
1156.8%--US$0.116.2m1.52M24.1k
1254.8%±0.5퍼센트포인트US$0.144.7m111k40.2k
1354.8%±0.5퍼센트포인트US$0.275.6m1.48M10.9k
1454.2%±0.5퍼센트포인트US$0.242.6m151k21.8k
1552.8%±2.3퍼센트포인트US$0.163.7m98.6k14.1k
1651.3%--US$0.0086.0m7.53k13.7k
1751.0%±0.6퍼센트포인트US$0.162.0m150k15.3k
1850.6%±0.4퍼센트포인트US$0.217.1m532k20.9k
19
Google AI Studio
50.0%±0.3퍼센트포인트US$0.0241.9m3419.42k
2048.0%--US$0.0122.4m34029.7k
2147.6%±1.9퍼센트포인트US$0.0262.3m36.7k7.15k
2246.5%±2.9퍼센트포인트US$0.0186.4m272k13.2k
2346.2%±0.1퍼센트포인트US$0.0082.7m46.4k817
2446.2%±1.2퍼센트포인트US$0.104.9m1.49M20.2k
2545.6%--US$0.0274.6m77.4k14.7k
2645.5%±1.0퍼센트포인트US$0.958.6m1.45M21.4k
2745.5%±0.7퍼센트포인트US$0.177.5m532k21.3k
2845.4%--US$0.0345.2m337k11.9k
2945.2%±0.8퍼센트포인트US$1.146.7m1.49M19.4k
3045.1%±0.6퍼센트포인트US$0.174.9m440k18.6k
3143.4%±2.9퍼센트포인트US$0.0271.9m232k9.34k
3243.4%--US$0.343.2m77k21.1k
3342.3%--US$0.193.5m515k7.53k
3440.9%±7.2퍼센트포인트US$0.704.4m38.3k81k
3534.8%±2.9퍼센트포인트US$0.0217.5m199k16.4k
3634.6%±2.7퍼센트포인트US$0.0288.3m58.2k43.9k
3730.1%±2.6퍼센트포인트US$0.0819.8m53.4k75.3k
3828.9%--US$0.0191.6m49k7.48k
3928.5%±0.8퍼센트포인트US$0.0161.9m14.6k30.3k
4024.7%±7.3퍼센트포인트US$0.0042.8m4.59k9.91k
4122.2%--US$0.00644s130k3.99k
42
Reka Edge
파레토
Reka
21.4%±0.2퍼센트포인트US$0.0001531s1.49k30.5
4319.2%--US$0.0011.8m5.71k9.46k
4415.5%--US$0.05044s1.58k4.7k
4514.7%--US$0.323.0m1.63k15.5k
4614.4%--US$0.03976s1.42k10.3k
4713.8%--US$0.02247s6.28k6.46k
4812.8%±0.4퍼센트포인트US$0.0233.9m38k6.22k
4912.7%±0.0퍼센트포인트US$0.06851s1.58k8.24k
5012.4%--US$0.01324s1.19k3.29k
5112.4%±0.4퍼센트포인트US$0.01556s38.3k6.56k
5212.3%±0.5퍼센트포인트US$0.136.9m124k2.42k
5311.8%±0.4퍼센트포인트US$0.0313.9m32.7k5.87k
5411.8%--US$0.04182s5.06k3.17k
55
Google AI Studio
11.5%--US$0.01624s1.39k3.97k
5611.4%--US$0.111.9m1.58k10.6k
5710.9%--US$0.09859s1.39k7.96k
5810.8%±0.3퍼센트포인트US$0.00544s4.57k5.08k
5910.6%--US$0.09860s1.39k8.02k
60
Google AI Studio
10.1%--US$0.08839s1.38k9.59k
618.4%--US$0.00613s1.39k2.08k
628.2%--US$0.03858s1.39k25.1k
638.2%--US$0.03858s1.38k25.1k
646.7%±0.3퍼센트포인트US$0.0075.7m5.07k24.3k
656.4%--US$0.2657s1.57k12.9k
666.3%±5.7퍼센트포인트US$0.02536s5.46k1.69k
675.6%±4.3퍼센트포인트US$0.0171.9m69.2k804

궤적

추론 트레이스는 모델의 인식, 즉 모델이 보았다고 말하는 순간과 각 순간에 부여한 타임스탬프를 담고 있습니다. 이를 영상과 대조해 읽으면 답변이 도출된 과정과 실패한 실행에서 설명이 실제 영상과 어긋나는 지점을 확인할 수 있습니다.

정답

포인터가 가장 오래 머무는 창

정상 경로: 모델이 해당 순간을 찾아 정확하게 읽어냅니다.

질문 1187 global-graph/interaction_partner Qwen3.8 27B

모델에 전달된 전체 동영상으로, 하네스가 사용하는 OpenRouter 미러에서 제공됩니다.

마우스 포인터가 가장 자주 머무르는 옵션은 무엇입니까?

  1. A)Windhawk application window키, 모델
  2. B)Install button
  3. C)Adobe Premiere Pro window
  4. D)Windows taskbar
답변: A ✓키 A

이 추적은 한 프레임이 아닌 녹화 전체에서 포인터를 따라가며, 끝부분에 잠깐 등장하는 Premiere Pro를 혼동 요소로 지목하고, 세션의 대부분을 차지하는 창을 최종적으로 선택합니다.

The question asks which option the mouse pointer hovers over most often. Let me think about the video content. The video is a tutorial about Windhawk, a customization tool for Windows. Throughout the video, the user is constantly interacting with the Windhawk application window - browsing mods, installing them, configuring settings, etc. Let me consider each option: - A) Windhawk application window - This is the main focus of the video. The user opens Windhawk, browses mods, clicks on details, settings, installs mods, etc. The mouse is frequently over this window. - B) Install button - The install button is clicked a few times but not hovered over most often. - C) Adobe Premiere Pro window - This appears only briefly near the end (around 13:20-13:40) as a joke about the title bar color. - D) Windows taskbar - The taskbar is shown but the mouse isn't constantly hovering over it. The dominant interaction is with the Windhawk application window. The mouse pointer is over it for the majority of the video as the user navigates through mods, settings, etc. So the answer is A. Let me double check by reviewing timestamps. From 1:20 onwards, the Windhawk window is open and the mouse moves around it constantly - clicking Mods, Explore, scrolling, clicking Details, Settings, etc. This continues through most of the video. The taskbar is shown at times but the mouse hovers over the Windhawk window more. Thus A is correct.