평가·벤치마크Xuyang Liu 외
OmniCompass 공개
OmniCompass 공개 — 영상 이해를 언제 나오는지·어디에 있는지·무슨 일이 벌어지는지 셋으로 나눠 재는 평가로, 보는 것만 쓰는 갈래와 소리까지 함께 쓰는 갈래를 따로 둠
왜 중요한가
저자 측정으로 시각 갈래는 영상 820개·문항 2,460개, 소리까지 쓰는 갈래는 240개·720개를 사람이 달고 여러 차례 검수해 만들었으며 모델 50개를 평가했다. 공개 모델이 특히 소리와 화면을 함께 보는 과제에서 상용 모델에 뒤졌고, 같은 대상을 글로만 가리킬 때와 그림을 함께 줄 때 답이 자주 달라졌다고 보고했다
출처 — 1차 출처를 우선 확인하고, 2차 보도는 「보도」로 따로 표시해요
논문arxiv.orghttps://arxiv.org/abs/2610.188292026년 43주차에 더한 기록이에요 · 그 주 보기