한국어EN
평가·벤치마크Clémentine Fourrier 외 (Hugging Face)Hugging Face

Open LLM Leaderboard의 MMLU 점수 불일치 해명

Open LLM Leaderboard의 MMLU 점수 불일치 해명 — 동일 LLaMA 65B가 구현별로 0.636/0.637/0.488

왜 중요한가

벤치마크 수치의 비교불가능성을 공개적으로 확인한 사건

출처 — 1차 출처를 우선 확인하고, 2차 보도는 「보도」로 따로 표시해요

공식 발표huggingface.cohttps://huggingface.co/blog/evaluating-mmlu-leaderboard

2026년 35주차에 더한 기록이에요 · 그 주 보기

같은 주에 나온 조각

vLLM + PagedAttention 공개공식 발표Textbooks Are All You Need논문

같은 축의 가까운 조각

MT-Bench와 LLM-as-a-judge 발표논문Chatbot Arena 출시공식 발표SWE-bench 공개논문GPQA 공개논문