여러 AI의 실력을 같은 문제로 재서 비교하는 공통 시험이에요.
벤치마크는 여러 AI에게 똑같은 문제를 풀게 해서 점수로 비교하는 시험지예요. 57개 과목의 객관식 문제를 모은 MMLU, 실제 프로그램에 보고된 문제를 고치게 하는 SWE-bench처럼 재려는 능력마다 따로 있어요. 새 모델이 나오면 보통 이런 점수를 함께 발표해요.
점수만 믿으면 안 되는 이유도 있어요. 시험 문제가 학습 자료에 섞여 들어가면 푼 게 아니라 외운 것일 수 있어요. 또 AI들이 만점 가까이 받으면 시험이 더 이상 실력 차이를 가려내지 못해서, 더 어려운 새 시험을 만들어요.
비유로 보면
모의고사를 떠올려 보세요. 모두 같은 시험지를 풀어야 점수를 비교할 수 있죠. 그런데 누가 시험지를 미리 봤다면, 점수가 높아도 실력이라고 믿기 어려워요.
예를 들면
2019년에는 AI 점수가 비전문가 사람 수준을 넘어서자, GLUE 시험을 더 어려운 SuperGLUE로 바꿨어요.
이 낱말과 이어진 기록
출처로 확인한 AI 역사 속 장면이에요.