AI를 가르치거나 시험하려고 모아 둔 예시들의 묶음이에요.
데이터셋은 AI에게 보여 줄 예시를 한데 모아 정리한 것이에요. 사진과 그 사진의 이름표, 문장과 번역문, 인터넷에서 모은 엄청난 양의 글처럼 종류가 다양해요. 보통 학습용과 시험용으로 나눠서, 처음 보는 문제로 실력을 확인해요.
AI는 데이터셋에 있는 만큼만 배워요. 한쪽으로 치우친 자료로 배우면 답도 치우치고, 틀린 자료가 섞이면 틀린 걸 배워요. 그래서 양만큼이나 무엇을, 어디서, 누구의 허락을 받고 모았는지가 중요해요. 2009년에 공개된 이미지넷은 데이터셋이 분야 전체를 끌어올릴 수 있다는 걸 보여 준 예로 자주 꼽혀요.
비유로 보면
데이터셋은 AI의 문제집이에요. 문제집에 한 단원 문제만 잔뜩 있으면 그 단원만 잘하게 되죠. 시험 문제가 문제집에 미리 들어 있으면, 실력이 아니라 외운 걸 재게 돼요.
예를 들면
MNIST는 손으로 쓴 숫자 사진 7만 장을 모은 데이터셋으로, 연습용으로 아주 유명해요.
이 낱말과 이어진 기록
출처로 확인한 AI 역사 속 장면이에요.
Jia Deng·Li Fei-Fei 외 (프린스턴대)
ImageNet
WordNet 계층 기반 대규모 이미지 데이터셋을 공개해 데이터가 병목이라는 인식을 만듦
Yann LeCun·Léon Bottou·Yoshua Bengio·Patrick Haffner
Gradient-based learning applied to document recognition
합성곱·풀링·완전연결을 결합한 실용 CNN 구조를 정립하고 MNIST를 표준 시험대로 만듦