단순한 계산을 한꺼번에 아주 많이 해내는, AI 학습의 중심 칩이에요.
GPU는 원래 게임 화면의 점 수백만 개를 동시에 칠하려고 만든 그래픽카드의 칩이에요. 안에 작은 계산 장치가 수천 개 들어 있어서, 쉬운 계산을 잘게 나눠 한꺼번에 처리하는 데 강해요. AI 학습도 곱하고 더하는 단순한 계산을 엄청나게 많이 하는 일이라 GPU와 딱 맞았어요.
2000년대 중반부터 GPU로 신경망을 훨씬 빠르게 학습시키는 연구가 나왔고, 2012년 이미지넷 대회 우승팀도 그래픽카드 두 장으로 학습했어요. 지금 큰 AI 모델은 GPU나 비슷한 AI 전용 칩 수천~수만 개를 데이터센터에 묶어 몇 주에서 몇 달씩 학습해요. 그래서 GPU는 값비싸고 구하기 어려운 부품이 됐어요.
비유로 보면
수학 문제 1만 개를 풀어야 한다고 해 봐요. 똑똑한 친구 몇 명이 하나씩 푸는 것보다, 학생 수천 명이 몇 문제씩 나눠 동시에 푸는 게 훨씬 빠르죠. CPU가 똑똑한 친구 몇 명이라면, GPU는 그 수천 명의 학생이에요.
예를 들면
메타는 라마 3를 학습할 때 GPU를 최대 1만 6천 장까지 한데 묶어 썼다고 밝혔어요.
이 낱말과 이어진 기록
출처로 확인한 AI 역사 속 장면이에요.
Alex Krizhevsky·Ilya Sutskever·Geoffrey Hinton
ImageNet Classification with Deep Convolutional Neural Networks(AlexNet)
GPU·대규모 데이터·심층 CNN의 결합을 논문으로 정착시킴. 현 딥러닝 시대의 관례적 기점
Rajat Raina·Anand Madhavan·Andrew Y. Ng (스탠퍼드대)
Large-scale Deep Unsupervised Learning using Graphics Processors
GPU를 딥러닝 학습에 본격 적용한 초기 사례. 연산이 자원이라는 전제의 출발