AI 계산만 빠르고 전기를 덜 쓰며 하도록 따로 만든 칩이에요.
AI 가속기는 AI에 많이 쓰는 계산, 곧 큰 숫자 표를 곱하고 더하는 일을 빠르게, 전기를 덜 쓰며 하도록 만든 칩이에요. 구글의 TPU, 폰과 노트북에 들어가는 NPU가 대표적이에요.
할 일을 좁히면 다른 기능에 쓰던 자리를 곱셈 장치로 채울 수 있어요. 숫자를 조금 덜 정밀하게 다뤄도 되는 AI의 성질을 살려 계산 한 번에 드는 부품도 줄여요. 구글은 2016년 5월 TPU를 공개하며 이미 1년 넘게 데이터센터에서 써 왔다고 밝혔어요.
2025년에 나온 7세대 TPU Ironwood는 칩 9,216개를 한 묶음으로 묶어 쓸 수 있어요. 다만 한 가지 일에 맞춘 만큼 안 맞는 일도 있어요. 구글 안내서도 높은 정밀도가 필요한 계산에는 TPU가 맞지 않는다고 적어 두었어요.
비유로 보면
만능 칼로도 감자를 깎을 수 있지만, 감자칼을 쓰면 훨씬 빠르고 덜 힘들죠. 대신 감자칼로 빵을 썰 수는 없어요. AI 가속기는 AI 계산을 위한 감자칼이에요.
예를 들면
노트북이나 폰 사양표에 적힌 'NPU'와 'TOPS'는 기기 안 AI 가속기와, 그 칩이 1초에 몇 조 번 계산할 수 있는지를 말해요.
자주 하는 오해
오해AI 칩은 모두 엔비디아 GPU다.
실제로는2016년 이세돌과 대국한 알파고도 구글 TPU로 돌아갔어요. 2025년에는 Anthropic이 구글 TPU를 최대 100만 개까지 쓰기로 했고, OpenAI도 브로드컴과 함께 자체 가속기를 설계하기로 했어요.
오해NPU가 있는 폰이면 큰 AI도 다 돌릴 수 있다.
실제로는NPU는 계산을 빠르게 해 줄 뿐, 모델을 담을 메모리를 늘려 주지는 않아요. 또 어느 칩이 일할지는 프로그램이 정해요. 2026년 마이크로소프트의 Foundry Local처럼 기기 안 GPU·NPU·CPU 가운데 알맞은 칩을 골라 쓰게 해 주는 도구가 따로 나올 정도예요.
수업에서 써 보기
선생님은 수업 시작에, 학생은 혼자 공부할 때 써 보세요.
이 낱말과 이어진 기록
출처로 확인한 AI 역사 속 장면이에요.
1세대 TPU의 설계와 실측을 공개해 전용 가속기 논의의 기준 문헌이 됨