멀리 있는 서버가 아니라 내 폰이나 노트북 안에서 직접 돌아가는 AI예요.
온디바이스 AI는 AI 모델이 폰이나 노트북 같은 내 기기 안에서 직접 돌아가는 방식이에요. 질문을 멀리 있는 데이터센터로 보내지 않으니 인터넷이 끊겨도 쓸 수 있고, 답도 빨리 나와요. 내가 쓴 글이나 사진을 기기 밖으로 보내지 않아도 된다는 점도 장점이에요.
대신 폰은 메모리와 배터리가 작아서 큰 모델을 담기 어려워요. 그래서 2024년 애플이 소개한 약 30억 파라미터 모델처럼 작은 모델을 쓰고, 양자화 같은 방법으로 더 줄여 넣어요. 쉬운 일은 기기 안에서 끝내고 어려운 일은 서버로 보내 나눠 쓰는 경우가 많아요.
비유로 보면
모르는 게 생길 때마다 도서관까지 가는 것과, 가방 속 포켓 사전을 펴 보는 것의 차이예요. 사전은 금방 펼 수 있고 내가 뭘 찾았는지 남이 알 일도 없죠. 하지만 정말 어려운 내용은 결국 도서관에 가야 해요.
예를 들면
비행기 모드에서도 폰이 받아쓰기를 하거나 사진 속 글자를 읽어 낸다면, 온디바이스 AI가 일하고 있는 거예요.
이 낱말과 이어진 기록
출처로 확인한 AI 역사 속 장면이에요.