학습이 끝난 모델에 질문을 넣고 답을 받아 내는 실행 단계예요.
AI에서 추론은 다 만든 모델을 실제로 돌려서 답을 얻는 단계예요. 영어로는 인퍼런스(inference)라고 해요. 학습이 문제집으로 공부하는 시간이라면, 추론은 시험지에 답을 쓰는 시간이에요. 우리가 AI에게 질문을 보낼 때마다 추론이 한 번씩 일어나요.
헷갈리기 쉬운 점이 있어요. 한국어로는 'reasoning'도 추론이라고 옮기는데, 그건 단계를 밟아 따져 보는 생각을 말해요. 여기서 말하는 추론은 그냥 '모델을 실행한다'는 뜻이라서, 이 사전에서는 추론(실행)이라고 적어요.
한 번의 추론은 작지만, 세계 곳곳에서 쉬지 않고 쌓이면 많은 전기와 계산이 들어요. 그래서 폰 안에서 직접 돌리거나 모델을 가볍게 만드는 방법을 많이 연구해요.
비유로 보면
시험공부는 몇 주가 걸려도, 시험지에 답 하나 쓰는 건 몇 초면 돼요. 공부하는 시간이 학습, 답을 쓰는 순간이 추론이에요. AI는 이 '답 쓰기'를 질문이 올 때마다 새로 해요.
예를 들면
AI에게 질문 하나를 보내고 답을 받았다면, 그사이 추론이 한 번 일어난 거예요.
이 낱말과 이어진 기록
출처로 확인한 AI 역사 속 장면이에요.
UC Berkeley
vLLM + PagedAttention 공개
KV 캐시를 OS 페이징처럼 관리해 메모리 낭비를 4% 미만으로, 오픈소스 서빙 표준의 출발점
추론 인프라·서빙공식 발표