프리필과 디코드를 다른 칩으로 푸는 로컬 AI 설계

2026년형 Mac mini는 로컬 LLM 구동을 겨냥한 에지 노드로 재편됐고, 기본가가 599달러에서 899달러로 오른 배경에는 TSMC 2나노 웨이퍼 비용이 66% 급등해 장당 3만 달러에 이른 파운드리 경제가 있다. 핵심 프레임은 두 단계의 분리로, 프리필(첫 토큰까지, 연산 바운드)은 M6의 GAA 나노시트와 GPU 코어마다 내장된 신경가속기가 맡아 프롬프트 처리를 4.8배 빠르게 하고, 디코드(토큰 생성, 메모리 대역폭 바운드)는 M5 Pro의 307GB/s 대역폭이 유리하다. 다만 M5 Pro는 64GB 통합메모리에 고정돼 있어 가중치만 약 45GB인 70B급 모델을 올리면 KV 캐시와 OS 메모리까지 더해 스와핑이 시작되고 속도가 초당 1단어 미만으로 붕괴한다. 이를 우회하는 방법이 썬더볼트5 RDMA로 여러 대를 묶어 메모리를 풀링하는 클러스터링이며, 가격·코드명 같은 제품 스펙은 공식 발표와 대조가 필요하다.

이 글은 제가 여러 자료를 읽고 제 말로 다시 정리한 노트예요. 출처 링크를 달지 않는 대신, 사실 확인이 된 사건은 기록에 따로 있어요.