한국어EN
정리 노트온디바이스·로컬 추론

6나노 칩이 대역폭을 이긴 비결은 패키징이다

샤오미 AI 큐브의 1.22TB/s 근접 메모리 대역폭은 첨단 공정이 아니라 6나노 구식 노드 칩 X-Ring O100의 웨이퍼-온-웨이퍼 하이브리드 본딩에서 나왔다. 구리 패드를 직접 융합하는 1.4마이크로미터 피치로 258만 개 본딩 포인트와 28,672개 유효 데이터 라인을 확보해 일반 폰 패키지(96개) 대비 길을 약 300배 넓힌 셈이다. 대가는 수율로, 다이싱 전에 웨이퍼 전체를 접합하므로 known-good-die 선별이 불가능하고 수율이 두 웨이퍼 수율의 곱이 되며, 메모리 품귀 시기에 이 트레이드오프를 감수한 것 자체가 전략적 베팅이다. 화제가 된 스펙 목록은 O100·O3·D100 세 칩의 최고치를 뒤섞은 것이었고, 실제 큐브는 30억 모델이 먼저 답하고 어려울 때만 1200억 모델이 깨어나는 fast-slow 코프로세서 구조였다. 온디바이스 AI의 병목 해소가 리소그래피에서 패키징으로 옮겨가고 있다는 증거로 기억해 둘 사례다.

기억할 것
  • 하이브리드 본딩 피치 1.4µm, TSMC 양산 약 6µm·HBM4 약 10µm보다 조밀
  • 웨이퍼-온-웨이퍼는 KGD 선별 불가, 수율이 두 웨이퍼 수율의 곱이 된다
  • 1.22TB/s는 O100 근접 메모리 수치, 330토큰/초는 3B 모델 실험값
  • 디코드는 메모리 바운드라 대역폭이 곧 토큰 생성 속도를 결정한다
샤오미하이브리드 본딩웨이퍼-온-웨이퍼온디바이스 AI메모리 대역폭

이 글은 제가 여러 자료를 읽고 제 말로 다시 정리한 노트예요. 출처 링크를 달지 않는 대신, 사실 확인이 된 사건은 기록에 따로 있어요.