한국어EN
정리 노트온디바이스·로컬 추론

6나노 칩이 대역폭을 이긴 비결은 패키징이다

샤오미 AI 큐브의 1.22TB/s 근접 메모리 대역폭은 첨단 공정이 아니라 6나노 구식 노드 칩 X-Ring O100의 웨이퍼-온-웨이퍼 하이브리드 본딩에서 나왔다. 구리 패드를 직접 융합하는 1.4마이크로미터 피치로 258만 개 본딩 포인트와 28,672개 유효 데이터 라인을 확보해 일반 폰 패키지(96개) 대비 길을 약 300배 넓힌 셈이다. 대가는 수율로, 다이싱 전에 웨이퍼 전체를 접합하므로 known-good-die 선별이 불가능하고 수율이 두 웨이퍼 수율의 곱이 되며, 메모리 품귀 시기에 이 트레이드오프를 감수한 것 자체가 전략적 베팅이다. 화제가 된 스펙 목록은 O100·O3·D100 세 칩의 최고치를 뒤섞은 것이었고, 실제 큐브는 30억 모델이 먼저 답하고 어려울 때만 1200억 모델이 깨어나는 fast-slow 코프로세서 구조였다. 온디바이스 AI의 병목 해소가 리소그래피에서 패키징으로 옮겨가고 있다는 증거로 기억해 둘 사례다.

기억할 것

  • 하이브리드 본딩 피치 1.4µm, TSMC 양산 약 6µm·HBM4 약 10µm보다 조밀
  • 웨이퍼-온-웨이퍼는 KGD 선별 불가, 수율이 두 웨이퍼 수율의 곱이 된다
  • 1.22TB/s는 O100 근접 메모리 수치, 330토큰/초는 3B 모델 실험값
  • 디코드는 메모리 바운드라 대역폭이 곧 토큰 생성 속도를 결정한다

이 글은 제가 여러 자료를 읽고 제 말로 다시 정리한 노트예요. 출처 링크를 달지 않는 대신, 출처를 확인한 사건은 기록에 따로 있어요.

같은 주의 노트

폰노이만 병목을 넘는 뉴로모픽 컴퓨팅의 네 가지 축프리필과 디코드를 다른 칩으로 푸는 로컬 AI 설계그래프 엔지니어링이라는 말이 뒤섞은 세 개념프롬프트에서 그래프까지, 다섯 번의 전환은 한 줄로 이어진다레이어를 하나씩 꺼 보면 에이전트가 왜 무너지는지 보인다