온디바이스·로컬 추론

ASUS·Dell·HP·Lenovo·Microsoft 등이 참여해 순차 출시한다. 창작·게임과 함께 기기 안에서 돌리는 AI를 전면에 내세웠으나 연산 성능(TOPS)은 보도자료에 적지 않았다

자사 측정으로 Alif Ensemble E8의 Cortex-M55 코어 하나에서 MLPerf Tiny 4개 모델이 각각 21.5ms 이하·RAM 90KiB 미만으로 동작(이상 탐지 오토인코더는 5.2KiB). 공식 MLPerf 제출 결과는 아니라고 밝힘

자사 측정 MTEB Code 68.76에서 78.68로 상승, 컨텍스트 8K(전작의 4배), MRL로 768차원을 128차원까지 줄여 저장 공간을 최대 6배 아낌. 양자화하면 Pixel 11 Pro에서 텍스트 전용 약 191MB, 전체 멀티모달 약 567MB RAM으로 돌아 온디바이스 멀티모달 검색을 오픈 가중치로 내림

에이전트를 상시 운영 인프라로 보면 업데이트 실패는 기능 하나의 문제가 아니라 복구 수단 자체의 상실이다. 무중단 배포의 원칙이 개인 에이전트 런타임으로 내려온 사례.

'모델을 판다'에서 '고객 데이터 위에서 전용 모델을 학습시킨다'로 계약 형태가 바뀌는 흐름이며, 에어갭 배포가 상용 요건으로 올라왔다.

ASR이 LLM 기반 구조로 넘어가면서 정확도뿐 아니라 지연과 도메인 어휘 커스터마이징이 경쟁 축이 됐음을 보여준다.

vLLM 코어를 건드리지 않는 플러그인 방식으로 비주류 가속기가 주류 추론 스택에 편입되는 경로를 보여, 하드웨어 다변화의 진입 장벽이 낮아지고 있다.

온디바이스 추론의 병목이 모델이 아니라 커널 구현이라는 지점을 오픈 라이선스로 공략한 사례. 자사 보고로 ORT WebGPU 대비 기하평균 2.57배·중앙값 1.90배 빠르고 Add 3.52배·Softmax 2.11배. 축 ⑲ 는 22개 축 중 사건 수가 가장 적다

사우디 국부펀드 계열사가 온디바이스 AI PC를 주권 AI 스택의 단말로 내세움 — 로컬 추론이 지정학적 조달 품목이 되는 국면

2026년형 Mac mini는 로컬 LLM 구동을 겨냥한 에지 노드로 재편됐고, 기본가가 599달러에서 899달러로 오른 배경에는 TSMC 2나노 웨이퍼 비용이 66% 급등해 장당 3만 달러에 이른 파운드리 경제가 있다. 핵심 프레임은 두 단계의 분리로, 프리필(첫 토큰까지, 연산 바운드)은 M6의 GAA 나노시트와 GPU 코어마다 내장된 신경가속기가 맡아 프롬프트 처리를 4.8배 빠르게 하

샤오미 AI 큐브의 1.22TB/s 근접 메모리 대역폭은 첨단 공정이 아니라 6나노 구식 노드 칩 X-Ring O100의 웨이퍼-온-웨이퍼 하이브리드 본딩에서 나왔다. 구리 패드를 직접 융합하는 1.4마이크로미터 피치로 258만 개 본딩 포인트와 28,672개 유효 데이터 라인을 확보해 일반 폰 패키지(96개) 대비 길을 약 300배 넓힌 셈이다. 대가는 수율로, 다이싱 전에 웨이퍼 전체를

로컬 추론 배포 계층이 독립 상업 인프라로 자립

온디바이스 AI 프레임워크가 폐쇄형 단일 모델에서 하이브리드·멀티 프로바이더 플랫폼으로 전환

로컬 배포 스택이 llama.cpp 단일 의존에서 MLX 우선 + GGUF 호환 구조로 재편

하드웨어 네이티브 FP4가 커뮤니티 양자화를 아직 이기지 못했다는 실측. 포맷 경쟁 미결

온디바이스 런타임이 모바일 OS를 넘어 브라우저까지 같은 스택으로 덮는 단계. 수치는 벤더 자체 측정

온디바이스 모델이 앱이 아니라 웹 플랫폼 API로 노출된 스테이블 채널 사례. 모델 배포와 용량 관리의 책임이 브라우저 벤더로 넘어간다

클라우드 종속·토큰 과금 없는 로컬 추론을 공식 제품 라인으로 확정

안드로이드 온디바이스 AI가 시스템 서비스(AICore)로 오픈 모델을 직접 배포하는 체계로 진화

GGUF가 자체 K-quant를 넘어 하드웨어 네이티브 FP4 포맷을 흡수

어떤 양자화를 쓸 것인가를 체감이 아니라 측정으로 옮긴 첫 통합 레퍼런스

7월 릴리스의 후속 문서. 온디바이스 계열이 기술보고서 수준의 공개 문서를 갖춘 사례다

소비자용 실리콘 세대 교체를 로컬 LLM 추론 성능으로 직접 내세우기 시작한 자료

GGUF가 벤더 FP4 규격을 순차 흡수하는 경로가 정해진 지점

로컬 배포 도구가 하이브리드 실행으로 확장. 로컬 실행의 정의가 흐려지기 시작한 지점

온디바이스 추론의 병목을 전용 NPU가 아니라 CPU 확장명령(SME2)으로 푸는 노선. 프레임워크 통합을 함께 발표해 실리콘이 아니라 소프트웨어 경로로 배포된다. 수치는 벤더 자체 주장

온디바이스를 사후 양자화의 결과가 아니라 설계 목표로 두고 하드웨어-인-더-루프로 아키텍처를 탐색한 상용 계열. 수치는 벤더 자체 측정이며 독립 검증이 아니다

온디바이스급 소형 모델이 멀티모달과 벤치마크 경쟁력을 동시에 갖추기 시작한 이정표

11B·90B는 Llama 계열 최초로 이미지 입력을 지원하는 모델이고, 1B·3B는 기기 내 실행을 겨냥한 경량 모델로 함께 공개됨

OS 수준 온디바이스 LLM 통합의 첫 대규모 사례

폰에 배포 가능한 소형 모델 노선을 데이터 큐레이션으로 정당화

로컬 LLM 배포의 사실상 표준 포맷

전용 하드웨어 없는 사용자층에서 확산. CPU만으로 실행 가능했던 점이 결정적

양자화를 사후 처리로 표준화

소비자용 GPU 서버에서 대형 모델 실행을 가능하게 함