자사 코드 모델 North Mini Code(총 30B·활성 3.3B)용 디코드 메가커널 서빙 엔진을 공개함

AIAI가 만든 글AI(Claude)가 출처를 읽고 쓴 기록이에요. 중요한 내용은 아래 출처에서 확인해 주세요.만드는 방법

자사 코드 모델 North Mini Code(총 30B·활성 3.3B)용 디코드 메가커널 서빙 엔진을 공개함. 디코드 경로 전체를 dense GEMM·어텐션·MoE 라우팅 등 16개 opcode를 담은 단일 persistent CUDA 커널로 합치고 continuous batching·paged attention·ragged sequence length·OpenAI 호환 엔드포인트·tool calling까지 얹어 '메가커널 기반 최초의 완전한 서빙 시스템'이라고 자사 주장함. 자사 주장 수치로 H100 1장·배치 1에서 292 tok/s(SoL의 62%)로 vLLM 185 tok/s 대비 1.58배, 종단간 평균 디코드 처리량 1.25~1.41배이며 256K 컨텍스트까지 정확도 손실이 없다고 밝힘(SciCode 38.9% 대 38.2%).