Meta

자사 측정으로 Alif Ensemble E8의 Cortex-M55 코어 하나에서 MLPerf Tiny 4개 모델이 각각 21.5ms 이하·RAM 90KiB 미만으로 동작(이상 탐지 오토인코더는 5.2KiB). 공식 MLPerf 제출 결과는 아니라고 밝힘

Meta가 지금까지 가장 강한 미국 오픈웨이트 모델이라고 자사 주장. Muse Spark 1.3과 같은 기반 모델에 단독 사용을 위한 안전 후속학습을 더했고, SGLang·vLLM 최적화와 Helion 커널(GB300에서 1.03~3.95배)을 함께 냄. 4월 비공개 프리뷰로 시작한 Muse Spark가 반년 만에 가중치까지 공개됨

MSL이 폐쇄 API 노선을 유지한 채 에이전트 효율(툴 호출·토큰 절감)을 전면 지표로 내세움

Llama 4 이후 첫 오픈웨이트를 Apache 2.0으로, 4bit 20GB 미만 온디바이스 에이전트

Llama 브랜드 교체와 폐쇄 전환

Meta의 프론티어 모델은 폐쇄, 별도 소형 모델만 개방하는 이원 전략이 확정된 지점

2022년 Google Pathways가 제시한 단일 컨트롤러 모델이 PyTorch 코어 계보로 들어온 지점. TorchTitan은 Monarch 안의 액터가 되고 torchforge는 Monarch 위에 세워진다

Triton이 CUDA를 한 단계 추상화했듯 Helion은 Triton을 한 단계 더 추상화한다. 커널 작성 계보의 다음 층

정적 정보검색 평가에서 동적·비동기 환경의 에이전트 견고성 측정으로 전환

Llama 노선의 전환점, Behemoth 출시 연기

리더보드 제출 버전과 공개 배포판의 불일치 문제가 공론화

Llama 브랜드 신뢰의 전환점

엔트로피 기반 동적 패치로 고정 어휘 없이 바이트를 직접 처리, 토크나이저 제거 노선의 최초 대규모 스케일링

별도 사전학습 모델 없이 70B 지시 조정(Instruct) 모델 하나만 내놓은 Llama 3 계열의 갱신판

Megatron-LM 대안으로 PyTorch 네이티브 학습 프레임워크가 성립한 시점. FSDP2·torch.compile·FP8이 한 스택으로 묶임

11B·90B는 Llama 계열 최초로 이미지 입력을 지원하는 모델이고, 1B·3B는 기기 내 실행을 겨냥한 경량 모델로 함께 공개됨

대규모 학습 내결함성 문제를 처음으로 정량 공개한 1차 자료. 체크포인팅·자동 복구가 필수임을 산업 전체에 확정

프런티어급 가중치가 처음 공개되고 출력물을 이용한 학습이 라이선스로 허용

커널이 특정 세대 실리콘에 맞춰 재작성되어야 함을 보인 사례. FP8 어텐션의 정확도 우려를 정량적으로 반박

8B가 이전 세대 70B급 성능을 내며 로컬 실용선을 끌어올림

466개 질문에서 인간 92% 대 플러그인 GPT-4 15%, 평가축을 어려운 시험에서 실용 능력으로 이동

자기검증을 4단계로 구조화해 환각 저감

Llama 2를 바탕으로 코드·코드 관련 데이터 5,000억 토큰을 학습한 코드 특화 계열로, 70B는 2024년 1월 29일에 추가 공개됨

오픈웨이트의 대중화이자 오픈소스인가 논쟁의 시작점

DeepSpeed 없이도 표준 프레임워크로 대형 학습이 가능해진 분기점

프런티어급 가중치를 심사 후 배포한 최초의 대형 시도

자기지도 학습으로 API 호출 시점·인자를 스스로 학습, 도구 사용을 가중치에 내재화하는 노선

FSDP1의 재설계. FP8 학습·부분 동결·컴파일러 최적화가 가능해진 전제