AI 인프라 소프트웨어
기록 64개 · 정리 노트 0개 · 관련 축으로 붙은 기록도 함께 보여요.
모델 위에 쌓인 소프트웨어 층
모델 자체가 아니라 그것을 쓰기 쉽게 만드는 도구들입니다. 앱을 엮는 프레임워크, 요청을 중계하는 게이트웨이, 무엇이 오갔는지 남기는 관측 도구, 비용과 접근을 관리하는 층이 여기에 들어와요. 한때 필수처럼 보이던 도구가 모델 기능에 흡수되며 사라지기도 해서, 무엇이 남고 무엇이 걷혔는지를 함께 기록합니다.
자사 측정으로 Alif Ensemble E8의 Cortex-M55 코어 하나에서 MLPerf Tiny 4개 모델이 각각 21.5ms 이하·RAM 90KiB 미만으로 동작(이상 탐지 오토인코더는 5.2KiB). 공식 MLPerf 제출 결과는 아니라고 밝힘
분리 서빙이 연구 주장에서 운영 안내로 내려왔다. 평균 처리량이 아니라 p99 지연을 기준으로 삼은 것이 핵심인데, 에이전트 루프는 꼬리 지연에 그대로 노출되기 때문이다. 같은 주 OpenAI가 속도를 별도 과금 등급으로 떼어 낸 것과 같은 압력의 오픈소스 쪽 대응이다.
프롬프트 인젝션 방어를 모델 정렬이 아니라 네트워크 경계로 내린 상용 구현이다. 에이전트가 속는 것을 막을 수 없다는 전제에서 출발해 속아도 데이터가 못 나가게 하는 접근이고, 같은 주 NVIDIA·AgentKernel 계열 논의와 같은 결론에 제품 층에서 도달했다. 관찰 주제 '에이전트 보안·샌드박싱'의 누적 근거가 또 하나 늘었다.
에이전트가 '사람이 부를 때 도는 것'에서 '스스로 깨어나는 것'으로 넘어가는 운영 기반이 클라우드 제품의 GA가 됐다. 에이전트에 고유 ID를 주는 선택지가 함께 나온 점이 중요한데, 감사 로그의 주체가 사람이 아니라 에이전트가 되면 책임 추적의 단위가 바뀐다.
에이전트 보안의 무게중심이 모델 정렬에서 런타임 격리로 옮겨가는 흐름을 벤더 쪽에서 정식화한 글이다. 같은 주 arXiv의 AgentKernel과 논지가 겹친다 — 프롬프트 층의 방어를 포기하고 OS 층에서 막자는 것. 자사 제품 생태계를 전제한 서술이라 주장으로 기록한다
AI 제품의 병목이 모델이 아니라 상태 저장 인프라로 옮겨 갔음을 1차 기록으로 남겼고, 코딩 에이전트가 자사 핵심 인프라 재작성에 실제로 투입된 사례다.
장기 멀티턴·에이전트 워크로드가 표준이 되면서 KV 캐시가 GPU 메모리를 넘어 스토리지 계층으로 확장되는 추론 아키텍처 전환이다.
코딩 에이전트의 전장이 신규 개발에서 기업 핵심 자산인 레거시 현대화로 옮겨 갔고, 검증 하니스와 인간 게이트의 결합이 실무 형태로 굳어지고 있음을 보여준다.
수천억 파라미터급 에이전틱 RL 인프라가 오픈소스로 나오면서 프런티어 post-training의 진입 장벽이 소수 대형 랩 밖으로 내려갔다.
프롬프트를 매번 원격 모델에 보내는 대신 명세를 한 번 증류해 로컬 함수로 굳히는 갈래. 저자 자체 보고로 FuzzyBench-Hard 의미론적 정확도 83.6%. 다중 사이트 웹 도우미·언어 제어 3D 아바타·양방향 번역기를 사례로 제시
온디바이스 추론의 병목이 모델이 아니라 커널 구현이라는 지점을 오픈 라이선스로 공략한 사례. 자사 보고로 ORT WebGPU 대비 기하평균 2.57배·중앙값 1.90배 빠르고 Add 3.52배·Softmax 2.11배. 축 ⑲ 는 22개 축 중 사건 수가 가장 적다
별도 디바이스 풀과 KV 캐시 전송을 요구하는 P/D 분리(disaggregation) 대신, 가중치와 KV를 공유한 채 집합 통신 순서와 상태만 격리해 같은 디바이스에서 P/D를 겹치는 갈래. 서빙 인프라의 병목이 추론 서비스에서 RL 롤아웃으로 옮겨간 사례이기도 하다. 수치는 저자 자체 보고.
데이터 주권 요구와 오용 감시가 충돌하던 지점에 대한 설계적 답. 안전 감시를 벤더 서버 밖에서 성립시키는 구조가 표준이 되면, 규제 산업의 프런티어 모델 도입 장벽이 배포 아키텍처 문제로 재정의된다
프런티어 오픈웨이트 모델의 아키텍처 선택 근거를 절제 실험 단위로 공개한 사례. 저자 자체 보고로 손실과 다운스트림 정확도가 늘 같이 움직이지는 않으며, 이 아키텍처와 Muon 옵티마이저의 조합이 최적 학습률과 배치 크기를 위로 밀어 배치 크기 워밍업을 불필요하게 만들고 스트레스 테스트에서 안정성을 크게 개선.
2023년 발표 이후 3년 만의 언어 안정화 및 완전 개방. CUDA C++ 대안 언어가 처음으로 프로덕션 계약을 제시
CUDA 대안 스택이 독립 스타트업에서 대형 실리콘 벤더 자산으로 편입된 사건
ROCm이 1년 만에 격차를 한 자릿수 퍼센트로 좁혔음을 표준 벤치마크로 보인 자료. CUDA 독점의 실질적 균열
수치 재현성(결정성·텐서 해싱 디버깅)이 릴리스 헤드라인에 올라온 시점. 학습 스택이 성능 경쟁 단계에서 디버깅 가능성 단계로 넘어가는 신호
2022년 Google Pathways가 제시한 단일 컨트롤러 모델이 PyTorch 코어 계보로 들어온 지점. TorchTitan은 Monarch 안의 액터가 되고 torchforge는 Monarch 위에 세워진다
Triton이 CUDA를 한 단계 추상화했듯 Helion은 Triton을 한 단계 더 추상화한다. 커널 작성 계보의 다음 층
멀티 GPU 커널을 프레임워크 API 수준에서 직접 쓰게 하는 방향. NCCL 계열 집합통신 위에 사용자 커널 경로가 하나 더 생겼다
FP4 학습이 실제로 되는가에 대한 가장 강한 긍정 증거. 단 벤더 자체 보고이며 독립 재현은 확인되지 않음
체크포인트 기반 복구 패러다임을 대체하는 시도. 스텝을 분산 트랜잭션으로 취급
ROCm 성숙도를 표준 벤치마크로 검증 가능하게 만든 첫 1차 자료. CUDA 대안 논의가 주장에서 측정으로 이동
FP8/FP4가 되는가를 스케일링 법칙 수준에서 답한 검증 연구. 정밀도를 공짜 최적화가 아니라 용량 교환으로 재정의
Megatron-LM 대안으로 PyTorch 네이티브 학습 프레임워크가 성립한 시점. FSDP2·torch.compile·FP8이 한 스택으로 묶임
대규모 학습 내결함성 문제를 처음으로 정량 공개한 1차 자료. 체크포인팅·자동 복구가 필수임을 산업 전체에 확정
커널이 특정 세대 실리콘에 맞춰 재작성되어야 함을 보인 사례. FP8 어텐션의 정확도 우려를 정량적으로 반박
FP8 학습 서사에 대한 정면 반박. 된다는 보고와 재현이 안 된다는 보고가 공존함을 문서화
Python 문법을 유지하면서 시스템 수준 성능을 노린 CUDA 대안 시도. 컴파일러 경쟁이 언어 계층까지 확장
긴 컨텍스트 학습의 실질적 비용을 반감. 32K~128K 컨텍스트 모델이 경제적으로 가능해진 전제
3사 공동 제안으로 FP8이 사실상 표준 형식이 됨. 형식 파편화를 막은 규격 합의
학습 인프라 팀이 추론까지 내려온 사건. vLLM 이전 세대의 대형 모델 서빙 표준
PaLM 급 학습을 가능케 한 오케스트레이션 계층이자 JAX/TPU 스택의 실행 기반
GPU 메모리 벽을 스토리지 계층까지 확장해 우회. 메모리가 아니라 대역폭이 제약이라는 프레이밍 확립
XLA·TVM·Triton·Mojo가 공유하는 공통 기반. 가속기마다 컴파일러를 새로 짜던 관행을 끝냄
FP16의 스케일링 부담을 없앤 형식. 이후 TPU·Ampere·Hopper 세대의 사실상 기본 학습 정밀도
grad/jit/vmap 변환 조합과 XLA 컴파일로 TPU 대규모 학습의 표준 경로를 형성. 저장소는 구글 공식 제품이 아닌 연구 프로젝트로 명시
커널을 조립 가능한 부품으로 분해. FlashAttention·Transformer Engine·현대 어텐션 커널 다수가 이 위에 구현됨
혼합정밀 학습의 원형. FP16→BF16→FP8→FP4로 이어지는 정밀도 축소 계보 전체가 이 두 기법의 변주
all-reduce를 하드웨어 토폴로지에 맞춰 최적화한 표준 계층. 모든 데이터 병렬·ZeRO·FSDP 학습이 이 위에서 돈다