2022년, 54개 조각

모델이 자기 학습 데이터를 만드는 부트스트랩, 합성 데이터 산업의 출발점

임베딩을 상품화하고 RAG 붐의 비용 장벽을 제거

사람 라벨 대신 명문화된 원칙과 AI 피드백으로 행동을 규율, 원칙 문서를 학습 신호로 승격

task vector의 덧셈·뺄셈으로 능력을 주입·제거해 머징을 연산 가능한 대상으로

BEIR가 제기한 반박에 대한 재반박. 오픈웨이트 임베딩 경쟁의 시작점

EU 입법 3자협상의 이사회 측 입장이 고정된 날 — 이후 조문 변경은 이 문서를 기준으로 협상됐다

출력 분포를 바꾸지 않으면서 decode의 메모리 바운드 특성을 우회

대화형 UI가 프롬프트를 비전문가에게 개방해 소수 실무자 기술을 대중 현상으로 전환

딥페이크 실명인증·표식 의무. 생성형 AI 규제의 전신

LangChain 다음 달 등장해 RAG 인덱싱 계층의 또 다른 표준 어휘를 형성

PAL과 함께 code-as-reasoning 계보 형성

계산을 언어모델 밖으로 내보내는 계보

모델 간 비교 가능성 자체를 만든 작업

자동 생성 지시문이 24개 중 19개 태스크에서 사람 작성과 동등하거나 더 나음

양자화를 사후 처리로 표준화

로더-청킹-임베딩-벡터스토어-리트리버라는 RAG 표준 어휘를 확산

임베딩 모델 경쟁의 공통 척도. 모든 과제를 지배하는 임베딩 기법은 없다는 것이 핵심 결론

컴퓨트를 전략물자로 재정의, 이후 모든 규제의 원형

CoT 예시 작성의 수작업을 자동화한 초기 시도

추론 기법과 툴 사용을 결합한 에이전트 루프의 표준형. 축3과 상호참조

뉴런이 개념보다 많은 특징을 중첩 저장함을 입증, SAE 계열 전체의 이론적 출발점

다국어 ASR을 상품화해 음성이 LLM 파이프라인의 표준 입력이 됨

LLM 보안 분야의 기초 어휘. OWASP LLM Top 10을 포함한 모든 후속 보안 프레임워크가 이 명칭을 사용

3사 공동 제안으로 FP8이 사실상 표준 형식이 됨. 형식 파편화를 막은 규격 합의

소비자 GPU급 고품질 생성 모델의 오픈 웨이트화, LoRA·ControlNet 생태계와 저작권 논쟁을 동시에 촉발

소비자용 GPU 서버에서 대형 모델 실행을 가능하게 함

Discord 기반 UX로 비개발자 크리에이터 대규모 유입

continuous batching의 원형

학습 인프라 팀이 추론까지 내려온 사건. vLLM 이전 세대의 대형 모델 서빙 표준

JEPA·월드모델 노선의 창립 문서. LLM 회의론이 비판이 아니라 대안 설계의 형태를 갖게 됨

에이전트 이전 시대의 기준선 — 제안은 하지만 스스로 실행·검증하지 못하는 자동완성의 한계

규모 임계점에서 능력이 창발한다는 주장으로 스케일링 담론의 핵심 서사가 됨

커뮤니티 크라우드소싱형 벤치마크. 규모에 따라 성능은 개선되나 절대 수준은 낮다는 결론

롱컨텍스트 경로의 실질적 개통

확산 언어모델 계보의 출발점

임베딩 차원을 사후에 조절 가능하게 만든 기법

생성된 추론을 검증·충돌 해소의 대상으로 다룬 초기 사례

예시 없는 CoT. 이후 모든 zero-shot 추론 프롬프트의 원본

분해·계획 계보(Plan-and-Solve, Self-Discover)의 원형

단일 CoT 생성이 아닌 모듈 분해형 추론 계보

냉동 비전·언어 모델을 cross-attention으로 잇는 few-shot VLM의 원형

Pathways 시스템을 대규모 학습에 처음 쓴 사례로, 영어 NLP 과제 29개 중 28개에서 GPT-3·Gopher·Chinchilla 등 기존 대형 모델의 퓨샷 성능을 넘었다고 보고

당시 대형 모델들이 undertrained였음을 폭로, 70B가 280B Gopher를 상회

PaLM 급 학습을 가능케 한 오케스트레이션 계층이자 JAX/TPU 스택의 실행 기반

FP8 학습을 하드웨어 지원 기능으로 만든 전환점. 소프트웨어와 실리콘이 한 몸으로 묶인 첫 사례

test-time 샘플링·투표 계보의 시작. GSM8K +10%, MultiArith +24%

hitting a wall이 스케일링 회의론의 고정 표현이 됨

파인튜닝된 여러 모델의 가중치 평균만으로 성능이 오름을 실증, 모델 머징의 출발점

소형 모델에서 튜닝한 하이퍼파라미터를 대형으로 zero-shot 전이해 한 번에 성공 관행을 가능케 함

1.3B 출력이 175B GPT-3보다 선호됨을 보여 RLHF를 정렬의 표준 절차로 정착

기존 검색 엔진이 벡터 검색을 흡수하기 시작한 시점. 전용 벡터DB가 필요한가라는 통합 논쟁의 출발점

병렬화 전략 탐색을 자동화. 수작업 3D 병렬 튜닝을 컴파일 문제로 재정의

프롬프트만으로 추론 성능을 바꾼다는 계보 전체의 기점. CoT 예시 8개로 540B가 GSM8K SOTA

프롬프트 엔지니어링만으로는 끌어내기 어려웠던 능력을 열었다고 OpenAI가 직접 서술