2019년, 14개 조각

정적 그래프 프레임워크 중심의 연구 관행을 뒤집음

HNSW의 전부 메모리에 올려야 한다는 제약을 깬 SSD 기반 ANN

K/V head를 1개로 줄여 KV 캐시를 디코딩 병목으로 재정의

이후 AGI 논쟁의 측정 기준을 제공

Common Crawl을 휴리스틱으로 정제한 최초의 대규모 표준 코퍼스

100B급 학습의 메모리 장벽을 제거

대규모 모델 병렬화의 표준 구현

문장 임베딩을 검색 가능한 자산으로 전환

FP16의 스케일링 부담을 없앤 형식. 이후 TPU·Ampere·Hopper 세대의 사실상 기본 학습 정밀도

벤치마크 포화에서 교체로 이어지는 사이클의 첫 사례

AI 학습데이터 규율의 EU 측 근거

스케일링 진영의 경전. 인간 지식 주입 대신 계산량이라는 정당화 논리의 근거로 반복 인용

자연어 지시가 태스크 명세가 될 수 있음을 시사하고 모델 공개 리스크 담론을 염

리랭커 계보의 원형. 밀집 임베딩이 못 잡는 정밀도를 후단에서 회수하는 2단 구조의 표준화