2020년 13개 조각

다양성 큐레이션 패러다임. 동시에 Books3 등 저작권 부담을 이후 모델에 전가

사전학습 모델의 지식 폭을 재는 사실상의 표준이 되어 이후 5년간 모델 발표의 필수 지표

양자화 손실 함수를 내적 추정 오차에 맞춰 재설계해 MIPS 품질·속도 프런티어를 한 세대 밀어올림

MoE를 600B 규모 시스템으로 끌어올리고 expert parallelism과 자동 샤딩을 확립

예시를 보여주는 것이 곧 프로그래밍이라는 방식을 공식 제품 인터페이스로 만듦

파라미터 갱신 없이 프롬프트 안 예시만으로 태스크를 수행하는 in-context learning 제시

파라메트릭 메모리와 논파라메트릭 메모리를 결합한 검색 증강 생성의 정본

단일 벡터 검색과 구분되는 late interaction 계보의 출발점

희소검색(BM25) 기본값을 밀집검색으로 뒤집음

임베딩 마이그레이션 비용을 정면으로 다룬 첫 연구. 모델 교체 때마다 전 코퍼스를 재임베딩해야 하는 구조적 부채를 문제화

XLA·TVM·Triton·Mojo가 공유하는 공통 기반. 가속기마다 컴파일러를 새로 짜던 관행을 끝냄

모델 병렬화 코드 재작성 없이 초대형 학습을 가능케 한 계층

손실이 모델·데이터·연산의 멱법칙으로 예측 가능함을 제시해 대규모 투자의 근거가 됨