2018년, 7개 조각

출력층 하나만 더해 미세조정하는 방식으로 11개 자연어 처리 과제에서 최고 성능을 기록했으며 GLUE 80.4%·SQuAD v1.1 F1 93.2(저자 보고)

비지도 생성 사전학습과 지도 미세조정을 결합해 연구한 12개 과제 중 9개에서 당시 최고 성능을 경신했다고 보고

단일 과제가 아닌 다중 과제 묶음으로 언어이해를 정의. 이후 모든 LLM 리더보드의 원형

노드 내부를 하나의 큰 GPU로 만든 계층. 텐서 병렬화가 실용적이 된 물리적 전제

분산 학습을 연구 인프라에서 일반 도구로 내린 전환점

벤더 커널 라이브러리 독점에 대한 첫 실질적 컴파일러 대안. 자동 스케줄링 개념을 업계에 이식

grad/jit/vmap 변환 조합과 XLA 컴파일로 TPU 대규모 학습의 표준 경로를 형성. 저장소는 구글 공식 제품이 아닌 연구 프로젝트로 명시