2015년, 7개 조각

이후 GPT 계열과 상업화 전환의 출발점이 되는 조직의 출범

잔차연결로 초심층 학습을 가능하게 함. Transformer를 포함한 이후 대부분 구조의 기본 부품

내부 시스템을 공개해 프레임워크 경쟁을 열고 딥러닝 도구를 산업 표준화

의료영상용으로 제안됐으나 이후 확산모델 등 생성 분야의 기본 골격이 됨

큰 모델의 지식을 작은 모델로 옮기는 증류를 정식화. 오늘의 소형 모델 계보의 뿌리

심층강화학습이 동료심사를 거쳐 공식 성과로 인정된 지점

깊은 망의 학습을 안정화·가속해 대부분의 아키텍처에 표준 채택됨