2016년, 14개 조각
기록 14개 · 정리 노트 0개
11월 1
Barret Zoph·Quoc V. Le (Google Brain)
Neural Architecture Search with Reinforcement Learning arXiv 공개
구조 설계 자체를 탐색 문제로 바꾼 논문
10월 1
Nal Kalchbrenner 외 (DeepMind)
Neural Machine Translation in Linear Time(ByteNet) arXiv 공개
순환 없이 확장 합성곱으로 시퀀스를 처리한 대안. 탈-순환 경쟁의 한 갈래
9월 4
Yonghui Wu 외 (Google)
Google's Neural Machine Translation System(GNMT) arXiv 공개
어텐션 seq2seq를 상용 규모로 구현한 시스템 기술서
Facebook AI Research (Soumith Chintala 외)
PyTorch 최초 공개
명령형 실행 방식으로 연구 커뮤니티의 프레임워크 판도를 바꾸기 시작
7월 2
Jimmy Lei Ba·Jamie Ryan Kiros·Geoffrey Hinton
Layer Normalization arXiv 공개
배치에 의존하지 않는 정규화. Transformer가 채택하며 사실상 기본 부품이 됨
Martín Abadi 외 (Google)
Deep Learning with Differential Privacy(DP-SGD) 발표
민감 데이터 학습의 표준 기법이자 이후 규제 논의의 기술적 기준점
5월 1
4월 1
NVIDIA
NCCL 공개
all-reduce를 하드웨어 토폴로지에 맞춰 최적화한 표준 계층. 모든 데이터 병렬·ZeRO·FSDP 학습이 이 위에서 돈다
AI 인프라 소프트웨어공식 발표
3월 2
Google DeepMind·이세돌
서울 5번기 종료(3월 9~15일)
AI 능력에 대한 대중 인식을 바꾼 사건. 이후 투자·정책 논의의 배경이 됨
2월 1
1월 1
Google DeepMind
Mastering the game of Go with deep neural networks and tree search
정책·가치망과 몬테카를로 트리 탐색의 결합을 공개. 탐색과 학습의 결합 계보