2014년, 9개 조각
기록 9개 · 정리 노트 0개
12월 1
10월 2
Alex Graves·Greg Wayne·Ivo Danihelka (DeepMind)
Neural Turing Machines arXiv 공개
어텐션 기반 주소지정으로 메모리를 다루는 발상. 메모리 증강 계보의 출발
9월 3
Ilya Sutskever·Oriol Vinyals·Quoc V. Le (Google)
Sequence to Sequence Learning with Neural Networks arXiv 공개
시퀀스를 시퀀스로 사상하는 인코더-디코더를 정식화. 오늘의 생성 모델 인터페이스의 조상
Karen Simonyan·Andrew Zisserman (옥스퍼드대)
Very Deep Convolutional Networks for Large-Scale Image Recognition(VGG) arXiv 공개
작은 3x3 합성곱을 깊게 쌓는 설계를 표준화
Dzmitry Bahdanau·Kyunghyun Cho·Yoshua Bengio
Neural Machine Translation by Jointly Learning to Align and Translate arXiv 공개
고정 길이 벡터 병목을 어텐션으로 푼 논문. Transformer 셀프어텐션의 직접 선행
6월 2
Ian Goodfellow 외 (몬트리올대)
Generative Adversarial Networks arXiv 공개
생성자와 판별자의 경쟁을 학습 신호로 삼는 구조를 제시해 생성모델의 한 축을 염
Kyunghyun Cho 외 (몬트리올대)
Learning Phrase Representations using RNN Encoder-Decoder arXiv 공개
인코더-디코더 구조와 GRU를 기계번역에 도입해 어텐션 연구의 토대가 됨