전사 — 신경망에서 Transformer까지

합성곱만으로 번역을 수행해 Transformer 직전의 탈-순환 경쟁 구도를 보여줌

1세대 TPU의 설계와 실측을 공개해 전용 가속기 논의의 기준 문헌이 됨

쌍 데이터 없이 학습하는 설계로 생성모델의 데이터 요건을 낮춤

구조에 무관한 메타러닝을 제시해 few-shot 적응 연구를 열음

GAN 학습 불안정을 거리 함수 문제로 재정의

구조 설계 자체를 탐색 문제로 바꾼 논문

순환 없이 확장 합성곱으로 시퀀스를 처리한 대안. 탈-순환 경쟁의 한 갈래

신경망 번역이 연구에서 상용 서비스로 넘어간 지점

어텐션 seq2seq를 상용 규모로 구현한 시스템 기술서

자기회귀 생성이 오디오까지 확장됨을 보임. 이후 TTS·오디오 생성의 기반

명령형 실행 방식으로 연구 커뮤니티의 프레임워크 판도를 바꾸기 시작

배치에 의존하지 않는 정규화. Transformer가 채택하며 사실상 기본 부품이 됨

범용 GPU가 아닌 신경망 전용 실리콘 노선의 시작

AI 능력에 대한 대중 인식을 바꾼 사건. 이후 투자·정책 논의의 배경이 됨

정책·가치망과 몬테카를로 트리 탐색의 결합을 공개. 탐색과 학습의 결합 계보

이후 GPT 계열과 상업화 전환의 출발점이 되는 조직의 출범

잔차연결로 초심층 학습을 가능하게 함. Transformer를 포함한 이후 대부분 구조의 기본 부품

내부 시스템을 공개해 프레임워크 경쟁을 열고 딥러닝 도구를 산업 표준화

의료영상용으로 제안됐으나 이후 확산모델 등 생성 분야의 기본 골격이 됨

큰 모델의 지식을 작은 모델로 옮기는 증류를 정식화. 오늘의 소형 모델 계보의 뿌리

심층강화학습이 동료심사를 거쳐 공식 성과로 인정된 지점

깊은 망의 학습을 안정화·가속해 대부분의 아키텍처에 표준 채택됨

이후 사실상 표준이 되는 옵티마이저. 학습 레시피의 기본값을 바꿈

어텐션 기반 주소지정으로 메모리를 다루는 발상. 메모리 증강 계보의 출발

시퀀스를 시퀀스로 사상하는 인코더-디코더를 정식화. 오늘의 생성 모델 인터페이스의 조상

작은 3x3 합성곱을 깊게 쌓는 설계를 표준화

고정 길이 벡터 병목을 어텐션으로 푼 논문. Transformer 셀프어텐션의 직접 선행

생성자와 판별자의 경쟁을 학습 신호로 삼는 구조를 제시해 생성모델의 한 축을 염

인코더-디코더 구조와 GRU를 기계번역에 도입해 어텐션 연구의 토대가 됨

이후 DQN·AlphaGo를 낳는 조직 기반이 마련됨

확률적 생성모델을 역전파로 학습할 수 있게 만들어 생성모델 계보의 한 축이 됨

심층강화학습이 화면 입력만으로 동작함을 보인 초기 사례

GPU·대규모 데이터·심층 CNN의 결합을 논문으로 정착시킴. 현 딥러닝 시대의 관례적 기점

2위와의 큰 격차로 심층 CNN이 컴퓨터비전의 주류 방법론이 된 전환점

단순한 정규화로 과적합을 억제해 이후 표준 기법이 됨

표현학습을 하나의 문제틀로 정리해 이후 분야의 표준 참고문헌이 됨

서로 다른 산업 그룹이 같은 전환(HMM→DNN)을 확인해 딥러닝이 음성인식 산업 표준이 됨

레이블 없는 대규모 데이터와 대규모 연산만으로 고차 개념이 잡힘을 보임. 구글의 딥러닝 투자 상징

특정 시각 인식 과제에서 신경망이 인간을 넘어선 공인 벤치마크 기록

프레임워크가 연구 속도를 결정한다는 구도의 시작. 이후 딥러닝 라이브러리 설계에 영향

이후 표준 활성함수가 되는 ReLU의 이점을 입증한 초기 논문

대규모 이미지 분류를 매년 겨루는 표준 대회가 시작됨. 이후 딥러닝 돌파의 무대가 됨

활성함수와 초기화가 학습 안정성을 좌우함을 규명. Glorot 초기화의 기원

비지도 사전학습 없이 GPU 가속만으로 최고 성능이 나옴을 보여 순수 지도학습 노선을 되살림

GPU를 딥러닝 학습에 본격 적용한 초기 사례. 연산이 자원이라는 전제의 출발

WordNet 계층 기반 대규모 이미지 데이터셋을 공개해 데이터가 병목이라는 인식을 만듦

층별 비지도 사전학습이 학습 난제를 완화함을 실험으로 보임

깊은 망을 학습시킬 수 있다는 것을 다시 보여 2000년대 딥러닝 부활의 계기가 됨

단어를 밀집 벡터로 학습하는 신경 언어모형을 제시. word2vec 등 임베딩 계보의 직접 선행 연구

합성곱·풀링·완전연결을 결합한 실용 CNN 구조를 정립하고 MNIST를 표준 시험대로 만듦

게이트로 소실 그래디언트를 완화해 장기 시퀀스 학습을 가능하게 함. Transformer 이전 시퀀스 모델의 표준

순환신경망의 장기 의존성 학습 곤란을 이론·실험으로 확인해 후속 구조 개발의 동기가 됨

깊이와 시퀀스 길이가 늘수록 학습 신호가 사라짐을 처음 규명. LSTM·잔차연결의 문제 정의

가중치 공유와 역전파를 결합해 실제 업무 과제에 신경망을 적용한 초기 사례

Cybenko와 함께 다층 순방향 신경망의 근사 능력에 대한 토대를 확립

은닉층 하나로 임의의 연속함수를 근사할 수 있음을 증명해 표현력의 이론적 근거를 제공

은닉층이 과제에 유용한 내부 표현을 스스로 학습함을 보여 다층 신경망 학습을 실용화

신경망을 에너지 최소화 물리계로 해석해 연상기억·최적화로 연결, 연구 부활에 기여

국소 수용장과 단순/복잡 세포 계층을 도입해 CNN 구조의 직접 선행 모델이 됨

1986년 재발견 이전의 최초 서술로 평가됨. 역전파 우선권 논쟁의 기준점

한계를 수학적으로 못 박아 신경망 연구가 10여 년 위축되는 계기가 됨

오류로부터 가중치를 갱신하는 최초의 학습 절차. Psychological Review 65(6) 386-408

분야에 이름이 붙은 문서. 이듬해 1956년 워크숍으로 이어짐

기계 지능을 내부 구조가 아니라 행동으로 판정하는 틀을 세움. 오늘의 벤치마크 논쟁의 원형

가중치를 데이터로 바꾼다는 발상의 원형. 이후 신경망 학습 규칙의 이론적 뿌리

신경세포 활동을 논리 연산으로 형식화한 최초의 시도로 인공신경망의 수학적 출발점