오늘의 질문
문장 속 단어들이 서로를 쳐다보기 시작했다 — 2017 트랜스포머
2017년 구글 연구팀이 낸 논문 한 편이 지금 쓰는 AI의 뼈대를 정했어. 이름은 트랜스포머, 논문 제목은 'Attention Is All You Need'야.
그 전까지는 문장을 앞에서부터 한 단어씩 차례로 읽었어. 트랜스포머는 문장 속 모든 단어가 서로를 동시에 쳐다보게 했어 — 이걸 '어텐션'이라고 불러.
동시에 본다는 건 한꺼번에 계산할 수 있다는 뜻이야. 그래서 그래픽카드에 딱 맞았고, 이 뼈대 위에서 GPT·클로드·제미나이가 전부 자랐어.
직접 해보기 — '그것'이 뭘 가리키는지, 단어들이 서로 쳐다보기
단어 하나를 고르면, 그 단어가 문장 속 어느 단어를 얼마나 세게 쳐다보는지 색으로 보여줘. 진할수록 세게 본다는 뜻이야.
그림 한 장으로
읽는 방식이 바뀌자 계산하는 방식도 바뀌었어.
확인해보기
세 문제. 답을 고르면 바로 채점되고, 왜 그런지도 같이 나와.
오늘의 한 줄
단어들이 서로를 쳐다보게 했더니,
AI가 문장을 통째로 이해하기 시작했어.
더 알아보기
- 2017년 원논문이야. 제목 그대로 '어텐션만 있으면 된다' — Attention Is All You Need (2017)
- 논문 저자들이 쓴 구글 공식 소개 글 — 그림으로 어텐션을 설명해 — Transformer: A Novel Neural Network Architecture (Google Research, 2017)
- 내일은 2020년 GPT-3 — 이 뼈대를 1,750억 개 숫자로 키우면 무슨 일이 생기는지.