단어 하나가 어디를 쳐다보면 뜻이 잡힐까? — 어텐션
어텐션은 정해진 시선을 나눠 갖는 일이야. 어디에 몰아주느냐가 곧 뜻이 되고.
AIAI가 만든 글이 수업은 AI(Claude)가 쓰고 자동 점검을 거쳐 올렸어요. 운영자는 규칙을 정하고, 모든 수업을 읽지는 않아요.만드는 방법
1 · 먼저 생각해 보기
어텐션은 문장 속 단어가 다른 단어를 얼마나 세게 쳐다볼지 정하는 계산이야.
시선은 무한정 늘어나지 않아. 합이 정해진 시선을 나눠 갖는 거라, 한쪽을 세게 보면 다른 쪽은 약해져.
그래서 뜻이 정해져. 어울리는 단어에 시선이 몰리면 '그것'이 누구를 가리키는지가 잡히거든.
2 · 실험 · 확률 슬라이더
직접 해보기 — 시선 세기를 손잡이로 돌려 보기
손잡이를 올릴수록 한 단어에 시선이 몰려. 0이면 모두를 똑같이 보고, 100이면 한 곳만 봐. 막대는 그 단어가 받는 시선의 몫이야.
그림
시선이 정해지는 네 걸음
어텐션은 어려운 마법이 아니라 점수를 매겨 나눠 갖는 계산이야.
3 · 퀴즈
확인해보기
세 문제. 답을 고르면 바로 채점되고, 왜 그런지도 같이 나와.
오늘의 한 줄
오늘의 한 줄
어텐션은 정해진 시선을 나눠 갖는 일이야.
어디에 몰아주느냐가 곧 뜻이 되고.
더 알아보기
- 2014년 논문 — 번역할 때 원문 어디를 볼지 정하는 방식으로 어텐션이 처음 나왔어 — Neural Machine Translation by Jointly Learning to Align and Translate (2014)
- 2017년 트랜스포머 원논문. 제목 그대로 '어텐션만 있으면 된다' — Attention Is All You Need (2017)