어텐션, attention · 셀프 어텐션 · 주의 메커니즘

어텐션은 단어 하나가 문장 속 다른 단어들을 얼마나 세게 쳐다볼지 점수로 정하는 계산이에요. 점수는 정해진 몫을 나눠 갖는 방식이라, 한쪽을 세게 보면 다른 쪽은 약해져요. 시선이 몰리는 곳을 보고 '그것'이 무엇을 가리키는지 같은 뜻이 잡혀요.

어텐션은 2014년 번역 연구에서 크게 주목받았어요. 번역할 때 원문의 어디를 볼지 정하는 장치였죠. 2017년 트랜스포머는 이 어텐션만으로 문장 전체를 읽는 구조를 만들었고, 이를 셀프 어텐션이라고 불러요.

글이 길어질수록 서로 쳐다봐야 하는 짝이 크게 늘어나서 계산도 많아져요. 컨텍스트 창을 늘리기가 쉽지 않은 까닭 중 하나예요.