트랜스포머, transformer · Transformer 모델 · Attention Is All You Need

트랜스포머는 2017년 구글 연구팀이 'Attention Is All You Need'라는 논문에서 내놓은 신경망 구조예요. GPT, 클로드, 제미나이처럼 요즘 널리 쓰이는 대형 언어 모델은 대부분 이 뼈대 위에 만들어졌어요.

그 전에는 문장을 앞에서부터 한 단어씩 차례로 읽는 방식이 많았어요. 트랜스포머는 어텐션을 써서 문장 속 모든 토큰이 서로를 동시에 쳐다보게 했어요. 덕분에 멀리 떨어진 단어 사이의 관계도 바로 잡을 수 있게 됐어요.

동시에 본다는 건 한꺼번에 계산할 수 있다는 뜻이라, 그래픽카드(GPU)로 아주 많은 글을 빠르게 학습할 수 있었어요. 이게 모델을 크게 키우는 길을 열었어요.