단어나 문장의 뜻을 숫자 묶음으로 바꿔 놓은 거예요.
컴퓨터는 글자를 모르고 숫자만 다뤄요. 그래서 단어나 문장을 숫자 수백에서 수천 개짜리 묶음으로 바꿔요. 이 숫자 묶음을 임베딩이라고 하고, 벡터라고도 불러요.
숫자는 아무렇게나 붙이지 않아요. 비슷하게 쓰이는 말끼리 숫자도 비슷해지도록 학습해서, 뜻이 가까운 말은 가까운 자리에 놓여요. 그러면 '급식'과 '점심'처럼 글자가 하나도 안 겹쳐도 가깝다는 걸 계산할 수 있어요. 2013년에 나온 word2vec이 이 방식을 널리 퍼뜨렸어요.
임베딩은 뜻으로 찾는 검색과 비슷한 글 추천의 바탕이에요. AI가 자료를 찾아 읽고 답하는 RAG도 임베딩으로 가까운 글을 골라요.
비유로 보면
음악 앱이 노래마다 지도 위 자리를 정해 둔다고 상상해 보세요. 신나는 댄스곡끼리, 잔잔한 발라드끼리 가까이 모여 있어요. 내가 들은 곡 근처의 노래를 추천하듯, 임베딩은 뜻의 지도 위 좌표예요.
예를 들면
'왕'에서 '남자'를 빼고 '여자'를 더하면 '여왕' 근처에 닿는다는 예시가 유명해요.
이 낱말과 이어진 기록
출처로 확인한 AI 역사 속 장면이에요.
Yoshua Bengio 외
A Neural Probabilistic Language Model
단어를 밀집 벡터로 학습하는 신경 언어모형을 제시. word2vec 등 임베딩 계보의 직접 선행 연구