글뿐 아니라 사진·소리·비디오까지 함께 다루는 AI를 말해요.
모달은 정보가 들어오는 종류, 곧 글·사진·소리·비디오 같은 감각을 뜻해요. 멀티모달 AI는 이 가운데 여러 가지를 한꺼번에 이해하거나 만들어요. 사진을 보여 주며 질문하거나, 말로 묻고 말로 답을 듣는 게 대표적이에요.
비결은 눈과 귀를 따로 단 게 아니에요. 사진은 작은 네모 조각으로, 소리는 아주 짧은 시간 토막으로 잘라 글의 토큰과 같은 줄에 세워요. 그러면 같은 트랜스포머 뼈대로 함께 처리할 수 있어요.
2021년 CLIP은 사진과 글을 같은 숫자 공간에 놓았고, 2023년 제미나이 1.0은 처음부터 여러 감각을 함께 배우는 방식을 내세웠어요. 2024년 GPT-4o는 글·사진·소리를 한 모델로 다뤄, 말 대답이 사람 대화만큼 빨라졌다고 소개됐어요.
비유로 보면
단톡방에서 친구가 글, 사진, 음성 메시지를 섞어 보내도 우리는 한 번에 알아듣죠. 멀티모달 AI는 이 셋을 같은 대화 안에서 함께 읽고 답하는 친구예요.
예를 들면
냉장고 속을 찍어 보내고 '이걸로 뭐 해 먹을 수 있어?'라고 물으면, 재료를 알아보고 요리를 제안해요.
이 낱말과 이어진 기록
출처로 확인한 AI 역사 속 장면이에요.