멀티모달
기록 73개 · 정리 노트 1개 · 관련 축으로 붙은 기록도 함께 보여요.
글자 말고도 읽고 만드는 모델들
그림, 소리, 화면, 센서 신호까지 같은 모델이 다루기 시작하면 쓸 수 있는 자리가 넓어집니다. 이 축은 서로 다른 형태의 데이터를 하나의 표현으로 묶는 기법, 보고 말하는 모델, 그리고 그것들이 실제 제품에 들어간 기록을 모아요. 능력이 늘어나는 만큼 평가가 어려워지는 영역이기도 해서, 무엇을 얼마나 잘한다는 주장에는 어떤 시험으로 쟀는지를 함께 적습니다.
저자 측정으로 Qwen3.5-4B 위에 질문·답 1,230만 쌍을 학습해 견준 모델 여덟 개 중 전체 65.64%로 1위, 12개 평가 중 7개에서 1위였다. 가장 빠른 생성 방식보다 2.5배, 바탕이 된 모델보다 5.6배 빨랐다고 보고했다
16단계 증류판과 50단계 기본판 두 벌을 내고 FP8·NVFP4 양자화 가중치와 DreamBooth LoRA 학습 스크립트를 함께 제공했다. 증류판이 H100 한 장에서 1024×1024 그림을 약 2초에 만든다는 속도 수치만 있고 품질 점수는 내지 않았다
Meta가 지금까지 가장 강한 미국 오픈웨이트 모델이라고 자사 주장. Muse Spark 1.3과 같은 기반 모델에 단독 사용을 위한 안전 후속학습을 더했고, SGLang·vLLM 최적화와 Helion 커널(GB300에서 1.03~3.95배)을 함께 냄. 4월 비공개 프리뷰로 시작한 Muse Spark가 반년 만에 가중치까지 공개됨
자사 발표로 Artificial Analysis 음성 대 음성 지수 86.9(GPT-Live-1 83.2·Gemini 3.8 Live 82.6), Full Duplex Bench 97%, 응답 지연 1초 미만을 제시했다. Tesla 차량과 Starlink 고객 응대에 쓰여 하루 약 2만 건 통화 중 약 70%를 사람 없이 끝낸다고 밝혔다
저자 측정으로 시각 갈래는 영상 820개·문항 2,460개, 소리까지 쓰는 갈래는 240개·720개를 사람이 달고 여러 차례 검수해 만들었으며 모델 50개를 평가했다. 공개 모델이 특히 소리와 화면을 함께 보는 과제에서 상용 모델에 뒤졌고, 같은 대상을 글로만 가리킬 때와 그림을 함께 줄 때 답이 자주 달라졌다고 보고했다
주간 사용자 12억 명 이상인 ChatGPT의 기본 대화에 GPT-6 세대가 들어감. 생각을 이어 가면서 먼저 답을 시작해, 웹 검색이 필요한 질문에서 GPT-6 Instant가 GPT-5.6 Instant보다 평균 44% 빨리 답을 시작한다고 자사 측정
영상 생성 품질이 아니라 '물리 세계의 기본 상식을 갖췄는가'를 따로 떼어 측정한 시도다. 인지발달 과제를 벤치마크로 옮긴 접근은 월드모델 평가가 화질 지표에서 이탈하기 시작했음을 보여준다. 관찰 주제 「월드 모델」의 근거가 하나 늘었다
JEPA 계열 예측 아키텍처가 영상에서 벗어나 분자·임상·기상까지 같은 틀로 넘어간 사례. 월드 모델이 '영상 생성'이 아니라 '도메인 무관 상태 예측'으로 정의되는 흐름.
음성을 '전사 후 텍스트 처리'가 아니라 사고 예산을 조절하는 두 등급의 모델로 쪼개 판다 — 같은 인터페이스 안에서 지연과 추론 깊이를 상품으로 분리한 형태.
풀듀플렉스 음성이 OpenAI GPT-Live-1(09-10)·Google Gemini 3.8 Live(09-15)와 같은 주에 중국 랩에서도 나왔다 — 음성 인터페이스가 단일 랩의 차별점에서 공통 기본기로 내려앉는 구간.
LLM의 인컨텍스트 학습 패러다임이 로봇 조작으로 이식된 사례로, 로봇 파운데이션 모델이 태스크별 파인튜닝 없는 일반화로 향하고 있음을 보여준다.
오픈웨이트 대형 MoE가 범용이 아니라 번역이라는 수직 태스크로 내려와 상용 번역 서비스를 정면 겨냥한 사례다.
별도 비전 인코더와 VAE를 모두 없앤 완전 end-to-end 통합 구조가 실용 성능에 도달했음을 보여, 멀티모달 통합 모델의 표준 설계가 바뀔 가능성을 시사한다.
ASR이 LLM 기반 구조로 넘어가면서 정확도뿐 아니라 지연과 도메인 어휘 커스터마이징이 경쟁 축이 됐음을 보여준다.
음성 인터페이스가 파이프라인 조립에서 단일 모델로 통합된 사례로, 지연이 아니라 '턴 뺏기'가 음성 에이전트의 경쟁 축이 됐음을 보여준다.
생성형 렌더링과 상태 관리를 분리하는 설계로, 월드모델이 '그럴듯한 영상'을 넘어 규칙이 강제되는 플레이 가능한 시뮬레이터로 가는 길을 제시한다.
생성물 진위 판별 모델이 연구 주제를 넘어 방송 인프라의 기본 스택 부품으로 제품화된 지점이다.
모델 접근이 아니라 모델 산출물 전수를 미리 계산해 공개하는 AlphaFold DB 패턴의 확장. 자사 주장으로 초기 협력자들이 집단연구에서 비코딩 유전 연관을 22% 더 찾아냈다.
월드모델 기반 로봇 정책이 폐쇄형 시스템 경쟁에서 '어떤 설계 요소가 왜 작동하는가'를 검증하는 통제된 과학으로 넘어가는 전환점이다.
임베딩 학습의 기본값이던 대조학습보다 다단계 순위 감독이 감독 신호를 더 잘 쓴다고 주장하며, 리랭커를 검색 파이프라인의 후단이 아니라 임베딩 모델의 교사로 재배치한 갈래. 저자 자체 보고로 COLA·SUGARCREPE++·NEGBENCH 3개 구성적 추론 벤치마크에서 CORE-RERANKER-8B가 총평균 82.7%로 Jina-Reranker 대비 10.7포인트 우위, CORE-EMBED-
AI 기상 모델이 연구 시연을 넘어 소비자 제품과 상용 API의 기본 예보로 들어감
멀티모달 모델에 3D 세계 상태를 부가 조건이 아니라 네이티브 표현으로 넣은 갈래. 관찰 주제 「월드 모델」의 최근 사례이며 코드·모델·데이터셋을 함께 공개해 외부 재현이 가능하다
긴 영상을 컨텍스트에 다 넣는 대신 메모리를 진화시키는 갈래로, RAG의 검색-생성 분리를 시계열 입력에서 무너뜨린다. 저자 자체 보고로 온라인·오프라인 영상 벤치마크에서 최고 성능이라 주장하나 구체 수치는 초록에 없다
확산 언어모델 계열이 이미지 생성 쪽으로 넘어온 사례로, 관찰 주제 「확산 언어모델」의 누적을 늘린다. 저자 자체 보고로 Qwen-Image-Bench 영어 53.53 · 중국어 53.38로 오픈소스 중 양쪽 최고라고 주장
긴 영상을 통째로 넣는 대신 모델이 스스로 탐색하는 방식 — 멀티모달 입력이 에이전트 루프로 편입
이순신 명량대첩을 소재로 1분짜리 시네마틱 비디오를 만드는 과정에서 배울 점은 프롬프트를 바로 넣지 않는 순서다. 먼저 명량대첩이라는 주제와 생성 툴의 사용법을 각각 리서치시켜 컨텍스트를 채운 뒤, 두 결과를 합쳐 초 단위 화면 기획이 담긴 툴 전용 프롬프트를 메타프롬프팅으로 만든다. 생성 단계에서는 이순신 장군·판옥선·명량해협·일본 전선 같은 핵심 에셋을 나노바나나2로 2K 이미지로 먼저
생성 모델을 검색기로 재활용하던 ColPali 계보 대신 처음부터 인코더로 설계한 단일 타워로 되돌아간 갈래 — 멀티모달 검색에서 '인코더 전용'이 다시 유효하다는 주장. 저자 자체 보고로 동일 해상도에서 ColModernVBERT 대비 약 2배 인코딩 처리량, 계층적 토큰 풀링과 비대칭 양자화로 255배 압축에서도 기준 성능 95% 이상 유지.
주요 플랫폼이 AI 페르소나 범주를 만들어 라벨링을 넘어 추천 알고리즘에서 구조적으로 차등하는 첫 사례
C2PA·SynthID 같은 출처 표기가 선의에서 규제 준수 요건으로 이동. 2026-12-02는 기존 출시 시스템의 경과 기한일 뿐 제50조 전체의 적용 연기일이 아님
음성 모델에 reasoning effort와 병렬 도구 호출 도입, 컨텍스트 32K에서 128K로. 음성이 에이전트 실행 환경이 됨
LLM이 아닌 월드 모델 노선의 독자 연구소가 생기며 담론 지형이 갈라짐
Mistral-3 24B VLM과 rectified flow transformer 결합, 오픈 웨이트가 품질 격차를 좁힌 릴리스
정확한 인포그래픽과 다국어 텍스트 렌더링으로 이미지 생성을 추론 과제로 재정의, SynthID 탑재
공식 설명은 tokens에서 transformer, diffusion, pixels 순 — 순수 AR 회귀가 아니라 AR 토큰 생성과 확산 디코더의 하이브리드
2.0 Flash가 주요 벤치마크에서 1.5 Pro를 두 배 속도로 앞선다고 자사 주장했고, Multimodal Live API와 Deep Research를 함께 내놓으며 Project Astra·Mariner·Jules 등 에이전트 시제품을 소개
11B·90B는 Llama 계열 최초로 이미지 입력을 지원하는 모델이고, 1B·3B는 기기 내 실행을 겨냥한 경량 모델로 함께 공개됨
Opus·Sonnet은 발표 당일 claude.ai와 159개국 정식 API로 제공되고 Haiku는 추후 제공. 100만 토큰당 Opus $15/$75, Sonnet $3/$15, Haiku $0.25/$1.25이며 RSP상 ASL-2로 평가
월드 모델 계보의 기점. 저자들은 이 규모에서 foundation world model로 볼 수 있다고 주장
소비자 GPU급 고품질 생성 모델의 오픈 웨이트화, LoRA·ControlNet 생태계와 저작권 논쟁을 동시에 촉발
픽셀이 아닌 잠재 공간에서 확산해 연산량 급감, Stable Diffusion의 직접 기반