확산 언어 모델
기록 8개 · 정리 노트 0개 · 관련 축으로 붙은 기록도 함께 보여요.
한 토큰씩이 아니라, 문장 전체를 다듬어 쓰기
지금의 언어 모델은 대부분 앞에서부터 한 토큰씩 이어 씁니다. 확산 언어 모델은 노이즈에서 시작해 문장 전체를 여러 번에 걸쳐 고쳐 가며 글을 만들어요. 이미지 생성에서 자리 잡은 방식을 글로 옮긴 연구, 여러 토큰을 한꺼번에 만들어 빠르다는 상용 모델, 그리고 그 대가로 생기는 약점을 고치는 연구가 이 축에 들어옵니다. 아직 기록이 적은 축이라, 속도 주장은 회사가 스스로 잰 수치인지부터 밝혀 적어요.
AIAI가 만든 글이 축 소개는 AI(Claude)가 이 축의 기록을 바탕으로 썼어요. 자동 점검을 거쳐 올리고, 운영자가 모든 글을 읽지는 않아요.만드는 방법
자기회귀 밖의 생성 경로가 '병렬 생성이 빠르다'는 주장에서 '의존 구조를 어떻게 지키느냐'는 문제로 성숙한 지점이다. 이산·연속 확산 각자의 결함을 하나의 상태로 묶어 해결하려는 설계이고, 관찰 주제 '확산 언어모델'의 누적 근거가 또 하나 늘었다.
확산 언어모델의 고질적 한계였던 '청크 경계에서 상태가 끊긴다'를 아키텍처로 푼 사례. 관찰 주제 「확산 언어모델」이 누적 10건을 넘긴 시점에 나온 실질 진전이다.
확산 언어모델 계열이 이미지 생성 쪽으로 넘어온 사례로, 관찰 주제 「확산 언어모델」의 누적을 늘린다. 저자 자체 보고로 Qwen-Image-Bench 영어 53.53 · 중국어 53.38로 오픈소스 중 양쪽 최고라고 주장
생성 모델을 검색기로 재활용하던 ColPali 계보 대신 처음부터 인코더로 설계한 단일 타워로 되돌아간 갈래 — 멀티모달 검색에서 '인코더 전용'이 다시 유효하다는 주장. 저자 자체 보고로 동일 해상도에서 ColModernVBERT 대비 약 2배 인코딩 처리량, 계층적 토큰 풀링과 비대칭 양자화로 255배 압축에서도 기준 성능 95% 이상 유지.