HC-DLM(Hierarchical Continuous Diffusion Language Models) 공개
HC-DLM(Hierarchical Continuous Diffusion Language Models) 공개 — 이산 확산 언어모델이 각 토큰을 주변분포에서 독립으로 표집해 통계적 의존을 끊어 버리는 문제와, 연속 확산이 최종 디코딩 전까지 유효한 토큰 배치에 근거가 없는 문제를 함께 겨눔. 연속 잠재를 유일한 지속 상태로 두고 매 단계 토큰을 읽어 내 다시 되먹여 다음 갱신을 이끄는 통합 디노이징 틀이며, 학습 목표는 토큰 가능도의 변분 하한에서 유도. 모델 크기를 맞춘 비교에서 스도쿠(구조적 추론) 정확도, Countdown(수학적 계획), LM1B 퍼플렉시티가 모두 기준선보다 개선. arXiv 2610.02193.
왜 중요한가
자기회귀 밖의 생성 경로가 '병렬 생성이 빠르다'는 주장에서 '의존 구조를 어떻게 지키느냐'는 문제로 성숙한 지점이다. 이산·연속 확산 각자의 결함을 하나의 상태로 묶어 해결하려는 설계이고, 관찰 주제 '확산 언어모델'의 누적 근거가 또 하나 늘었다.
출처 — 1차 출처를 우선 확인하고, 2차 보도는 「보도」로 따로 표시해요
논문arxiv.orghttps://arxiv.org/abs/2610.021932026년 41주차에 더한 기록이에요 · 그 주 보기