모델 아키텍처·학습 기법MIT (Xiao 외)
StreamingLLM
StreamingLLM — attention sink 발견
왜 중요한가
초기 토큰이 어텐션 배수구 역할을 한다는 발견, 2년 뒤 gpt-oss가 학습 가능 sink로 채택
출처 — 1차 출처만 싣고, 직접 이동해 확인할 수 있어요
논문arxiv.orghttps://arxiv.org/abs/2309.174532026년 8월 24일에 더한 조각 · 그 주 보기
StreamingLLM — attention sink 발견
초기 토큰이 어텐션 배수구 역할을 한다는 발견, 2년 뒤 gpt-oss가 학습 가능 sink로 채택