컨텍스트 창, context window · 컨텍스트 길이 · 컨텍스트 윈도우

AI는 대화를 머릿속에 저장해 두지 않아요. 답할 때마다 지금까지의 대화, 붙여 넣은 글, 자기가 쓴 답까지 통째로 다시 읽어요. 이렇게 한 번에 읽을 수 있는 최대 분량을 컨텍스트 창이라고 하고, 토큰 수로 세요.

창이 가득 차면 앱에 따라 오래된 내용부터 밀려나거나 잘려요. 그래서 긴 대화에서 AI가 앞에서 한 말을 잊은 것처럼 보여요. 창은 빠르게 커져서 2023년에 약 10만 토큰, 2024년에는 약 100만 토큰짜리 모델까지 나왔어요.

하지만 창이 크다고 다 잘 읽는 건 아니에요. 긴 글의 가운데 있는 내용을 더 자주 놓친다는 연구도 있어요. 중요한 말은 한 번 더 짚어 주는 게 좋아요.