컨텍스트 윈도우란 — AI가 한 번에 기억할 수 있는 양

컨텍스트 윈도우는 AI가 한 번의 대화에서 한꺼번에 볼 수 있는 정보의 최대 크기입니다.

2026년 7월 기준으로, ChatGPT나 Claude 같은 AI를 쓸 때 알아두면 좋은 개념입니다.

긴 문서를 통째로 넣었더니 AI가 앞부분 내용을 잊어버린 경험, 한 번쯤 있으실 겁니다.

그 이유가 바로 이 컨텍스트 윈도우에 있습니다.

이 글을 읽으면 "AI가 왜 앞을 잊는지", "그래서 뭘 하면 되는지"를 알 수 있습니다.

컨텍스트 윈도우는 AI가 한 번에 펼쳐놓고 볼 수 있는 자료의 최대 크기입니다. 이 크기를 넘어서면 앞쪽 내용부터 책상 밖으로 밀려나 잊힙니다.

컨텍스트 윈도우란 무엇인가

AI를 좁은 책상에서 일하는 사람이라고 상상해 보겠습니다.

이 사람은 답을 쓸 때 책상 위에 자료를 펼쳐놓고 참고합니다.

그런데 책상 크기는 정해져 있습니다.

자료가 책상보다 많으면, 오래된 종이부터 밀려나 바닥으로 떨어집니다.

바닥에 떨어진 종이는 더 이상 보이지 않습니다.

이 "책상의 최대 크기"가 바로 컨텍스트 윈도우입니다.

그래서 대화가 길어지면 AI가 처음에 한 말을 잊는 일이 생깁니다.

AI가 갑자기 딴소리를 하거나 앞 내용을 놓치는 이유도 대개 여기에 있습니다.

크기는 토큰으로 잽니다

책상의 크기는 "토큰"이라는 단위로 잽니다.

토큰은 AI가 글자를 세는 조각 단위입니다.

영어에서는 대략 100토큰이 75단어쯤 됩니다.

한국어는 조각이 더 촘촘하게 나뉘어서, 같은 글자 수라도 토큰을 더 많이 씁니다.

즉 한글은 영어보다 책상을 더 빨리 채운다고 보면 됩니다.

토큰이 무엇인지 더 알고 싶다면 토큰을 다룬 글을 함께 보면 도움이 됩니다.

창이 크다고 다 좋을까

최근 AI 모델들은 책상, 즉 컨텍스트 윈도우를 점점 키우고 있습니다.

실제 크기는 모델마다 다르고, 시점에 따라서도 계속 바뀝니다.

그래서 특정 숫자로 단정하기보다, 쓰는 모델의 공식 안내를 확인하는 편이 정확합니다.

다만 창이 크다고 무조건 좋은 것은 아닙니다.

책상이 넓어도, 구석에 놓인 종이는 눈에 잘 안 들어올 수 있습니다.

AI도 창이 넓어졌다고 그 안의 모든 정보를 똑같은 정확도로 쓴다고 보기는 어렵습니다.

개인적으로는 창 크기 자체보다, 중요한 내용을 어디에 넣는지가 더 중요하다고 봅니다.

구분	창이 작을 때	창이 클 때
한 번에 넣는 양	적음	많음
앞부분을 잊는 정도	빨리 잊음	덜 잊음
구석 정보 정확도	비교적 챙기기 쉬움	놓칠 수 있음

---

그래서 실제로 뭘 하면 되나

몇 가지만 지키면 컨텍스트 윈도우 문제를 크게 줄일 수 있습니다.

첫째, 긴 문서는 한 번에 다 넣지 말고 나눠서 넣습니다.

둘째, 필요 없는 부분은 빼고 핵심만 넣습니다.

셋째, 대화가 너무 길어지면 새 대화를 시작합니다.

새 대화는 깨끗하게 치운 새 책상과 같습니다.

넷째, 꼭 기억시키고 싶은 내용은 대화 중간에 다시 한 번 적어줍니다.

이 방법들만으로도 AI가 앞을 잊는 상황이 눈에 띄게 줄어듭니다.

결론

컨텍스트 윈도우는 AI가 한 번에 펼쳐볼 수 있는 자료의 최대 크기입니다.

이 크기를 넘으면 앞부분부터 잊히고, 그게 AI가 앞을 놓치는 이유입니다.

창이 크다고 안심하기보다, 핵심만 넣고 길면 나눠 담는 습관이 더 효과적입니다.

자주 묻는 질문

컨텍스트 윈도우가 크면 항상 더 좋은가요

꼭 그렇지는 않습니다.

창이 넓으면 한 번에 더 많이 담을 수 있는 것은 맞습니다.

다만 넓은 창 안에서도 구석에 놓인 정보는 놓칠 수 있으므로, 중요한 내용은 눈에 잘 띄게 넣는 편이 낫습니다.

AI가 대화 앞부분을 잊으면 어떻게 하나요

필요한 핵심 내용을 대화 중간에 다시 적어주면 됩니다.

대화가 아주 길어졌다면 새 대화를 시작하는 것도 좋은 방법입니다.

새 대화는 자료를 다 치운 새 책상과 같아서, AI가 헷갈릴 여지가 줄어듭니다.