지침을 80% 지웠는데 AI가 더 나빠지지 않았다

AI가 같은 실수를 할 때 가장 쉬운 처방은 지침을 한 줄 더 붙이는 것입니다. “앞으로는 표의 셀 여백을 10픽셀로 해.” “본문 글자는 이 크기를 써.” “링크는 확인된 것만 넣어.”
처음에는 효과가 있습니다. 그런데 몇 달이 지나면 지침 파일은 설명서가 아니라 창고가 됩니다. 비슷한 규칙이 세 군데에 있고, 예전에 맞았던 규칙과 오늘 고친 규칙이 충돌합니다. AI는 정보를 많이 받았는데 오히려 중요한 것을 놓칩니다.
Anthropic이 Claude 5 세대에 맞춰 공개한 컨텍스트 엔지니어링 이야기가 흥미로운 이유가 여기에 있습니다. Claude Code의 시스템 프롬프트를 80% 넘게 덜어냈는데도 코딩 평가 성능이 눈에 띄게 떨어지지 않았다는 것입니다.
이 결과를 “프롬프트는 대충 써도 된다”로 읽으면 곤란합니다. 정확한 뜻은 반대에 가깝습니다. 모델이 매번 읽어야 할 정보와 필요할 때만 꺼내 볼 정보를 구분해야 한다는 이야기입니다.

좋은 AI 지침은 모든 상황을 미리 적어 둔 백과사전이 아니라, 지금 판단에 필요한 신호를 빨리 찾게 해주는 안내판에 가깝습니다.

우리가 AI에게 보여주는 건 질문 한 줄이 아니다

사용자는 채팅창에 쓴 문장만 AI가 읽는다고 생각하기 쉽습니다. 실제 에이전트는 그보다 훨씬 많은 것을 한꺼번에 봅니다. 서비스의 시스템 지침, 프로젝트 규칙, 사용할 수 있는 도구 설명, 이전 대화, 자동으로 저장된 메모리까지 합쳐져 하나의 컨텍스트가 됩니다.
컨텍스트는 회의실 책상과 비슷합니다. 필요한 계약서 세 장만 올려두면 바로 비교할 수 있습니다. 관련 문서와 오래된 초안, 다른 프로젝트 메모까지 백 장을 펼치면 정보는 더 많아졌지만 일을 시작하기는 어려워집니다.
모델의 입력 한도가 충분히 크더라도 문제는 남습니다. 읽을 수 있다는 것과 무엇이 중요한지 제대로 판단한다는 것은 다른 능력입니다. 서로 비슷한 문장이 반복되면 최신 규칙보다 오래된 규칙을 따르거나, 강한 금지 문구에 눌려 필요한 행동까지 멈출 수 있습니다.

지침이 많을수록 자주 생기는 네 가지 문제

중복	같은 규칙이 여러 파일에 반복됨	단일 원본만 남김
충돌	어제 규칙과 오늘 규칙이 다름	우선순위와 최신 기준 명시
과도한 예외	특정 사례를 일반 규칙처럼 적용	스킬·참고자료로 분리
낮은 신호	핵심 행동보다 설명이 더 김	판단 기준과 완료 조건만 앞에 둠

제가 가장 위험하다고 보는 것은 충돌입니다. AI가 규칙을 어기는 것처럼 보이지만, 실제로는 서로 다른 두 규칙 중 하나를 선택한 경우가 많습니다. 이때 또 금지 문구를 추가하면 충돌이 해결되지 않고 세 번째 규칙만 늘어납니다.

지침·스킬·참고자료를 한 파일에 넣지 말자

정리의 기준은 단순합니다. 거의 모든 작업에 필요한 것은 상시 지침에 둡니다. 특정 요청에서만 필요한 절차는 스킬로 분리합니다. 긴 예시, 표준 코드, 체크리스트 원문은 참고자료에 둡니다.
블로그 프로젝트를 예로 들면 “확인하지 않은 링크를 만들지 않는다”는 모든 글에 적용되므로 상시 규칙입니다. “티스토리 표는 헤더와 셀 여백을 어떻게 넣는다”는 글 제작 스킬 안에 두면 됩니다. 긴 HTML 예제와 발행 스크립트 사용법은 필요할 때 읽는 참고자료가 어울립니다.
이렇게 나누면 규칙을 삭제하지 않고도 평소 컨텍스트를 가볍게 만들 수 있습니다. 중요한 것은 정보를 없애는 게 아니라 불러오는 시점을 바꾸는 것입니다.

728x90

세세한 명령보다 판단 기준이 오래간다

오래된 지침 파일에는 “A 상황이면 B를 하고, C 상황이면 D를 하라”는 문장이 계속 늘어납니다. 이런 규칙은 작성 당시에는 정확하지만 도구와 화면이 바뀌면 금방 낡습니다.
Anthropic은 주변 코드와 어울리게 작성하라는 식의 맥락 기반 기준을 강조합니다. 블로그라면 “무조건 소제목을 여섯 개 넣어라”보다 “독자가 한 번에 한 질문의 답을 찾게 나눈다”가 더 오래가는 기준입니다. 전자는 개수를 채우게 하고, 후자는 구조를 판단하게 합니다.
다만 판단 기준만 남기고 구체적인 완료 조건을 없애서는 안 됩니다. “표를 보기 좋게”는 너무 모호합니다. “표는 14픽셀, 셀 여백 10픽셀, 헤더 배경은 지정 색상”처럼 실제 오류를 막는 불변 조건은 정확하게 적어야 합니다.
좋은 지침은 유연한 판단 기준과 절대 틀리면 안 되는 불변 조건을 구분합니다. 모든 것을 숫자로 묶지도 않고, 모든 것을 감각에 맡기지도 않습니다.

오늘 바로 해볼 수 있는 30분 정리법

지침 파일을 처음부터 다시 쓰려고 하면 시작하기 어렵습니다. 다음 순서로 기존 문장을 분류하는 편이 빠릅니다.

1. 같은 뜻이 두 번 이상 나온 문장을 표시합니다.
2. 서로 다른 값을 요구하는 규칙을 찾아 최신 하나만 남깁니다.
3. 특정 작업에서만 쓰는 절차는 별도 스킬로 옮깁니다.
4. 긴 예시는 참고자료로 빼고 지침에는 링크와 사용 조건만 둡니다.
5. 마지막에 완료 여부를 기계적으로 확인할 검증 항목을 남깁니다.

여기서 핵심은 한꺼번에 줄이는 비율이 아닙니다. 지운 뒤 실제 작업 세 개를 다시 실행해 결과가 유지되는지 보는 것입니다. 성능이 떨어지면 필요한 신호를 너무 많이 지운 것이고, 차이가 없다면 그 문장은 상시 컨텍스트에 있을 이유가 약합니다.

반응형

제 생각은 ‘짧게’보다 ‘필요할 때 정확하게’다

80%를 지웠다는 숫자는 강렬합니다. 하지만 모든 프로젝트가 지침의 80%를 없애야 한다는 공식은 아닙니다. 법률, 보안, 발행 자동화처럼 실수 비용이 큰 작업은 상세한 불변 조건이 필요합니다.
제가 받아들인 메시지는 “짧을수록 좋다”가 아닙니다. 매번 읽힐 이유가 없는 내용을 매번 넣지 말자는 것입니다. 필요할 때 정확한 스킬과 참고자료를 불러오고, 평소에는 목표와 판단 기준을 선명하게 유지하는 쪽이 맞습니다.
이 방식은 모델이 좋아질수록 더 중요해질 수 있습니다. 강한 모델은 수십 개 예외를 외우게 하기보다 주변 상황을 보고 판단하게 할 때 장점을 더 잘 씁니다. 사람에게 모든 경우의 수를 적은 매뉴얼만 주는 것보다 원칙과 도구를 함께 주는 편이 나은 것과 같습니다.

결론

AI가 지침을 자꾸 놓친다면 더 강한 문장을 추가하기 전에, 이미 들어 있는 지침이 서로 싸우고 있지 않은지 확인해야 합니다.
상시 지침에는 목표, 우선순위, 불변 조건만 둡니다. 특정 절차는 스킬로, 긴 예시와 상세 설명은 참고자료로 옮깁니다. 그런 다음 실제 작업으로 결과를 비교합니다.
컨텍스트 엔지니어링은 AI에게 말을 멋지게 거는 기술이 아닙니다. 필요한 순간에 필요한 정보만 작업대 위에 올려두는 정리 기술에 더 가깝습니다.