Claude 3.5 Opus를 통해 배우는 시스템 프롬프트 절제의 중요성. 엔트로픽이 80%의 지시문을 삭제한 이유와 AI 제품 개발의 새로운 방식을 설명합니다.
AI 모델 프롬프트 최적화: 덜 지시할수록 더 잘하는 이유
핵심 요약
- 시스템 프롬프트는 재검토 대상: 엔트로픽은 새 모델(Opus 5) 출시 시 기존 프롬프트의 80%를 삭제했습니다
- 모델이 진화하면 지시문은 짐이 됨: 이전 모델의 부족함을 메우던 문장들이 새 모델에서는 오히려 능력을 제한합니다
- 절제 실험(Ablation)의 중요성: 문장을 지운 뒤 한 줄씩 되돌리며 실제 영향을 측정하는 방식으로 검증합니다
- 프롬프트 길이 = 모델 성능 저하: 불필요한 지시문이 모델의 주의를 분산시켜 실제 작업에 쓸 여유를 줄입니다
모델이 바뀌면 프롬프트는 자산에서 짐이 된다
AI 모델 개발사 엔트로픽의 보리스 체르는 Y 콤비네이터 스타트업 스쿨 2026에서 Claude 코드 개발 경험을 공유했습니다. 새로운 모델이 출시될 때마다 엔트로픽이 하는 일은 역설적입니다. 성능을 높이기 위해 기존 프롬프트의 80%를 삭제 했다는 것입니다.
이전 모델이 잘못하던 작업을 바로잡기 위해 작성한 지시문들은 새 모델에서는 불필요해집니다. 오히려 모델이 알아서 잘할 일을 옛날 방식으로 하도록 붙잡는 셈이 됩니다. 보리스는 이를 "업무 매뉴얼"에 비유했습니다. 신입 직원에게는 두꺼운 매뉴얼이 도움이 되지만, 경력자에게는 방해물이 되는 것처럼 말입니다.
절제 실험: 지워서 영향을 측정하다
엔트로픽이 사용하는 방법은 절제 실험(Ablation) 입니다. 의학에서 조직의 일부를 제거해 영향을 보는 방식에서 유래했으며, 신경망 연구에서 널리 쓰입니다.
절차는 다음과 같습니다:
- 시스템 프롬프트를 통째로 삭제
- 실제로 모델을 사용해 봄
- 같은 부분에서 반복해서 막힐 때만 한 줄을 되돌림
- 그 문장이 매번 읽히는지 확인 (실제 영향이 있는지)
보리스는 "남는 문장이 생각보다 훨씬 적다"고 강조했습니다. 예측으로 미리 채운 것과 실제 필요한 것의 격차가 크다는 의미입니다.
프롬프트 길이는 모델의 주의를 나누는 비용
불필요한 지시문이 길어질수록 모델이 실제 작업에 쓸 수 있는 여유가 줄어듭니다. 안 쓰는 규칙 열 줄이 정말 필요한 한 줄을 가릴 수 있다는 뜻입니다.
이는 단순한 효율 문제가 아닙니다. 모델이 매번 읽어야 하는 무게가 늘어날수록 문맥 윈도우(Context Window)에 여유가 줄어들고, 실제 작업 데이터에 할당되는 주의의 양이 감소합니다. 보리스가 강조한 핵심은 "모델이 이 문장을 매번 읽을 만큼 필요한가?" 라는 기준입니다.
모델이 할 수 있는데도 안 쓰는 능력들(Product Overhang)
흥미로운 점은 현재 모델이 이미 할 수 있는 일 중에서도 누구도 꺼내 쓰지 않은 능력들 이 많다는 것입니다. 보리스는 이를 "프로덕트 오버행(Product Overhang)"이라 부르며, 이미 나와 있는 모델에서 남겨진 가능성이 여전히 크다고 말했습니다.
실제 사례가 Bun(JavaScript 런타임)의 Zig-to-Rust 마이그레이션입니다. 이전 모델로는 불가능했던 작업을 새 모델은 단일 프롬프트로 11일에 걸쳐 완료 했습니다. 10만 줄 이상의 코드를 인간 엔지니어라면 1년 이상 걸릴 작업을 자동화한 것입니다.
중요한 것은 프롬프트가 아니라 검증 시스템
보리스가 강조한 핵심 기술은 두 가지입니다:
1. 조금 벅찬 과제 주기
- 모델이 할 수 있을 것 같은 것보다 살짝 어려운 작업을 시킴
- 너무 구체적으로 지시하지 않고 (예: 1단계 이후 2단계...), 목표와 경계만 제시
2. 스스로 검증하게 만들기
- 이것이 사람들이 가장 많이 놓치는 부분입니다
- 모델이 자신의 결과를 확인할 방법을 제공해야 합니다
보리스는 본인 경험을 예로 들었습니다. Slack의 Claude 태그로 Electron 앱을 Swift로 다시 작성하게 한 프롬프트는 단 몇 문장이었습니다:
"맥 가상 머신에서 Electron 앱을 실행하고 스크린샷을 찍어라. Swift 버전과 픽셀 단위로 비교하라. 끝날 때까지 멈추지 마."
이 짧은 지시 안에는 목표 명확화 와 자동 검증 이 들어 있습니다. 모델이 스스로 맞는지 확인할 수 있었기에 2주 이상 자동으로 작업을 계속했고, 심지어 진행 상황을 Slack에 자동 보고까지 했습니다.
엔트로픽이 Claude로 Claude를 정비하는 방식
현재 엔트로픽은 매일 수백 개에서 수천 개의 에이전트 를 동작시켜 자신들의 코드베이스를 자동으로 정비하고 있습니다. 예시들:
- Dead Code 정리: 정적·동적 분석으로 죽은 코드 찾기 (사람이 지시하지 않았는데 스스로 방법 선택)
- 테스트 자동화: 필요한 부분에 테스트 추가, 불필요한 테스트 삭제
- Abstraction Police: 중복된 추상화를 찾아 통합
- 실험 자동 배포: 100% 완료된 실험 자동 삭제
단 한 문장의 프롬프트로 시작한 이 루틴들은 매일 수십 개씩 실행되며 "수십~수백 엔지니어의 일"을 대체합니다.
코딩은 "풀렸는가"에 대한 정답
진행자가 "코딩은 풀렸다"고 했을 때, 보리스는 범위를 명확히 했습니다. 자신이 하는 종류의 코딩 에서는 풀렸지만, 모든 분야에서 그런 것은 아니라는 뜻입니다:
- 아직 어려운 분야: 깊은 시스템 코드, 분산 시스템, 픽셀 단위 UI 검증
- 개선 중인 분야: Opus 5의 시각 인식과 컴퓨터 사용 능력은 크게 향상했지만 여전히 완벽하지 않음
청중 설문에서 100% 에이전트로 코드를 작성하는 사람 은 소수였고, 절반 이상을 에이전트에게 맡기는 사람 은 비슷한 수준이었습니다. 결론은 "특정 종류의 코드 부터 풀리고 있다"는 것입니다.
지금 학생들은 뭘 배워야 할까
Y 콤비네이터의 진행자는 지금 막 프로그래밍을 배우는 학생들에게 "손으로 배워야 할 게 남았냐"고 물었습니다. 보리스의 답은 커리큘럼이 아닌 자신의 학습 경험 이었습니다:
- 중학교: TI-83 공학용 계산기에서 Basic으로 수학 시험 자동화 프로그램 작성
- 고등학교: 더 어려운 대수 문제를 풀기 위해 Assembly 배움
- 핵심 철학: "실제 필요한 문제를 푸는 것"부터 시작
그의 조언:
"컴퓨터 과학 이론만으로는 부족합니다. 스타트업을 만들고, 제품을 개발하고, 사용자와 대화하고, 데이터 과학과 디자인을 배우세요."
결론
모델이 진화할 때마다 우리의 프롬프트와 지시문도 재검토 대상이 되어야 합니다. 지금 Claude MD에 적힌 규칙들이 정말 지금 모델에 필요한 것인지 묻지 않는 한, 우리는 옛날 모델의 약점을 메우는 짐을 계속 짊어지게 됩니다.
핵심은 더 정교한 프롬프트가 아니라, 모델이 스스로 갈 수 있는 환경 을 만드는 것입니다. 6개월마다 당신의 프롬프트를 전부 지우고, 실제로 필요한 것만 되돌리는 용기가 필요한 시점입니다.