최신 AI 기술을 활용해 개인용 에이전트를 만드는 방법을 알아보세요. 스킬 디스틸레이션 기술로 로컬 모델의 성능을 극대화하는 전략을 공개합니다.
AI 개인 에이전트 만드는 법: 작은 모델로 큰 AI 능력 구현하기
현대의 AI 기술은 이제 단순한 챗봇을 넘어 개인의 업무를 직접 관리하는 수준으로 진화했습니다. 최신 대규모 언어 모델(LLM)을 활용하여 로컬 컴퓨터에서 실행되는 작은 모델들을 학습시키면, 실제로 업무를 자동화하는 개인 에이전트를 구축할 수 있습니다. 이것은 단순한 자동화 도구가 아니라, 당신의 일하는 방식을 직접 학습하고 따라하는 개인 운영 시스템 에 가깝습니다.
핵심 요약
- Pi 기반 개인 에이전트: 이메일, 거래 파이프라인, 블로그 발행, 캘린더 관리 등 다양한 업무를 자동화하는 통합 시스템
- 세 계층 아키텍처: QMD 지식베이스, 스킬 파일, 에이전트 루프로 구성된 체계적 구조
- 스킬 디스틸레이션 기술: 대규모 모델이 작은 로컬 모델에게 절차 지식을 전수하는 혁신적 방식
- 비용 효율성: 매 분기마다 가장 저렴한 모델로 전환 가능한 유연한 구조
- 검증 및 개선 시스템: 자동으로 스킬을 작성, 테스트, 재작성하여 정확도를 높이는 반복 프로세스
AI 개인 에이전트의 아키텍처: 세 계층 시스템의 이해
AI 개인 에이전트를 효과적으로 구축하기 위해서는 체계적인 아키텍처가 필수적입니다. 현재 가장 성공적으로 활용되고 있는 모델은 세 개의 계층 으로 구성되어 있으며, 각 계층은 특정한 역할을 수행합니다.
첫 번째 계층은 QMD(Query Markdown Database) 라고 불리는 로컬 마크다운 지식베이스입니다. 이 시스템은 개인의 컴퓨터 내 ~/memories 디렉토리에 약 80개의 워크플로우 파일을 저장합니다. 에이전트가 어떤 절차적 질문에 답하기 전에, 먼저 QMD에서 올바른 플레이북을 검색합니다. 이를 통해 에이전트는 단순히 일반적인 답변을 제공하는 것이 아니라, 개인의 특정한 작업 방식과 규칙을 따르게 됩니다. 예를 들어, 이메일을 처리할 때 개인이 선호하는 응답 방식, 우선순위 판단 기준, 특정 연락처에 대한 특별 지침 등이 모두 이 지식베이스에 저장되어 있습니다.
두 번째 계층은 스킬(Skills), 즉 원자 단위의 SKILL.md 파일들입니다. 각 스킬 파일은 하나의 특정한 작업을 설명하며, 최신 대규모 모델에 의해 작성됩니다. 중요한 점은 이 스킬의 평가도 같은 대규모 모델이 수행한다는 것입니다. 시스템은 자동으로 각 스킬을 작성하고, 테스트하고, 정확도가 수렴될 때까지 반복적으로 재작성합니다. 또한 QMD에 대한 회상을 검사하므로, 올바른 키워드가 항상 올바른 스킬을 표면화합니다. 이는 단순한 문서 관리가 아니라, ** 기관의 제도적 지식**을 체계화하는 과정입니다.
세 번째 계층은 에이전트 루프 로, 실제로 작동하는 AI 모델이 Plan → Tool Call → Observe → Refine의 사이클을 반복합니다. 이 루프는 17개의 Rust API와 여러 MCP(Model Context Protocol) 통합을 호출하여 실제 작업을 수행합니다. 에이전트 루프는 단순히 LLM이 텍스트를 생성하는 것이 아니라, 실제 시스템과 상호작용하면서 계획을 세우고, 행동하고, 결과를 관찰하고, 필요시 전략을 수정하는 완전한 의사결정 프로세스를 거칩니다.
이 세 계층은 서로 긴밀하게 협력하여 작동합니다. 사용자의 요청이 들어오면, 에이전트는 먼저 QMD에서 관련 문맥을 검색하고, 필요한 스킬을 활성화하며, 마지막으로 에이전트 루프를 통해 실제 실행을 수행합니다. 이러한 구조는 모듈식이면서도 강력 하여, 언제든지 각 계층을 개선하거나 교체할 수 있습니다.
스킬 디스틸레이션: 대규모 모델에서 작은 모델로의 지식 전수
스킬 디스틸레이션 은 AI 모델 간에 지식을 전달하는 혁신적인 방식으로, 전통적인 지식 증류(knowledge distillation)와는 근본적으로 다릅니다. 이 기술은 현재 개인 AI 에이전트를 구축하는 과정에서 가장 핵심적인 역할을 수행하고 있습니다.
전통적인 지식 증류는 큰 모델의 소프트 확률 출력을 작은 모델의 가중치로 압축하는 방식으로 작동합니다. 반면, 스킬 디스틸레이션은 절차적 지식을 마크다운 형태로 전수 합니다. 구체적으로, Opus 4.7, GPT-5.1, Gemini 3 Pro와 같은 최신 대규모 모델이 스킬 파일을 작성하고 개선합니다. 그리고 Qwen 35B나 Gemma 26B와 같은 작은 모델이 로컬 컴퓨터에서 이 스킬을 직접 실행합니다. 교사 모델이 학생 모델에게 절차 지식을 마크다운을 통해 전달하는 것입니다.
이 방식이 기존 방법들과 근본적으로 다른 이유는 무엇일까요?
먼저 지식 증류와의 차이점 을 살펴봅시다. 지식 증류는 모델의 가중치 자체를 변경하여 지식을 저장합니다. 반면 스킬 디스틸레이션은 지식을 별도의 마크다운 파일로 저장하므로, 작은 모델은 절차를 단순히 따르기만 하면 됩니다. 예를 들어, 회사를 평가하는 방법을 아주 잘 알 필요가 없습니다. 단지 주어진 단계들을 따르기만 하면 되는 것입니다.
둘째, 명령어 튜닝과의 차이점 입니다. 명령어 튜닝은 수많은 프롬프트-응답 쌍을 통해 모델의 동작을 가중치에 구워냅니다. 이는 모델의 내부 구조를 변경하는 방식입니다. 반면 스킬 디스틸레이션은 외부의 마크다운 파일로 절차를 정의하므로, 언제든지 검사 가능하고, 버전 관리가 가능하며, 핫스왑이 가능 합니다.
셋째, RAG(Retrieval-Augmented Generation)과의 차이점 입니다. RAG는 사실을 검색하는 방식입니다. "런던은 어디에 있는가?"와 같은 질문에 대해 외부 데이터베이스에서 사실을 가져옵니다. 하지만 스킬 디스틸레이션은 절차를 검색합니다. "고객 제안을 어떻게 준비하는가?"와 같은 질문에 대해, 작은 모델은 정확한 단계들을 포함한 스킬 파일을 가져옵니다.
이 접근 방식의 실무적 장점은 매우 큽니다. 스킬 파일은 마크다운으로 작성되므로, 개발자나 비개발자 모두 이를 읽고 이해하고 편집할 수 있습니다. 버전 관리 시스템에 저장되므로, 어느 시점에서 어떤 변화가 일어났는지 추적할 수 있습니다. 새로운 스킬을 추가하거나 기존 스킬을 개선하는 것이 모델 재학습보다 훨씬 빠르고 간단합니다. 가장 중요하게는, 매 분기마다 다른 모델로 교체할 수 있습니다. 만약 새로운 더 저렴한 모델이 나타나면, 같은 스킬 파일을 그대로 사용하면서 새 모델로 전환하기만 하면 됩니다.
실제 구현: 자동 학습과 지속적 개선 시스템
스킬 디스틸레이션의 진정한 가치는 이것이 일회성 작업이 아니라 자동화된 반복 프로세스 라는 점에서 비롯됩니다. 매일 밤, 시스템은 과거 로그를 분석하여 어떤 새로운 스킬을 생성해야 할지 파악합니다. 이는 Y Combinator에서 Pete Koomen이 설명한 루프를 미러링하는 방식입니다.
이 자동 학습 시스템의 작동 방식을 이해하려면, 먼저 전체 파이프라인을 살펴봐야 합니다. 사용자가 에이전트와 상호작용할 때마다, 모든 활동과 결과가 로그로 기록됩니다. 매일 밤, 시스템은 이 로그들을 분석하여 패턴을 찾습니다. 만약 사용자가 반복적으로 특정한 작업을 수행하고 있다면, 그 작업이 하나의 스킬로 자동화될 후보가 됩니다.
예를 들어, 매일 아침 사용자가 특정한 형식으로 이메일을 정렬하고 응답 순서를 결정한다면, 시스템은 이를 감지하고 "이메일 우선순위 지정" 스킬을 자동으로 생성할 수 있습니다. 이 스킬 생성은 다음과 같은 단계를 거칩니다:
첫 번째, 최신 대규모 모델이 스킬을 작성 합니다. 로그 분석을 기반으로, Opus나 GPT-5 같은 모델이 마크다운 형태의 상세한 절차를 작성합니다. 이 절차에는 입력 요구사항, 단계별 지침, 예상 출력, 엣지 케이스 처리 방법 등이 모두 포함됩니다.
두 번째, 같은 모델이 이 스킬을 평가합니다. 평가는 여러 테스트 케이스에 대해 수행됩니다. 예를 들어, 다양한 유형의 이메일에 대해 스킬이 올바르게 우선순위를 지정하는지 확인합니다.
세 번째, 실제 로컬 모델이 스킬을 실행 합니다. Qwen 35B 같은 작은 모델이 마크다운 지침을 따라 실제 작업을 수행합니다. 이때의 성능을 측정합니다.
네 번째, 성능이 충분하지 않으면 스킬을 재작성 합니다. 대규모 모델은 로컬 모델의 성능 데이터를 받아 스킬을 개선합니다. 지침을 더 명확하게 하거나, 놓친 엣지 케이스를 추가하거나, 예제를 보완합니다.
다섯 번째, QMD와의 회상(recall) 검사를 수행 합니다. 올바른 키워드가 올바른 스킬을 찾아낼 수 있는지 확인합니다. 예를 들어, "이메일 정렬", "메일 분류", "받은편지함 관리" 등의 검색어가 "이메일 우선순위 지정" 스킬을 정확하게 반환하는지 테스트합니다.
이 반복 프로세스는 정확도가 수렴할 때까지 계속됩니다. 사용자의 피드백이 들어오면, 이는 다음 번 개선 주기에 포함됩니다. 시간이 지날수록 스킬 라이브러리는 더욱 정교해지고, 에이전트는 더욱 효율적으로 작동하게 됩니다.
조직적 이점: 제도적 지식의 외부화와 모델 유연성
스킬 디스틸레이션 시스템이 조직 차원에서 가지는 의미는 매우 깊습니다. 이 접근 방식은 조직의 지식을 개인 모델의 가중치에서 분리 하여 새로운 가능성을 열어줍니다.
기존 방식에서는, 만약 당신이 어떤 방식으로 일하기를 원한다면, 그 방식을 모델에 학습시키기 위해 장시간의 파인튜닝이나 재학습을 거쳐야 했습니다. 하지만 스킬 디스틸레이션 시스템에서는, 절차 지식이 외부화되어 있기 때문에, 모델 선택이 완전히 유연해집니다.
이것의 가장 실질적인 의미는 비용 효율성 입니다. 매 분기마다, 당신은 어떤 모델이 가장 저렴하고 효율적인지 평가할 수 있습니다. 만약 새로운 오픈소스 모델이 나타나서 같은 성능을 절반 가격에 제공한다면? 간단하게 그 모델로 전환하기만 하면 됩니다. 스킬 파일은 변경할 필요가 없습니다. 데이터를 다시 준비할 필요도 없습니다. 단지 실행 환경을 변경하기만 하면 되는 것입니다.
또한, 큰 모델은 더 이상 실행 모델이 아니라 교사 모델 이 됩니다. 이는 큰 모델을 자주 사용할 필요가 없다는 의미입니다. 큰 모델은 스킬을 작성하고 개선하는 작업에만 사용되고, 실제 일상의 작업은 저렴한 작은 모델이 수행합니다. 이를 통해 전체 시스템의 비용을 획기적으로 줄일 수 있습니다.
더 나아가, 이 라이브러리는 회사의 가장 귀중한 자산 중 하나 가 될 수 있습니다. 스킬 라이브러리는 조직이 어떻게 일하는지를 마크다운으로 기록한 것입니다. 새로운 직원이 입사하면, 이들은 스킬 라이브러리를 읽으며 조직의 절차와 문화를 빠르게 학습할 수 있습니다. 한 직원이 떠나더라도, 그들의 업무 절차는 스킬로 남아있습니다. 장기적으로는, 이 라이브러리가 조직의 제도적 지식 이 되는 것입니다.
결론
AI 개인 에이전트는 이제 단순한 미래의 꿈이 아니라, 현재 구현 가능한 현실입니다. QMD 지식베이스, 스킬 파일, 에이전트 루프로 구성된 세 계층 아키텍처를 통해, 당신은 자신의 일하는 방식을 직접 학습하고 실행하는 개인 운영 시스템을 만들 수 있습니다. 스킬 디스틸레이션이라는 혁신적 기술을 통해, 최신 대규모 모델의 지능을 저렴한 로컬 모델에 전달하면서도 비용은 최소화할 수 있습니다. 매일 밤 자동으로 로그를 분석하고 스킬을 개선하는 시스템은, 시간이 지날수록 더욱 똑똑해집니다. 지금 당신도 이 기술을 활용하여 자신의 업무를 혁신적으로 자동화하고, 조직의 제도적 지식을 체계화할 수 있습니다.
원문출처: Skill Distillation
powered by osmu.app