YC 페이퍼 클럽에서 공개한 자체 개선 하네스, 로컬 개인 AI, 업무용 에이전트의 최신 기술 동향과 실제 구현 사례를 알아보세요.
AI 에이전트 하네스: YC가 공개한 차세대 AI 시스템 설계
핵심 요약
- 자체 개선 하네스의 성능: 정적 하네스에서 자체 개선 하네스로 진화하며 18% 성능 향상 달성
- 로컬 개인 AI의 등장: 클라우드 의존도를 줄이고 온디바이스 AI로 약 800배 낮은 운영 비용 달성 가능
- 기업용 에이전트 시스템: YC의 QM 시스템은 Slack, 웹 UI를 통해 이메일 분류, 문서 편집, 데이터 추출 등 다양한 업무 자동화 제공
- 핵심 혁신: 에이전트에게 REPL 접근, 프로그래밍 방식 상호작용, 메모리 관리, 도구 호출 등의 표현력 기능 제공이 성능 차이 결정
정적 하네스에서 자체 개선 하네스로의 진화
AI 에이전트를 구축하는 방식이 근본적으로 변화하고 있습니다. 초기의 정적 하네스(static harness) 시대는 시스템 프롬프트와 도구가 고정되어 있었지만, 최근 6개월간의 발전은 모두 자체 개선 하네스(self-improving harness)에 집중되어 있습니다.
이 진화는 구체적인 성과로 나타났습니다. Claude Opus가 ARC-AGI 벤치마크에서 홀드아웃 데이터로 30%를 달성했을 때, 단순한 하네스(wrapper와 scaffolding)만으로도 95%에 도달 할 수 있었습니다. 이는 하네스가 단순한 프롬프트 엔지니어링을 넘어 실질적인 연구 가치를 제공한다는 증거입니다.
자체 개선 하네스의 작동 원리는 다음과 같습니다. 에이전트가 작업을 수행할 때마다 그 궤적(trajectory)을 기록하고, 이 정보를 활용하여 시스템 프롬프트, 기술(skills), 메모리, 하위 에이전트 구성을 동적으로 업데이트합니다. 이는 마치 에이전트 기반 운영 체제 처럼 작동하는 것으로, 시간이 지남에 따라 점점 더 효율적으로 진화합니다.
로컬 개인 AI: 클라우드 의존도에서 벗어나다
오늘날 대부분의 개인 AI 시스템은 클라우드 LLM에 종속 되어 있습니다. 이는 높은 비용, 개인정보 침해 우려, 많은 에너지 소비를 초래합니다. OpenJarvis는 이 문제를 직접 해결하려는 시도입니다.
현재의 로컬 LLM(Qwen 3.8 27B 등)은 과거 최첨단 모델(Claude 4.6 Opus, 2025년 8월 기준)과 거의 동일한 성능 을 보입니다. Apple의 새로운 Mac Mini 출시 등으로 개인용 가속기가 빠르게 발전하면서, 온디바이스 AI 환경은 빠르게 개선되고 있습니다.
OpenJarvis의 설계 원칙은 다섯 가지 핵심 요소 로 단순화됩니다:
- 지능(Intelligence): Qwen, GPT-OSS, Gemma 등 다양한 LLM 지원
- 추론 엔진(Engine): Ollama, LlamaCPP, vLLM 등의 선택 가능
- 에이전트 로직: 도구와 메모리 관리
- 도구(Tools): MCP 프로토콜 기반의 표준화된 도구 세트
- 학습 시스템: DSPy, 프롬프트 최적화, SFT, LoRA 등
흥미로운 발견은 클라우드 LLM으로 로컬 스택을 최적화하는 방식 입니다. Claude나 ChatGPT가 OpenJarvis 구성 전체를 진단하고 개선 사항을 제안하면, 로컬 LLM의 추론 배포 시 반복 비용을 발생시키지 않으면서도 훨씬 더 효과적인 결과를 얻을 수 있습니다. 이를 통해 약 800배 낮은 운영 비용 과 상당한 지연 시간 단축을 달성했습니다.
업무용 에이전트: YC의 QM 시스템
YC는 자사 직원을 위해 QM(Qualified Manager)이라는 오픈소스 에이전트 하네스를 개발했습니다. 이는 Slack과 웹 UI를 통해 접근 가능하며, 모든 직원이 개인화된 샌드박스에서 작업합니다.
QM의 활용 사례는 다양합니다:
- 이메일 분류 및 자동화
- 법률 및 재무 워크플로우
- 문서 편집
- 내부 데이터베이스에서 데이터 추출
- 라이브 내부 웹 앱 실행
- 이벤트 계획 지원
QM 개발의 진화 과정은 흥미롭습니다. 2025년 1월의 기본 "일반 에이전트"부터 시작하여, 6월에 Claude Code와 Codex 통합, 2026년 1월의 OpenClaw 도입, 4월의 대규모 Hermes 에이전트 플릿 운영까지 진화했습니다.
에이전트 표현력: 성능을 좌우하는 핵심 요소
흥미롭게도, 에이전트에게 제공하는 기능의 표현력 이 성능을 크게 좌우합니다. Prime Agent의 사례에서 보듯이, 모델이 다음을 직접 제어할 수 있을 때 성능이 급격히 향상됩니다:
- REPL 접근: Python 코드를 직접 실행하여 수많은 토큰 절약
- 프로그래밍 방식 상호작용: 정보를 텍스트로 주고받지 않고 프로그램으로 조작
- 하위 에이전트 생성: 복잡한 작업을 병렬로 처리
- 메모리 관리: 장기 상태 유지 및 업데이트
- 다양한 피드백 메커니즘: 자체 반성 및 개선
이러한 기능 중 하나라도 제거하면 에이전트가 처리할 수 없는 기능이 실제로 줄어듭니다. 따라서 좋은 하네스를 구축하는 아이디어는 "상상할 수 있는 가장 표현력이 풍부한 것"이어야 합니다.
장기 작업에서의 성능: 테스트 시간 컴퓨팅
에이전트의 진정한 가치는 단기 작업 이 아닌 수일에서 수주에 걸친 장기 작업 에서 드러납니다. Prime Agent가 7일간 Factorio를 플레이하면서 633개의 하위 에이전트를 생성하고 2,300만 개의 출력 토큰을 사용한 사례가 이를 보여줍니다.
자동 연구 실험에서 관찰된 흥미로운 행동은 모델들이 "루프 외부 실험"을 수행 한다는 점입니다. 즉, CPU에서 저비용 보조 실험을 먼저 수행하고 매개변수를 분석한 후, 고비용의 H200 GPU 실험만 선택적으로 실행합니다. 이는 에이전트가 비용 효율성을 자동으로 최적화 한다는 의미입니다.
조직 내 에이전트의 과제와 해결책
QM의 실제 운영에서 나타난 중요한 문제점들이 있습니다:
1. 에이전트의 포기 경향성: 에이전트가 도구와 환경이 풍부해도 쉽게 포기하는 경향이 있습니다. 이를 해결하기 위해 "그라인드 도구"를 사용하거나 작업에 예산(시간 또는 토큰)을 설정하는 방식이 효과적이었습니다.
2. 사회적 맥락 이해 부족: 인간은 정보 공유의 적절성을 직관적으로 판단하지만, 에이전트는 이를 명시적으로 학습해야 합니다. 따라서 세분화된 권한 시스템 이 필수적입니다. YC는 오래 구축된 강력한 권한 체계가 있어 이 문제를 해결했지만, 많은 조직에는 이것이 부족합니다.
결론
AI 에이전트 하네스는 단순한 프롬프트 엔지니어링을 넘어 운영 체제 수준 의 복잡성으로 진화하고 있습니다. 자체 개선 능력, 로컬 실행 가능성, 표현력 있는 도구 세트가 결합될 때, 에이전트는 진정한 가치를 발휘합니다. 향후 개인 AI와 기업용 에이전트는 더욱 정교해질 것이며, 가장 큰 도전은 기술이 아닌 조직 구조와 권한 관리 가 될 것으로 예상됩니다.
Original source: Self-Improving Harnesses, Local Personal AI And YC's Agent For Work | YC Paper Club
powered by osmu.app