AI 에이전트가 장기 기억을 유지하는 방식을 알아보세요. 사전 점검, 스킬 라이브러리, 감시자 시스템으로 컨텍스트 크기 문제를 해결하는 혁신적 아키텍처입니다.
AI 에이전트 메모리 아키텍처: 컨텍스트 한계를 극복하는 방법
핵심 요약
- 컨텍스트 크기가 아닌 메모리 아키텍처가 진정한 한계: AI 에이전트의 성능 제약은 컨텍스트 윈도우 크기보다는 작업 기억을 어떻게 구조화하느냐에 달려있습니다.
- 사전 점검 시스템으로 필요한 정보만 로드: 쿼리 도착 시 장기 스킬 라이브러리에서 관련 스킬만 선택하여 컨텍스트에 로드하는 방식입니다.
- 로컬 모델과 프론티어 모델의 효율적 분담: 일상적인 작업(약 80%)은 로컬 모델에서 처리하고, 어려운 작업만 고성능 모델로 라우팅합니다.
- 감시자 시스템이 자동 개선 루프 구동: 에이전트의 모든 결정을 모니터링하고 밤새 비동기 추론으로 스킬 라이브러리를 자체 업데이트합니다.
메모리 아키텍처의 핵심: 사전 점검(Preflight) 시스템
AI 에이전트는 사용자 요청을 받으면 즉시 모든 정보를 처리하지 않습니다. 대신 조종사가 이륙 전 경로를 계획하는 것처럼, 에이전트는 사전 점검 단계 를 거칩니다.
예를 들어 "3분기 이사회 자료를 요약해 줘"라는 요청이 들어오면, 그 뒤에는 이메일, PDF, 채팅 등 200,000개의 원시 토큰이 있을 수 있습니다. 사전 점검은 이 모든 정보를 컨텍스트에 무작정 로드하지 않습니다. 대신 작업에 관련된 스킬을 선택적으로 검색 하여 필요한 정보만 컨텍스트 창에 로드합니다. 스킬은 그 자체로 통합된 기억이며, 사전 점검 단계는 에이전트가 올바른 스킬을 선택하는 메커니즘입니다.
스킬 라이브러리: 에이전트의 장기 기억
스킬 라이브러리는 디스크에 색인되어 의도 일치로 검색되는 약 90개의 워크플로 파일 세트입니다. 각 스킬은 한 번 작성되고 버전이 지정된 후 모델에 도구 스키마로 전달됩니다.
이 구조의 장점은 필요한 정보만 효율적으로 활용 할 수 있다는 점입니다. 에이전트가 모든 정보를 항상 메모리에 유지할 필요가 없으므로, 컨텍스트 윈도우 크기의 제약을 우회할 수 있습니다.
로컬 모델과 프론티어 모델의 분담 구조
로드된 컨텍스트는 로컬 Ornith 35B 모델 에서 실행됩니다. Ornith 35B는 Apple Silicon에서 Ollama를 통해 실행되는 350억 개 매개변수급의 오픈 웨이트 모델입니다.
이 모델은 분류, 초안 작성, 도구 선택, 구조화된 추출 같은 일상적인 에이전트 작업 을 처리합니다. 중요한 점은 약 80%의 경우가 일상적인 작업 이라는 것입니다. 반면 더 어려운 작업은 프론티어 모델로 라우팅되어 처리됩니다. 이러한 분담 구조는 시스템 효율성을 크게 높입니다.
감시자 시스템: 자동 개선 루프
감시자는 어떤 스킬이 로드되고, 어떤 결정이 내려지며, 성공률이 어떻게 되는지 모니터링합니다. 모든 사전 점검 결정과 스킬 호출은 이름이 지정되고 버전이 관리되는 아티팩트로 기록됩니다.
밤새 비동기 추론 이 그날의 흔적(trail)을 처리합니다. 이 과정에서 시스템은 다음을 결정합니다:
- 개발해야 할 새로운 스킬
- 기존 스킬 중 결정론적 코드로 전환해야 할 부분
예를 들어, 캘린더 스케줄링 은 좋은 사례입니다. LLM이 비어 있는 시간과 바쁜 시간을 비교하기보다는 Rust 같은 결정론적 코드가 훨씬 효율적으로 처리할 수 있습니다. 시스템은 이러한 패턴을 감지하고 스킬 라이브러리를 자동으로 다시 작성하여 자체 개선 루프에서 스스로를 재시작합니다.
흥미로운 점은, 어제가 감시자가 어떤 개선 사항도 제안하지 않은 첫날이었다는 것입니다. 이는 시스템이 특정 개선 수준에 도달하면 정체기에 이른다는 것을 시사합니다. 진정으로 새로운 예외 상황만이 그때부터 사람의 도움이 필요합니다.
결론
AI 에이전트의 메모리 한계는 컨텍스트 크기 자체가 아니라 정보를 어떻게 구조화하고 활용하느냐 에 있습니다. 사전 점검, 스킬 라이브러리, 감시자 시스템의 조합은 에이전트가 방대한 정보 속에서도 필요한 것만 효율적으로 선택하고 실행하며 자동으로 개선되도록 합니다. 이러한 아키텍처는 AI 에이전트의 실제 성능을 한 단계 업그레이드하는 열쇠입니다.
Original source: The AI Preflight Check
powered by osmu.app