AI 에이전트 구축: 엔터프라이즈 성공 전략

핵심 요약

• 오픈소스 모델의 역할: 워크플로의 약 90%는 지연시간 최적화를 위해 오픈소스 솔루션을 활용하며, 특정 작업에 맞춰 미세조정 시 대규모 모델과 동등하거나 우수한 성능 달성
• 비용-성능-속도의 균형: 특정 작업에 최적화된 작은 모델을 사용하면 비용 절감, 낮은 지연시간, 높은 성능을 동시에 달성 가능
• 기업 배포의 현실: 단순한 모델 제공이 아닌 통합, 테스트, 거버넌스 등 전체 배포 프로세스를 설계해야 함
• 제품 중심 철학: 고객 요구에만 따르지 않고 시장 신호를 제품 로드맵으로 전환하는 것이 장기 성장의 핵심

모델 전략: 작지만 특화된 선택

소수의 최첨단 대규모 모델만으로는 부족합니다. Decagon의 경험에 따르면, 특정 작업(주제 식별, 악성 행위 감지 등)에 최적화된 오픈소스 모델을 미세조정하면 범용 모델보다 뛰어난 성능을 보입니다. 특히 고객 지원을 위한 음성 에이전트 구축 시 지연시간이 중요한 요소가 되자, 작은 모델 사용의 필요성이 명확해졌습니다. 이 접근법으로 현재 워크플로의 약 90%를 오픈소스 솔루션으로 운영하면서도 음성 에이전트의 정확도와 응답 속도가 크게 개선되었습니다. 나머지 10%는 새로운 제품과 프로젝트를 위해 최첨단 폐쇄 모델을 사용하고 있습니다.

기업 배포: 제품을 넘어 인프라까지

AI 에이전트가 기업에서 성공하려면 모델의 기능만으로는 부족합니다. 데이터 거버넌스, 레거시 시스템 통합, 규정 준수 모니터링 등 광범위한 인프라 소프트웨어가 필수입니다. 특히 금융이나 의료 같은 규제 산업에서는 "실제로 이 솔루션을 운영할 수 있을까?"가 핵심 질문이 됩니다. 이를 위해 사내 마이크로튜닝과 평가 체계를 구축해야 하며, 공개 데이터셋이 아닌 기업의 고유한 벤치마크를 개발해야 합니다. 예를 들어, Duet Autopilot은 수백만 건의 대화를 분석해 트렌드를 파악하고 모델을 지속적으로 개선하는 에이전트로, 초기 배포 후의 반복적인 개선을 자동화합니다.

제품 중심 vs. 서비스 중심: 글래스박스 접근

기업과의 빠른 거래 성사는 "글래스박스(Glass Box)" 배포 모델 덕분입니다. 기존의 블랙박스 방식(FDE가 모든 것을 담당)과 달리, 고객이 직접 에이전트를 구축하고 반복할 수 있는 투명한 제품을 제공합니다. 이 차이는 극적입니다. Sierra와 비교했을 때, 기존 고객은 1년에 3개의 여정을 구축했지만 Decagon에서는 1개월에 7개를 구축할 수 있었습니다. 또한 선행 배치 팀이 고객과 함께 학습한 수작업을 지속적으로 제품화하는 과정이 중요합니다. 예를 들어, AOP(Agent Operating Procedure) 작성 자동화, 테스트 생성, 대화 모니터링이 모두 제품 기능으로 통합되었습니다.

성장 단계에서의 우선순위: 성능 우선, 비용은 부수 효과

초기 성장 단계에서는 토크노믹스(토큰 비용) 최적화보다 성능과 지연시간 최적화가 우선입니다. 지연시간과 성능을 개선하면 자연스럽게 비용 이점이 따라옵니다. 실제로 기업들과 협력하면서 고객은 내부 비용보다 에이전트의 성능을 훨씬 더 중시합니다. 초기 고객 중 한 곳은 월간 지원 문의가 5만 건에서 더 많이 증가했습니다. 지원 자동화로 비용이 감소하자, 기업은 팀을 축소하지 않고 고객 경험을 더 개선했기 때문입니다. 이는 제본스의 역설—기술 발전이 오히려 해당 산업의 수요를 증가시키는 현상—의 실제 사례입니다.

기업 영업의 핵심: 창업자 참여와 신뢰

대규모 거래를 빠르게 성사시키는 데는 강력한 초기 영업팀과 창업자의 깊은 참여가 중요합니다. 의사 결정권자들은 Decagon 창업팀의 빠른 실행력을 신뢰하고 선택합니다. 창업자가 매일 약 80%의 시간을 영업에 할애하면서 프로세스 가속화에 집중하고, 모든 부서와 파트너들을 빠르게 움직이도록 추진합니다. 프로젝트를 작은 단계로 나눠 한두 가지 주요 사용 사례부터 배포하는 전략도 효과적입니다. 또한 고객의 배포 여정 전체를 세밀하게 매핑하는 것—모델 개요, 테스트, 초기 출시, 문제 재발 방지—이 기술 기업들이 종종 놓치는 핵심 단계입니다.

결론

엔터프라이즈 AI 애플리케이션의 성공은 최첨단 모델의 성능만으로 결정되지 않습니다. 특정 작업에 최적화된 오픈소스 모델, 기업 배포를 위한 인프라, 투명한 제품 설계, 그리고 신뢰 기반의 고객 관계가 함께 작동할 때 비로소 진정한 가치가 실현됩니다. AI가 일자리를 대체할 수 있지만 새로운 경력 기회를 창출한다는 점도 중요합니다. 결국 기업들이 AI 에이전트로 서비스를 더 쉽게 제공할 수 있게 되면, 사람들은 더 높은 수준의 업무로 전환하게 될 것입니다.

---

Original source: Decagon’s Playbook for Building Enterprise AI Applications

powered by osmu.app