UC 버클리 연구에 따르면 AI 에이전트의 하네스 설계가 답변 가격을 결정합니다. 동일한 결과를 71% 저렴하게 제공하는 방법을 알아보세요.
AI 에이전트 하네스: 비용 절감의 핵심
핵심 요약
- UC 버클리 연구 결과, 올바른 하네스 설계로 동일한 품질의 결과를 71% 저렴하게 제공 가능
- 하네스는 AI 워크플로우를 반복 가능한 패턴으로 통합하여 고가의 모델 사용을 최소화
- 동일한 계약에서 효율적인 하네스 운영 시 총마진 75% vs 38% 달성 가능
- 저가 모델로의 라우팅은 깊이 있는 고객 이해와 대규모 평가 데이터가 필수
- 비용 우위는 곧 경쟁 해자 가 되어 신속한 사업 확장을 가능하게 함
하네스란 무엇인가?
하네스는 AI 에이전트를 제어하는 시스템으로, 일반적인 워크플로우를 결정론적 코드(deterministic code) 또는 기술로 통합합니다. 각 단계에서 고가의 최첨단 모델을 호출하는 대신, 하네스는 필요한 특정 단계에만 비용이 많이 드는 모델을 사용 하고 나머지는 저렴한 대안으로 처리합니다.
이를 통해 정확도 손실 없이 동일한 결과의 비용을 크게 절감할 수 있습니다.
버클리 연구의 핵심 발견
UC 버클리의 최근 연구 "HarnessTax"에 따르면, 하네스 설계가 답변의 가격을 결정 합니다.
연구팀은 SWE-bench Lite와 Terminal-Bench 2.0에서 7가지 모델을 평가했으며, 결과는 명확했습니다:
- 가장 저렴한 하네스 vs 가장 비싼 하네스: 1.1배에서 5.1배의 비용 배율 차이
- GPT-5.6 Sol의 사례: Claude 코드 사용 시 작업당 1.540달러 → Pi 사용 시 0.441달러로 71% 감소
- 중요한 발견: 42개의 모델-하네스 비교 전체에서 통계적으로 유의미한 품질 차이 없음
즉, 동일한 모델이 동일한 결과를 반환 하지만, 하네스 설계에 따라 비용은 극적으로 달라집니다.
실제 비즈니스 임팩트: 25만 달러 계약의 사례
가상의 시나리오를 통해 하네스의 영향을 명확히 볼 수 있습니다.
상황: 5,000개 회사를 평가하는 연간 25만 달러 계약
두 스타트업의 전략:
- Inferno: 모든 단계에서 최첨단 모델 호출
- Inferefficient: 하네스를 통해 작업을 결정론적 코드로 통합, 비싼 모델은 필수 단계에만 사용
결과:
- Inferno 추론 비용: 13만 1천 달러 → 총마진 38%
- Inferefficient 추론 비용: 3만 7천 달러 → 총마진 75%
(호스팅, 평가, 인력 비용은 동일)
판매 비용 회수 기간:
- Inferno: 15만 달러 계약 당 19개월 필요
- Inferefficient: 15만 달러 계약 당 10개월 필요
Inferefficient는 판매 비용을 회수하는 데 절반의 시간만 필요하므로, 두 배 빠르게 직원을 고용할 수 있습니다.
왜 경쟁자는 따라잡을 수 없는가?
Inferno가 Inferefficient를 모방하려면 심각한 문제 에 직면합니다:
저렴한 모델로의 라우팅은 해당 모델이 어떤 작업을 처리하는지 정확히 알아야만 안전합니다. 이 지식은 수만 번의 작업 관찰을 통해서만 축적됩니다.
또한, 비용 제약으로 인해 Inferno는 8,600회 평가를 넘어서면 추가 평가마다 손실 을 보게 되어, 사용량을 제한해야 합니다. 이는 고객이 가장 가치 있다고 생각하는 순간에 더 나쁜 제품 이 되는 악순환입니다.
반면 Inferefficient는 모든 요청에 '예'라고 말할 수 있습니다.
이렇게 비용 우위와 해자(경쟁 우위)는 동일한 자산 이 됩니다.
효과적인 하네스의 구성 요소
단순히 저렴한 모델을 쓴다고 해서 하네스가 작동하는 것은 아닙니다. 효과적인 하네스는 세 가지 필수 요소를 갖춰야 합니다:
깊이 있는 고객 이해
- 실제 고객 워크플로우와 요구사항을 정확히 파악
관련 평가 모음
- 각 작업에 대해 어느 모델이 효과적인지 검증할 수 있는 대규모 평가 데이터
힐 클라이밍 자동화
- 최적 경로를 찾기 위한 지속적인 개선 프로세스
장기적 경쟁 전망
마진이 100%까지 오르지는 않을 것입니다. 왜냐하면:
- 추론 비용이 저렴해짐에 따라, 구매자들은 에이전트에게 더 많은 것을 요구 하게 됩니다.
- 경쟁 대응으로 시간이 지남에 따라 가격과 마진 균형이 이동 합니다.
하지만 두 회사 간의 격차는 계속 유지 됩니다. 효율적인 하네스를 갖춘 기업은 더 빠르게 성장하고, 더 많은 데이터를 축적하고, 더 강력한 해자를 구축할 수 있기 때문입니다.
결론
AI 에이전트 기반 소프트웨어 회사의 성공은 가장 강력한 모델을 사용하는 것이 아니라, 올바른 하네스 설계 에 달려 있습니다. 동일한 품질을 71% 저렴하게 제공할 수 있는 능력은 단순한 비용 절감을 넘어 비즈니스 성장 속도 자체를 결정 합니다. 효과적한 하네스야말로 가치 있고 방어 가능한 소프트웨어 회사를 위한 진정한 비결입니다.
Original source: The Harness Margin Opportunity
powered by osmu.app