대기업이 AI 도입에 실패하는 이유: CEO가 말하는 현실

핵심 요약

95% AI 프로젝트 실패의 진짜 원인: 중앙 집중식 의사결정과 조직 구조 변경 없이 AI만 도입하려는 시도
스타트업 vs 대기업의 격차: 엔지니어링 중심의 민첩한 워크플로우 vs 레거시 시스템과 규제 중심의 대기업 체계
데이터와 통합의 악순환: 레거시 시스템이 복잡하게 얽혀있어 AI 에이전트가 필요한 정보에 접근 불가
시스템 아키텍처 마비: AI 기술 변화 속도가 빨라서 어떤 아키텍처에 투자할지 결정 불능 상태
인간 중심 재설계 필요: AI를 단순 소프트웨어가 아닌 '직원'처럼 조직에 통합해야 성공 가능

왜 대기업의 AI 프로젝트는 망할까?

MIT 연구에 따르면 대기업의 AI 도입 시도 중 95%가 실패한다고 알려져 있습니다. 하지만 이 통계는 기업들이 ChatGPT 같은 생성형 AI를 엄청난 효율성으로 이미 활용하고 있다는 현실과 모순됩니다. 진짜 문제는 어디에 있을까요?

문제의 핵심은 조직 구조와 의사결정 방식의 괴리입니다. Box의 Aaron Levie CEO가 지적한 바와 같이, 이사회는 CEO에게 "AI를 더 도입해야 한다"고 압박합니다. 그러면 CEO는 "AI 컨설턴트를 고용하겠다"며 응답하고, 조직의 운영 방식을 바꾸지 않은 채 중앙 집중식 프로젝트를 시작합니다. ** 결과는 뻔합니다. 아무도 작동 방식을 이해하지 못하는 채 프로젝트는 실패로 끝납니다.**

이것은 단순한 기술 문제가 아닙니다. 이것은 조직 문화와 운영 방식의 변혁이 필요한 경영 문제 입니다.

실리콘밸리 vs 나머지 세상의 거대한 격차

엔지니어링 문화의 완전한 차이

Silicon Valley의 스타트업과 나머지 기업 세계 사이에는 거대한 직무 방식의 격차가 존재합니다. 스타트업 엔지니어가 성공하는 이유는 다음과 같습니다:

기술 자율성: 엔지니어가 자신의 도구를 선택하고 스택을 결정할 수 있음
빠른 피드백 루프: 문제가 생기면 즉시 디버깅하고 시스템을 자신에게 맞게 조정
검증 가능한 작업: 코드 실행과 테스트로 즉시 결과 확인 가능
작은 규모의 시스템: 레거시 코드나 통합 문제가 상대적으로 적음

반면 대기업의 지식노동은 완전히 다릅니다:

기술 지식 부족: 사용자들이 기술에 대한 깊이 있는 이해 부족
파편화된 데이터: 여러 시스템에 산재되어 있고 상호연결이 약함
레거시 시스템 의존성: 10년 이상 누적된 시스템들이 서로 얽혀있음
중앙 집중식 의사결정: 개인 주도의 혁신보다 조직 전체의 합의 필요

이 차이 때문에 AI 에이전트가 스타트업에서는 작동하지만, 대기업에서는 작동하지 않습니다. 스타트업은 처음부터 AI 에이전트가 필요한 데이터 접근과 시스템 권한을 설계했습니다. 대기업은 10년을 그렇게 설계하지 않았습니다.

레거시 통합의 악순환: AI가 해결하지 못하는 문제

대기업의 통합 지옥

음성 인식 기술의 아버지로 불리는 스티브 신노프스키 전 마이크로소프트 임원은 이렇게 지적합니다:

"천 명 이상의 직원이나 10년 이상 된 모든 기업은 그저 통합되기를 기다리는 수많은 것들의 덩어리입니다. 그리고 그냥 통합될 거라고 말할 수는 없습니다. AI는 사실 어떤 것도 통합하는 데 도움이 되지 않습니다."

이것이 바로 대기업이 겪는 근본적인 문제입니다. 대기업은:

고객 정보가 CRM에 저장되고
재무 데이터는 ERP에 있으며
프로젝트 정보는 별도의 PM 도구에 흩어져 있고
각 시스템마다 다른 접근 제어와 권한 구조가 있습니다

AI 에이전트가 이 모든 데이터에 접근해야 실제 가치를 만들 수 있습니다. 하지만 현재의 대기업 시스템 아키텍처로는 이것이 거의 불가능합니다.

접근 제어와 보안의 악몽

더 심각한 문제는 접근 제어 체계의 부재 입니다. 많은 대기업 레거시 시스템은 "강력하고 권위 있는 접근 제어"가 없습니다. 대신 사람이 직접 동료에게 정보를 요청하는 수동 프로세스 에 의존합니다.

AI 에이전트가 단순히 인간 사용자와 동일한 권한을 부여받으면:

에이전트는 "누가 이 정보를 갖고 있는지" 모릅니다
에이전트는 자신이 접근할 수 없는 데이터에서 막힙니다
에이전트는 진정한 정보 출처가 아닌 보조 시스템을 통해 작업합니다
결과적으로 에이전트는 잘못된 데이터를 기반으로 의사결정을 합니다

이것이 바로 기업들이 지금 당장 겪어야 할 실제 과제입니다. AI 기술 자체의 문제가 아니라, ** 조직의 시스템과 프로세스 자체의 문제**입니다.

아키텍처 의사결정의 마비: "어떤 경로를 선택할까?"

급변하는 기술이 만드는 전략적 불안

흥미롭게도 대기업이 겪는 또 다른 심각한 문제는 AI 에이전트 배포 아키텍처를 결정하지 못하는 것 입니다.

과거 엔지니어링 팀에서는 "어떤 프로그래밍 언어를 사용할 것인가", "어떤 아키텍처 경로를 택할 것인가"에 대한 논쟁으로 프로젝트가 몇 개월씩 지연되곤 했습니다. 하지만 그것은 결국 정해지는 문제였습니다.

AI 시대에는 상황이 훨씬 더 악화되었습니다:

에이전트 하네스가 어디에 있을까? (컴퓨터 내부? 외부? 클라우드?)
어디서 실행할까? (호스팅? 온프레미스?)
어떤 도구에 접근할 수 있을까?
어느 에이전트 프레임워크를 선택할까? (LangChain? CrewAI? 자체 개발?)

현재 이 아키텍처들은 완전히 대체 가능한 기술이 아닙니다. 3~4년 전 AI에서 잘못된 선택을 한 기업들은 현재 ** 전략적으로 의미 있지 않은 경로에 투자한 큰 손해**를 안고 있습니다.

이것이 의사결정을 마비시킵니다. CIO와 AI 팀은:

"에이전트 오케스트레이션을 위해 여러 패러다임 중 어떤 것을 선택할 것인가? 잘못 선택하면 3년 후 새로 구축해야 하는 건가?"

라는 불안감으로 무엇도 결정하지 못합니다.

소프트웨어 제품의 근본적 재구축

흥미로운 현상은 소프트웨어 제품 회사들이 6개월 만에 제품 철학을 완전히 바꾸고 있다 는 것입니다.

6개월 전: "AI를 제품에 통합하자" → 채팅 기능 추가, 하이브리드 모델

현재: "AI를 사용자로 보자" → 기존 제품을 CLI 도구로 노출, AI가 이를 활용하는 에이전트 역할

이것은 단순한 기능 추가가 아닙니다. 이것은 ** 깊은 아키텍처적, 정신적 변화**입니다. 기업들은 본질적으로 제품을 1년에 두 번 재설계하고 있습니다.

AI 에이전트를 "직원"처럼 취급해야 하는 이유

소프트웨어 중심 사고의 한계

많은 기업이 AI 에이전트를 "새로운 유형의 소프트웨어" 로 생각합니다. 하지만 이것은 근본적인 착각 입니다.

Aaron Levie는 이렇게 주장합니다:

"에이전트는 소프트웨어처럼 설계된 시스템과 잘 통합되지 않습니다. 반면 에이전트를 인간처럼 보고 인간을 위해 마련된 메커니즘을 활용하면 훨씬 더 쉽게 통합할 수 있습니다."

왜 그럴까요?

LLM은 비결정적이고, 복잡성의 롱테일을 다룹니다. 이것은 ** 인간도 하는 일**입니다. 기업은 40년 동안 이러한 복잡한 인간을 다루기 위해:

프로세스와 인터페이스 를 구축했습니다
접근 제어 메커니즘 을 마련했습니다
누가 어떤 정보에 접근할 수 있는지 정의했습니다

AI 에이전트 온보딩: 새로운 직원 같은 접근

Aaron Levie가 제안하는 방법은 에이전트를 실제 직원처럼 조직에 통합하는 것 입니다:

에이전트에게 고유한 이메일 주소 부여
조직 구조에 따른 역할과 권한 설정
각 부서의 담당자에게 "이 에이전트와는 이렇게 협업합니다"라고 알리기
CEO가 기업 문화에 대해 설명하는 온보딩
필요한 정보의 위치를 학습하도록 문서화

이렇게 하면 에이전트는:

인간처럼 시스템에 로그인 하고 접근할 수 있습니다
접근 제어 정책 을 자동으로 준수합니다
도움이 필요할 때 누구에게 연락해야 하는지 학습합니다
기업의 워크플로우 를 이해하고 따릅니다

제품 아키텍처의 미래: 헤드리스(Headless) 전환

Salesforce의 완전한 헤드리스 전환

최근 Salesforce가 "완전한 헤드리스" 접근 방식으로 전환 했다는 발표는 AI 시대의 소프트웨어 아키텍처 변화를 보여주는 신호 입니다.

헤드리스란:

사용자 인터페이스를 제거
API만 노출
AI 에이전트가 프로그래매틱하게 상호작용

이것의 의미는 무엇일까요?

과거: 영업사원이 CRM UI에 로그인해서 고객 정보를 수동으로 조회

현재: AI 에이전트가 CRM API를 통해 1000개의 고객을 동시에 분석

이것은 거대한 변화입니다. 에이전트는 인간 사용자보다 ** 100배 또는 1000배 높은 비율**로 상호작용을 확장할 수 있습니다.

하지만 현실은 복잡합니다

그런데 문제가 있습니다:

모든 소프트웨어가 헤드리스 API를 제공하지는 않습니다
- Zillow 같은 플랫폼들은 헤드리스 브라우저를 감지하는 스크래핑 방지 조치가 있습니다
- 일부 레거시 시스템은 API가 전혀 없습니다
에이전트는 여전히 "인간처럼" 작동해야 할 수 있습니다
- UI를 통해 상호작용하는 것처럼 보이게 시뮬레이션
- 인간 중심의 비헤드리스 애플리케이션과의 작업 능력
API가 완성되기까지는 혼합 모델이 필수
- 헤드리스 API로 가능한 것 (즉시)
- UI 시뮬레이션으로 대처할 것 (임시방편)

미래는 순수 헤드리스가 아닐 가능성이 높습니다. 대신 ** 두 가지의 혼합 모델**이 계속될 것입니다.

인프라와 아키텍처의 새로운 도전

500배 트래픽 증가에 견딜 수 있는가?

스티브 신노프스키가 제시하는 가장 현실적인 문제:

10,000명의 인간 사용자를 위해 설계된 SaaS 시스템이 갑자기 10,000개의 에이전트로부터 500배 더 많은 요청 을 받는다면?

시스템은 붕괴합니다.

이것은 과거 BI(비즈니스 인텔리전스) 도구가 ERP 데이터를 쿼리하기 시작했을 때 일어났던 일과 같습니다:

과거 아키텍처: 사람이 하루에 10개 보고서 조회
새로운 BI 도구: 자동으로 1000개 보고서 동시 조회
결과: 데이터베이스 붕괴, 네트워크 대역폭 고갈, 처리 시간 폭증

AI 에이전트도 동일한 문제를 야기합니다:

"우리는 어떤 고객에 대해서도 500배의 네트워크 대역폭과 처리량을 감당할 수 없습니다. 그럼 어떻게 해야 할까요?"

해결책: 아키텍처 재설계

다행히 컴퓨터 과학은 이미 이 문제들의 해결책을 알고 있습니다:

캐싱: 읽기 전용 데이터는 캐시하면 됨
상태 관리: 변경 가능한 전역 공유 상태의 한계 이해하고 우회
비동기 처리: 즉시 응답이 필수가 아닌 작업은 비동기로 처리
로드 밸런싱: 요청을 여러 서버에 분산

하지만 대기업은 이렇게 설계하지 않았습니다. 기존 시스템은 "10,000명의 인간 사용자"를 기준으로 설계되었기 때문입니다.

따라서 기업들은 이제 다음을 선택해야 합니다:

A) 시스템을 완전히 재설계 (매우 비용 많이 듦)
B) 에이전트 사용량을 제한 (가치 감소)
C) 에이전트와 사람의 작업을 동적으로 분배 (차선책이지만 현실적)

AI 코딩의 엔트로피 문제: 빠르면 더 많은 문제가 생긴다

코드는 더 많아지지만, 품질은?

놀랍게도, AI 코딩이 가져오는 문제는 "실제로 엔지니어링 입무를 없앤다"는 것이 아닙니다.

그것보다 더 심각한 문제가 있습니다: AI로 코딩하면 시간이 지남에 따라 코드가 상당히 나빠집니다.

Aaron Levie는 Box에서 실제로 경험한 예시를 듭니다:

"우리가 출시한 새로운 기능은 AI가 80~90%를 구축했습니다. 하지만 출시를 지연시킨 것은, 우리가 만든 것에 우발적인 코드 주입이나 보안 취약점이 발생하지 않도록 전체 보안 검토를 해야 했기 때문입니다."

결과:

AI 코딩: 극도로 빠름 (80~90% 완성)
보안 검토: 여전히 느림 (병목)
코드 검토: 여전히 필수
최종 생산성 향상: 23배 (510배가 아님)

왜 이런 일이 생길까요?

AI는 "빨리 작동하는" 코드를 만들지만, "올바르게 작동하는" 코드는 아닙니다
AI가 만든 코드는 엔트로피(복잡도)를 증가시킵니다
증가된 복잡도를 관리할 엔지니어가 필요합니다

따라서 AI 코딩은 역설적으로 더 많은 엔지니어를 필요로 합니다. 더 적게가 아니라.

일자리는 정말 없어질까? 역사를 보면 답은 "아니오"

과거 기술 혁명이 보여주는 패턴

1981년 기사: "Fighting the Paper Chase"

당시 비관적인 예측: 컴퓨터가 종이 양식을 자동화하면 사무직 직원이 줄어들 것

1965년 IBM: 컴퓨터가 회계사를 없앨 것이라고 홍보

1980년대 초: 법학생들이 컴퓨터를 교실로 가져가자 교수들이 쫓아냄

"법률 논문은 손으로 써야 한다"

결과는?

30년이 지난 지금:

회계사는 1965년보다 훨씬 많습니다
변호사도 1980년대보다 훨씬 많습니다
다만 그들의 업무는 완전히 변했습니다

왜 이렇게 되었을까?

기술은 기존 일을 자동화하지만, 새로운 일을 창출합니다
- 컴퓨터 이전: 회계사는 하루 종일 숫자만 더함
- 컴퓨터 이후: 회계사는 복잡한 분석을 수행하고 전략을 짬
자동화되면 더 복잡한 작업이 가능해집니다
- 단순 작업 자동화 → 더 높은 수준의 일 창출
- 회계사: 단순 계산 제거 → 컨설팅, 전략 분석 추가
생성된 정보가 많아질수록 그를 소비하고 활용할 사람도 많아집니다
- AI가 100배 더 많은 보고서를 생성 → 그 보고서를 분석할 사람 필요
- 기업의 본질: "정보에 따라 행동하는 것"

현재 채용 데이터가 말해주는 것

흥미롭게도 현실의 데이터는 낙관적입니다:

가장 빠르게 채용하는 회사들: AI 네이티브 기업들
인프라 회사들의 성과: 정체되었던 회사들까지 모두 환상적인 성과
이유: 현재 훨씬 더 많은 소프트웨어가 작성되고 있음

따라서 결론은 명확합니다:

"소프트웨어는 더 많아지고 있습니다. AI 네이티브 기업들이 가장 많이 채용하고 있으며, 따라서 우리는 확장 국면에 있습니다."

AI 도입을 성공시키기 위한 실전 전략

스타트업이 해야 할 일

좋은 소식: 스타트업이라면 지금이 새로운 기회의 시점입니다.

왜냐하면 처음부터 모든 문제를 알 수 있기 때문입니다. 따라서:

AI 에이전트가 필요한 데이터 접근 체계를 처음부터 설계
강력한 접근 제어와 권한 구조 를 포함
API 중심의 아키텍처 로 에이전트 작동을 염두에 두고 설계

대기업이 해야 할 일

현실은 더 어렵습니다. 하지만 가능합니다:

시스템 업그레이드와 현대화
- 레거시 시스템 평가
- 점진적 마이그레이션 계획
- API 노출 우선순위 결정
데이터 거버넌스 개선
- 올바른 데이터 소스 확인
- 접근 제어 체계 재정의
- 에이전트가 접근할 수 있는 데이터 범위 결정
조직 문화 변화
- 개인과 팀 수준의 AI 도입 장려
- 하향식이 아닌 상향식 혁신 지원
- 실패를 용인하는 문화 조성
정보 검색부터 시작
- 먼저 "정보를 찾아서 사람에게 제시하는" 에이전트부터
- 나중에 "실제로 행동하는" 에이전트로 확대

OpenAI-Accenture 파트너십의 의미

일부에서는 비꼬아서 말합니다:

"사람을 자동화할 에이전트를 구현하려면 사람이 필요하다니"

하지만 이것이 현실입니다.

대기업은 변경 관리, 시스템 구현, 기술 통합 과정을 거쳐야 합니다. 에이전트가 실제로 자동화 작업을 수행하려면 ** 엄청난 양의 인간의 노력**이 필요합니다.

이것은:

길고 지루해 보이는 작업처럼 보입니다
하지만 수십 년 동안 지속될 비즈니스 기회 입니다
기존 기업뿐만 아니라 새로운 AI 기업들에도 역할이 있습니다

미래의 직무: 새로운 형태의 가치 창출

실리콘밸리 편협성의 위험

흥미로운 관찰: 실리콘밸리에서는 "엔지니어링 직업"을 Google이나 Meta, 스타트업에서 하는 일로만 생각합니다.

하지만 세상은 훨씬 더 넓습니다:

John Deere: 자동 트랙터를 만들려고 AI를 도입
Caterpillar: AI 시스템을 도입하여 중장비를 지능화
Eli Lilly: 더 많은 제약 치료제를 설계하기 위해 AI 활용
5,000개의 다른 회사들: 자신들의 비즈니스를 자동화하기 위해 AI 활용

미래의 엔지니어는:

소셜 미디어 알고리즘을 개선하지 않을 수 있습니다
대신 John Deere에서 지능형 농업 알고리즘을 개선 할 수 있습니다
또는 제약사에서 신약 설계를 자동화할 수 있습니다
또는 제조업체에서 생산 최적화 시스템을 구축할 수 있습니다

마크 안드레센의 말처럼:

"소프트웨어가 세상을 집어삼킬 것이다"

이 의미는 "모든 사람이 많은 소프트웨어를 갖게 될 것" 입니다.

새로운 역할의 창출

AI 시대의 직무는 다음과 같이 변합니다:

에이전트 설계자: 에이전트의 목표와 역할 정의
에이전트 매니저: 에이전트의 성과 모니터링
데이터 아키텍트: 에이전트가 접근할 수 있는 데이터 구조 설계
윤리 및 거버넌스 전문가: 에이전트의 의사결정이 올바른지 검토
도메인 전문가 (강화): 에이전트가 생성한 결과를 해석하고 판단

결론: 소프트웨어 엔지니어링으로 가지 말라는 예측은 크게 틀렸습니다.

최종 통찰: 기술이 변하지만, 인간은 여전히 필요하다

좋은 소식과 어려운 진실

좋은 소식:

일자리는 없어지지 않을 것입니다
오히려 새로운 형태의 직무가 창출됩니다
AI 도입이 가능한 기업은 새로운 기회를 갖습니다

어려운 진실:

변화는 빠릅니다
조직 재구조가 필수입니다
많은 시간과 노력이 필요합니다
실패할 가능성도 여전히 높습니다

과거와 현재의 거대한 공통점

변호사 이야기가 이 모든 것을 설명합니다:

1980년대: 컴퓨터 사용 변호사는 비전문가라고 낙인
현재: 변경 추적, 인용 데이터베이스 없이 일하는 변호사는 경쟁 불가
결과: 변호사는 더 많아졌고, 더 전문화되었습니다

AI 시대도 마찬가지입니다:

AI를 거부하는 기업과 사람은 점점 뒤떨어집니다. 하지만 AI를 도입한다고 해서 모든 직무가 없어지지는 않습니다. 오직 변화합니다.

그리고 변화에 적응하는 것이 생존의 조건입니다.

결론

대기업이 AI 도입에 실패하는 이유는 기술 때문이 아닙니다. 조직 구조, 시스템 아키텍처, 운영 방식의 변혁이 없이 기술만 추가하려고 하기 때문입니다.

성공하는 기업들의 공통점은:

AI를 직원처럼 취급 하고 시스템에 통합
데이터와 접근 제어를 정리 하고 현대화
점진적으로 시작 하되 장기적으로 준비
인간을 배제하지 않고 강화 하는 방향 추구

AI의 미래는 스타트업의 빠른 확산 → 대기업의 느린 도입으로 진행될 것입니다. 그 과정에서 일자리는 변하지만, 완전히 없어지지는 않을 것 입니다. 대신 더 높은 수준의 직무로 진화합니다.

앞으로 해야 할 일은 명확합니다. 기술을 받아들이고, 조직을 변화시키고, 인간 중심의 프로세스를 유지하는 것입니다.

Original source: Box CEO: Why Big Companies Are Falling Behind on AI | a16z

powered by osmu.app

(a16z) 대기업이 AI 도입에 실패하는 이유: 시스템 통합 문제