AI 제품 관리자가 갖춰야 할 5가지 핵심 역량과 단계별 학습 로드맵을 공개합니다. 스타트업 창업자도 따라 할 수 있는 실용적인 AI PM 전략을 지금 알아보세요.
AI 제품 매니저 되기: 2026년 필수 역량 가이드
핵심 요약
- AI 제품 관리자의 역할은 기존 PM과 완전히 다릅니다 - 확률적 결과를 다루고, 불확실성을 관리하는 것이 핵심입니다
- 5가지 필수 역량 - AI 플라이휠, 데이터 과학, 생성형 AI, 프로토타이핑, RAG 시스템을 이해해야 합니다
- 기술 학습은 깊이 있게 - 단순 프롬프트 작성을 넘어 신경망의 작동 원리를 파악해야 경쟁력을 확보합니다
- 직접 만들고 테스트하기 - AI 지원 도구로 오후 한나절 안에 프로토타입을 만들 수 있는 능력이 차별화 요소입니다
- 면접부터 실무까지 준비하기 - 이론을 복잡한 현실에 적용할 수 있는 실력이 최종 성공의 열쇠입니다
당신의 불안감은 충분히 현실입니다
스타트업 창업자로서 제품 관리자들의 불확실한 미래에 대해 걱정해 본 적 있나요? 그렇다면 당신의 직감은 정확합니다.
지난 몇 년간 제품 관리라는 업무는 비교적 안정적이었습니다. 사용자 공감 능력, 애자일 방법론 이해, 효과적인 백로그 우선순위 지정, 기본적인 SQL 쿼리 실행 능력 정도면 충분했습니다. 좋은 PRD(제품 요구사항 문서)를 작성하고 이해관계자를 잘 관리한다면 성공한 것이나 마찬가지였죠.
하지만 그 시대는 이제 끝나가고 있습니다.
우리는 거의 모든 제품이 AI를 단순한 추가 기능이 아니라 핵심 기능으로 갖게 될 획기적인 전환점에 들어섰습니다. 이 변화는 시장에 엄청난 공백을 만들었습니다.
기업들이 찾고 있는 것은 단순히 "AI 애호가"나 링크드인 프로필에 "AI 지원 제품 관리자"라고만 적어 놓은 사람이 아닙니다. 대신 그들은 확률적 제품을 실제로 구축하고, 측정하며, 확장하는 방법을 손에 익힌 제품 관리자를 절실히 필요로 하고 있습니다.
현실의 문제는 무엇일까요?
대부분의 기존 PM들은 기술적인 격차 앞에서 위축되고 있습니다. "신경망", "RAG 시스템", "벡터 데이터베이스"와 같은 용어를 보는 순간 얼어붙어 버립니다. 많은 사람들은 경쟁하기 위해 컴퓨터 과학 석사 학위를 다시 따야 한다고 생각합니다.
저는 현재 시장에서 정확히 어떤 기술이 부족한지, 그리고 어떤 능력을 갖춘 PM들이 가장 많이 필요한지 분석하는 데 몇 개월을 투자했습니다. 그 결과는 놀라웠습니다. 필요한 것은 깊이 있는 기술 이해와 실무 중심의 실행 능력입니다. 수학 박사학위는 아닙니다.
역량 #1: AI 제품은 기존 제품과 근본적으로 다르다는 것을 이해하기
AI와 기존 소프트웨어의 본질적 차이
기존 PM들이 AI로 전환할 때 저지르는 가장 큰 실수 는 제품 수명 주기가 동일하다고 가정하는 것입니다.
기존 소프트웨어에서는 매우 간단합니다. 버튼이 작동하지 않으면? 그건 버그입니다. 엔지니어가 코드를 수정하면? 100% 작동합니다. 이분법적입니다.
AI에서는 완전히 다릅니다. AI는 확률을 다룹니다. 결과는 확정적이지 않고, '어쩌면'에 가깝습니다.
예를 들어, AI 챗봇은 95%의 경우 훌륭한 답변을 제공합니다. 하지만 나머지 5%의 경우는 완전히 엉뚱한 답변(AI 업계에서는 이를 "환각"이라고 부릅니다)을 할 수 있습니다.
일반적인 PM은 그 5%의 실패를 보고 즉시 당황하며, 버그를 제거하듯이 그것을 완전히 없애려고 합니다. 반면 AI PM은 그 불확실성 자체를 관리하는 것이 자신의 모든 업무의 중심 이라는 것을 압니다.
이 근본적인 사고방식의 전환이 없다면, 당신은 AI 제품을 성공적으로 이끌 수 없습니다.
스킬 1-A: AI 플라이휠 구축하기
이제 핵심적인 질문을 던져봅시다. 당신의 제품이 더 많은 사람이 사용할수록 더 똑똑해지나요?
만약 그렇지 않다면, 그 제품은 장기적으로 실패할 가능성이 높습니다. 이 개념을 "AI 플라이휠" 이라고 부릅니다.
AI 플라이휠의 작동 방식을 이해해봅시다. 훌륭한 AI PM은 사용자와의 상호작용에서 데이터를 수집하는 방식으로 제품을 설계합니다. 이 수집된 데이터는 다시 모델에 투입되고, 그 모델은 더욱 정교해집니다. 결과적으로 다음 사용자 상호작용은 더 나아지고, 이는 더 나은 데이터를 생성하고... 이런 식으로 무한의 순환 고리(플라이휠)가 형성되는 것입니다. 이것이 복합적인 경쟁 우위 를 만듭니다.
스타트업 창업자 입장에서 생각해봅시다. 당신의 AI 제품이 1,000명의 사용자로 시작했을 때, 그 1,000명이 생성한 데이터로 인해 모델이 충분히 발전하나요? 10,000명이 되면 어떻게 되나요? 만약 이 질문에 명확히 답할 수 없다면, 당신은 AI 전략이 없는 것입니다.
화이트보드에 당신의 제품의 AI 플라이휠을 명확히 그리고 설명할 수 있어야 합니다. 그것은 투자자와의 미팅에서도, 엔지니어링 팀과의 기획 회의에서도 가장 먼저 나와야 하는 개념입니다.
실제로 성공한 회사들을 보면 이 플라이휠을 명확히 설계했습니다. Netflix는 시청 데이터 → 추천 모델 개선 → 더 정확한 추천 → 더 많은 시청 시간 → 더 많은 학습 데이터라는 견고한 플라이휠을 갖추고 있습니다. Spotify도 마찬가지입니다. 반면 많은 실패한 AI 스타트업들은 이 루프를 애초에 설계하지 않았습니다.
스킬 1-B: AI 제품 아키텍처와 데이터 파이프라인 설계
또한 당신이 이해해야 할 중요한 개념이 있습니다. 데이터는 이제 인프라의 일부입니다.
기존 소프트웨어 PM은 UI와 기능을 관리했습니다. AI PM은 그것뿐 아니라 이 시스템을 구동하는 데이터 파이프라인 까지 관리해야 합니다.
데이터는 어디에서 오나요? 깨끗하고 정확한가요? 편향되어 있진 않나요? 개인정보는 보호되고 있나요? 이러한 질문들이 모두 당신의 책임 범위입니다.
일반적인 PM은 데이터 과학자들이 나쁜 데이터에 대해 불평할 때까지 기다립니다. 그 시점에는 이미 프로젝트가 수주일 지연되어 있을 가능성이 높습니다.
AI PM은 다릅니다. 당신은 첫날부터 깨끗한 데이터 수집을 보장하도록 제품을 선제적으로 설계해야 합니다.
예를 들어, 추천 엔진을 구축한다면, 사용자 클릭, 구매, 거부 등의 모든 신호를 자동으로 수집하는 시스템을 처음부터 내장해야 합니다. 나중에 "오, 우리가 이 데이터를 수집했어야 했네요"라고 말해서는 안 됩니다. 이때는 이미 수개월의 데이터가 손실된 상황입니다.
데이터 파이프라인을 제대로 구축하지 않으면, 어떤 고급 알고리즘도 당신을 구할 수 없습니다. 이것이 여름 인턴이 작성한 ML 알고리즘과 세계 최고의 데이터 과학자가 작성한 알고리즘의 차이보다 데이터의 품질이 훨씬 더 중요한 이유입니다.
역량 #2: 데이터 과학자가 아니면서 "데이터 과학"을 말하기
이제 불편한 진실에 직면해봅시다. 수학입니다.
많은 비기술 배경의 PM들이 이 부분에서 포기합니다. "AI를 이해하려면 수학을 배워야 해"라고 생각하고, 그다음 대학 미적분 교과서를 펼쳤다가 금방 포기해버립니다.
하지만 여기서 좋은 소식이 있습니다. 당신은 다변수 미적분학을 알 필요가 없습니다. 당신이 알아야 하는 것은 ** 선형 회귀와 로지스틱 회귀의 차이**입니다. 이것들을 이해하면 됩니다.
왜 이 기본기가 필수인가?
흔한 시나리오를 생각해봅시다.
엔지니어링 팀이 당신에게 와서 말합니다. "새로운 모델을 시도했는데, 정확도가 낮아서 프로덕션에 배포할 수 없습니다."
역량이 부족한 PM은 이렇게 대답합니다. "알겠습니다. 정확도가 높아지면 알려주세요." 그다음에는 단순히 기다립니다.
AI PM은 이렇게 묻습니다:
- "정확도를 측정하기 위해 어떤 지표를 사용하고 있나요? R-제곱인가요, 아니면 다른 지표인가요?"
- "혹시 모델이 과적합되지는 않았나요?"
- "올바른 특성 선택을 사용했나요? 어떤 입력 데이터를 모델에 제공했나요?"
이 질문들은 단순히 기술적인 용어를 사용하는 것이 아닙니다. 당신이 엔지니어링 팀의 제안이 말도 안 되는 경우 그것을 지적할 수 있을 만큼의 기술적 유창성이 필요하다는 뜻입니다.
더 중요하게는, 팀이 어려운 상황에 처했을 때, 당신이 더 나은 해결책으로 이끌 수 있어야 합니다.
예를 들어, 엔지니어가 "정확도를 높이기 위해 더 복잡한 신경망을 만들어야 한다"고 주장하지만, 당신이 기본 개념을 이해한다면 "먼저 특성 엔지니어링을 개선해보자. 더 간단한 로지스틱 회귀로도 충분할 수 있다"는 방향으로 팀을 이끌 수 있습니다.
도구 상자에 어떤 도구가 있는지 알아야만 특정 사용자 문제에 어떤 도구를 꺼내야 할지 알 수 있습니다.
직관에 기반한 학습
비기술적 배경을 가진 사람들에게 이 부분이 가장 부담스러울 수 있습니다. 하지만 걱정하지 마세요. 복잡한 표기법을 제거하고 직관에 집중하면 됩니다.
선형 회귀 를 이해한다는 것은 "Y = mX + b"라는 공식을 암기하는 것이 아닙니다. 대신 "광고 지출이 증가하면 판매량이 어떻게 변하는가?"라는 관계를 이해하는 것입니다.
로지스틱 회귀 는 "이 고객이 우리 제품을 구매할 확률은 얼마나 될까?"라는 질문에 답하는 방법입니다.
의사결정 트리 는 "이 고객의 신용도를 판단하기 위해 어떤 질문들을 순서대로 물어볼까?"라는 식으로 생각하면 됩니다.
핵심은 이런 알고리즘을 실제 사례에 적용하는 것 입니다. 당신은 "아, 이런 상황에서는 단순 회귀로 충분하지만, 저런 상황에서는 의사결정 트리가 필요하구나"라고 맥락을 이해 해야 합니다.
R-제곱, MLE, AUC-ROC 같은 지표들을 배우는 것은 수학 시험을 통과하기 위함이 아닙니다. 그것은 당신의 제품이 실제로 사용자에게 제공될 준비가 되었는지를 객관적으로 평가하기 위함 입니다.
스타트업 창업자의 관점에서 생각해봅시다. 당신이 엔지니어링 팀에 "이 추천 모델을 배포할 준비가 됐나?"라고 물었을 때, 엔지니어가 "R-제곱이 0.85입니다"라고 답합니다. 당신이 이것이 무엇을 의미하는지 이해하지 못한다면, 당신은 의사 결정을 할 수 없습니다. 배포할까? 더 기다릴까? 당신은 손놓고만 있게 됩니다.
하지만 당신이 기본 개념을 이해한다면, "0.85는 괜찮은 지표지만, 우리의 사용 사례에서는 0.90이 필요해. 특성 엔지니어링에 더 투자하자"라는 의사결정을 직접 내릴 수 있습니다.
역량 #3: 생성형 AI와 신경망의 깊이 있는 이해
지금 우리는 골드러시의 한가운데에 있습니다. 모든 회사가 자신의 제품에 AI를 서둘러 적용하고 있습니다.
현실적으로, 이들 대부분이 하고 있는 일은 매우 기초적입니다. OpenAI API를 얇게 감싼 것에 불과한 경우가 많습니다. 제품에 ChatGPT를 연결한 다음, 사용자에게 보여주는 수준입니다.
시작하기에는 나쁘지 않습니다. 하지만 ** 만약 당신의 모든 기술이 'ChatGPT에 프롬프트를 보내는 방법'만 안다면, 당신의 경력은 매우 취약합니다.**
왜냐하면 시장은 빠르게 깨닫고 있기 때문입니다. 생성형 AI의 단순한 구현은 복사하기 쉽고, 방어하기 어렵습니다.
경쟁력을 갖추려면, 당신은 대규모 언어 모델(LLM) 내부에서 정확히 어떤 일이 일어나는지 이해 해야 합니다.
아키텍처를 이해하면 실패 원인이 보인다
여기서 중요한 통찰력이 있습니다. 아키텍처를 이해하면 모델이 왜 실패하는지 알 수 있습니다.
당신의 생성형 AI 챗봇이 계속해서 잘못된 사실을 환각처럼 만들어낸다고 가정해봅시다. 당신은 그 원인이 무엇인지 알아야 합니다.
- 문제가 프롬프트 에 있나요? (사용자에게 전달하는 지침이 명확하지 않다?)
- 문제가 온도 설정 에 있나요? (모델이 너무 창의적인가?)
- 문제가 훈련 데이터 에 있나요? (잘못된 정보를 학습했다?)
- 문제가 모델 크기 에 있나요? (작은 모델을 사용해서 정확도가 낮다?)
프로덕트 관리자가 이 모든 것을 구분할 수 있어야만, 엔지니어링 팀과 의미 있는 대화를 할 수 있습니다. 그렇지 않으면, 당신은 단순히 "더 좋게 만들어줄 수 있을까?"라고 물을 수밖에 없습니다.
신경망과 딥러닝의 기초
생성형 AI를 이해하려면 신경망이 근본적으로 어떻게 작동하는지 알아야 합니다. 다시 말하지만, 복잡한 수학을 배우는 것이 아닙니다. 직관을 배우는 것입니다.
신경망의 기본 개념: 신경망은 여러 층으로 이루어진 함수입니다. 입력이 들어가면 여러 단계를 거쳐 변환되고, 최종 출력이 나옵니다. 각 단계에서 가중치(weight)라는 숫자들이 입력을 변환합니다.
훈련이란 무엇인가? 이 가중치들을 조정하는 과정입니다. 마치 라디오의 주파수를 맞추듯이, 우리는 이 수백만 개의 가중치를 조정하여 모델이 원하는 출력을 생성하도록 합니다.
Transformer (ChatGPT가 기반한 아키텍처)의 혁신적인 부분은 무엇인가? ** Attention mechanism입니다.** 이것은 모델이 "문장의 어떤 부분에 집중해야 할까?"라는 결정을 내릴 수 있게 해줍니다. 예를 들어, "The bank is on the river"라는 문장에서 "bank"의 의미를 파악하기 위해, 모델은 "river"에 주의를 집중합니다.
이런 식의 직관적 이해는 당신이 생성형 AI의 한계를 알 수 있게 해줍니다. 왜 LLM은 단기 메모리가 약한가? Context window(모델이 동시에 처리할 수 있는 텍스트량)의 한계 때문입니다. ** 왜 LLM은 최신 정보를 모르는가?** 훈련 데이터의 날짜 제한이 있기 때문입니다.
프롬프트 엔지니어링에서 프롬프트 아키텍처로
"프롬프트 엔지니어링"은 유행어가 되었습니다. "좋은 프롬프트를 작성하면 AI가 더 잘 작동한다"는 개념 정도로 이해하는 사람들이 많습니다.
하지만 엔터프라이즈 수준의 AI PM은 단순 프롬프트를 넘어 '프롬프트 아키텍처'를 이해해야 합니다.
예를 들어:
- Few-shot prompting: 모델에게 원하는 형식의 예시를 미리 보여주는 기법
- Chain-of-thought prompting: "단계적으로 생각해봐"라고 지시하면 모델이 더 정확해진다
- System prompt vs user prompt: 역할 정의와 사용자 요청을 분리하는 방법
이러한 기법들은 단순한 "팁"이 아닙니다. 이것들은 신경망이 어떻게 작동하는지에 대한 이해에서 비롯된 설계 원칙들 입니다.
스타트업 창업자 입장에서, 당신이 AI를 기반으로 한 고객 서비스 챗봇을 만들고 있다고 가정해봅시다. 당신의 엔지니어가 "프롬프트를 개선했는데도 성능이 나아지지 않는다"고 합니다.
만약 당신이 단순히 "다른 프롬프트를 시도해봐"라고 말한다면, 당신은 가능한 해결책들의 전체 범위를 놓치고 있습니다. 하지만 당신이 프롬프트 아키텍처를 이해한다면, "Chain-of-thought를 시도해봤어? 아니면 few-shot 예시를 추가해볼까? 아니면 온도 설정을 조정해볼까?"라는 구체적인 방향을 제시할 수 있습니다.
역량 #4: 프로토타이핑과 "빠른 검증" 능력
이것은 아마도 가장 중요한 사고방식의 변화 일 것입니다.
과거의 제품 관리 방식을 생각해봅시다. 좋은 아이디어가 있으면:
- 사양을 작성합니다
- Jira에 티켓을 올립니다
- 엔지니어링 팀이 대략적인 버전을 만들 때까지 3주를 기다립니다
- 그제야 아이디어가 실현 가능한지 피드백을 받습니다
이 방식은 비효율적입니다. 그리고 AI의 세상에서는 완전히 시대에 뒤떨어진 방식입니다.
AI 시대에는 속도가 경쟁력이다
AI 시대의 가장 큰 변화는 무엇인가? 개발 도구가 엄청나게 좋아졌다는 것입니다.
Cursor, GitHub Copilot, ChatGPT 같은 AI 지원 도구들은 이제 누구든지 오후 한나절 만에 작동하는 프로토타입을 만들 수 있게 해줍니다.
당신이 굳이 프로덕션 수준의 확장 가능한 코드를 작성할 필요는 없습니다. 필요한 것은 개념을 증명(Proof of Concept)하는 것 입니다.
이것이 의미하는 바를 생각해봅시다. 당신은:
- API를 직접 연결할 수 있고
- 매개변수(파라미터)를 조정할 수 있으며
- 아이디어가 실제로 작동하는지 확인할 수 있습니다
그 다음에 엔지니어링 팀에게 지저분한 Jira 티켓 대신 '작동하는 프로토타입'을 보여줄 수 있습니다.
프로토타입의 실제 효과
이것이 얼마나 큰 차이를 만드는지 상상해봅시다.
시나리오 1 (기존 방식):
- PM: "AI를 활용해서 고객 이메일을 자동으로 분류하는 기능을 만들자"
- 엔지니어: "좋아, 2주 후에 프로토타입을 보여줄게"
- 2주 후... "음, 이렇게 구현하면 안 될 것 같은데..."
시나리오 2 (프로토타입 방식):
- PM: "AI를 활용해서 고객 이메일을 자동으로 분류하는 기능을 만들자"
- PM: (오후 동안 ChatGPT로 빠르게 프로토타입 제작)
- PM: "여기 봐, 이렇게 작동해. 정확도는 87%야. 이게 맞는 방향일까?"
- 엔지니어: "오, 좋은 아이디어네. 이렇게 확장해서 프로덕션에 올려볼게"
결과는 극적입니다. 시간 절약, 엔지니어로부터의 존경, 그리고 더 빠른 기능 출시.
프로토타이핑을 위한 PM의 필수 스킬
당신이 프로토타이핑을 할 때 알아야 할 핵심 개념들:
모델 제어 및 온도 설정:
- 온도(temperature)를 낮추면 모델이 더 일관되고 안정적이 됩니다 (예: 고객 서비스 챗봇)
- 온도를 높추면 모델이 더 창의적이 됩니다 (예: 마케팅 카피 생성)
API 파라미터 조정:
- max_tokens: 모델의 응답 길이 제한
- top_p: 응답 다양성 조절
- presence_penalty/frequency_penalty: 반복 감소
이러한 파라미터들을 조정하는 것만으로도 사용자 경험이 극적으로 변할 수 있습니다.
가설 기반 프로토타이핑:
- "우리 고객들은 AI 추천을 X 형식으로 보기를 원할 것이다"는 가설을 세운다
- 프로토타입으로 검증한다
- 실제 사용자 반응을 관찰한다
- 다음 반복으로 나아간다
이것은 단순히 "멋진 장난감을 만드는" 것이 아닙니다. 이것은 과학적 방법론을 따르는 것 입니다.
역량 #5: RAG와 에이전트 - 미래의 AI 제품
위에서 언급한 모든 것을 마스터했다면, 당신은 이미 상위 10%의 PM 입니다.
하지만 만약 당신이 정말 최첨단 분야에서 일하고 싶다면, 업계가 다음으로 나아갈 방향인 두 가지를 이해해야 합니다:
- 검색 증강 생성(RAG)
- 자율 에이전트(Autonomous Agents)
RAG 시스템: 기업 AI의 미래
상용 LLM의 가장 큰 문제를 생각해봅시다. LLM은 회사 내부 데이터를 알지 못합니다.
ChatGPT는 특정 날짜까지의 인터넷 정보는 알고 있습니다. 하지만 당신 회사의:
- 3분기 판매 수치
- 내부 고객 지원 문서
- 제품 스펙 시트
- 직원 정책
이런 것들은 모르고 있습니다.
이것이 문제입니다. 당신의 회사가 "이 계약의 조건이 뭐지?"라고 묻으면, LLM은 짐작으로 대답할 수밖에 없고, 대부분 틀립니다.
RAG가 이 문제를 해결합니다.
RAG의 작동 방식
RAG는 다음과 같이 작동합니다:
- 사용자 쿼리 수신: "우리 2025년 계약의 조건은?"
- 관련 정보 검색: 비공개 데이터베이스(당신의 모든 내부 문서)에서 관련 계약을 찾습니다
- 문맥 제공: 찾은 문서를 LLM에 제공합니다
- 정확한 답변 생성: LLM은 그 문서를 기반으로 정확한 답변을 생성합니다
현재 구축되고 있는 거의 모든 기업 AI 애플리케이션이 RAG 시스템입니다.
- 기업의 AI 고객 서비스: RAG
- 내부 정책 질문 봇: RAG
- 계약서 분석 AI: RAG
- HR 자료 검색 AI: RAG
PM이 알아야 할 RAG의 구성 요소
벡터 데이터베이스(Vector Database):
- 텍스트를 "벡터"(숫자 배열)로 변환하는 데이터베이스입니다
- "고객 불만족"과 "고객 불행"은 의미상 비슷하므로, 유사한 벡터로 변환됩니다
- 검색할 때, 사용자의 쿼리도 벡터로 변환되고, 가장 유사한 벡터들이 반환됩니다
검색 청킹(Chunking):
- 긴 문서를 작은 단위로 나누는 방식입니다
- "너무 짧으면" 문맥을 잃고, "너무 길면" 노이즈가 생깁니다
- 올바른 청크 크기를 선택하는 것은 RAG 품질에 결정적입니다
문맥 길이(Context Window):
- LLM에 전달할 수 있는 정보의 최대 양입니다
- 최신 모델들은 100k 토큰을 지원하지만, 여전히 제한이 있습니다
AI 평가: RAG 시스템의 가장 큰 과제
여기서 가장 중요하지만 간과되기 쉬운 개념 이 나옵니다.
RAG 시스템이 좋은지 어떻게 알 수 있을까요?
기존 소프트웨어라면 간단합니다. "기능이 작동하는가? Yes/No"
하지만 RAG 시스템에서는 복잡합니다. 챗봇이 주는 답변이:
- 정확한가?
- 완전한가?
- 환각이 없는가?
- 사용자에게 실제로 도움이 되는가?
이를 측정하기 위해 기존의 "테스트 케이스"나 "품질 보증" 방식을 사용할 수 없습니다. 인간이 모든 응답을 읽고 판단해야 하는가? 그건 불가능합니다. 수백만 개의 쿼리가 있을 텐데요.
이것이 "AI 평가(AI Evaluation)"라는 새로운 분야가 생긴 이유입니다.
AI 평가는 다른 AI를 사용하여 AI를 평가하는 기술입니다. 예를 들어:
- 사용자 쿼리와 AI의 답변을 다른 고급 LLM에 보냅니다
- "이 답변이 정확하고 도움이 되는가?"라고 묻습니다
- 자동으로 점수를 매깁니다
이것이 기업 AI 배포에서 가장 큰 병목 현상입니다. 많은 회사들이 RAG 시스템을 만들었지만, 그것이 실제로 잘 작동하는지 평가할 방법을 모릅니다.
이것을 이해하는 PM은 매우 드뭅니다. 그리고 이것이 주니어 PM과 시니어 PM을 가르는 지식입니다.
에이전트: AI가 "생각"을 넘어 "행동"하는 단계
이제 다음 단계를 생각해봅시다. 지금까지는 AI에게 질문을 하고 답변을 받았습니다.
하지만 미래의 AI는 "무언가를 하는" 방향으로 나아가고 있습니다.
에이전트 는 이런 AI 시스템입니다:
- 사용자의 목표를 이해합니다
- 그 목표를 달성하기 위한 계획을 세웁니다
- 여러 단계를 자동으로 실행합니다
- 필요한 도구들을 사용합니다 (예: API 호출, 데이터베이스 조회)
- 오류가 발생하면 수정하고 계속 진행합니다
- 사용자의 개입 없이 목표를 달성합니다
예시:
- 사용자: "내일 아침 9시에 회의실을 예약하고, 참석자들에게 초대장을 보내, 회의 자료를 준비해줄 수 있을까?"
- AI 에이전트: (자동으로 회의실 시스템에 접속 → 예약 → 이메일 발송 → 문서 작성... 모두 자동으로)
에이전트 제품 관리의 어려움
에이전트를 다루는 PM은 완전히 다른 설계 원칙 을 사용해야 합니다.
사용자 경험:
- 에이전트가 어떤 결정을 내렸는지 사용자가 이해하나?
- 에이전트가 잘못된 행동을 하기 전에 사용자가 멈출 수 있나?
- 에이전트의 진행 상황을 사용자가 추적할 수 있나?
안전성과 신뢰성:
- 에이전트가 실수하면 어떻게 되나?
- 에이전트가 취할 수 있는 행동의 범위를 제한해야 하나?
- 특정 작업은 "에이전트 승인 전에 인간의 확인이 필요하다"고 설정할 수 있나?
투명성:
- 에이전트가 왜 그런 결정을 내렸는지 설명할 수 있나?
- 사용자가 에이전트의 행동을 감시할 수 있나?
스타트업 창업자 입장에서 생각해봅시다. 당신이 "AI 기반 여행 예약 에이전트"를 만든다고 가정합시다. 사용자가 "내일 출장 떠나는데, 항공권, 호텔, 렌트카 모두 예약해줘"라고 말합니다.
당신의 에이전트는:
- 항공권 사이트에 접속해서 예약
- 호텔 사이트에 접속해서 예약
- 렌트카 업체에 연락
모두 자동으로 합니다.
하지만 문제가 생길 수 있습니다:
- 잘못된 날짜로 예약했다면?
- 너무 비싼 호텔을 예약했다면?
- 예약을 취소해야 한다면?
이런 상황들을 사전에 설계해야 합니다.
역량 #6: AI PM 면접 합격하기
위에서 언급한 모든 기술을 배울 수 있습니다. 하지만 Google, Meta, OpenAI 또는 AI 스타트업의 45분 면접에서 이를 제대로 전달하지 못한다면 아무 소용이 없습니다.
AI PM 면접은 기존 PM 면접과 완전히 다르다
기존 제품 관리 면접의 전형적인 질문:
- "시각 장애인을 위한 알람 시계를 설계하세요"
- "스포티파이의 추천 알고리즘을 개선하려면?"
- "새로운 사용자를 온보딩하는 프로세스를 어떻게 설계하겠습니까?"
이 질문들은 사용자 이해도와 문제 해결 능력 을 테스트합니다.
AI PM 면접의 질문들
AI PM 면접의 질문들은 깊이 있는 기술 이해 를 요구합니다:
"GPT 5.0의 성공을 어떻게 측정하시겠습니까? 정확한 지표는 무엇이며, 그 이유는?"
- 단순한 "사용자 만족도"로 답하면 떨어집니다
- 당신은 "BLEU 점수"나 "Human Evaluation Score"같은 AI 특화 지표를 알아야 합니다
"여행 예약 에이전트의 AI 평가를 어떻게 설계하겠습니까?"
- RAG 시스템, 평가 지표, 인간의 개입 지점 등을 포함해야 합니다
"이미지 생성 AI 모델의 과적합 문제를 어떻게 해결하시겠습니까?"
- 단순히 "더 많은 데이터를 수집한다"는 답은 불충분합니다
- 데이터 증강, 정규화, 모델 아키텍처 조정 등을 언급해야 합니다
면접 합격을 위한 프레임워크
성공하는 AI PM들의 답변 패턴:
1단계: 문제 이해
- "이 질문이 묻는 것을 정확히 이해해야 합니다"
- "이 제품의 핵심 가치는 무엇인가?"를 묻습니다
2단계: 기술적 깊이
- 단순한 가정을 하지 않습니다
- "이 경우 RAG가 필요할까요, 아니면 Fine-tuning이 필요할까요?"라는 기술적 선택을 설명합니다
3단계: 현실적 제약
- 이상적인 솔루션뿐 아니라, 비용, 시간, 기술 실현 가능성을 고려합니다
- "최적이지는 않지만, 현실적으로 실행 가능한" 방안을 제시합니다
4단계: 반복과 개선
- "처음에는 이렇게 시작하지만, 3개월 후에는 이렇게 개선할 것 같습니다"
- 제품 관리는 일회성이 아니라는 것을 보여줍니다
실전 예제
질문: "추천 시스템의 정확도가 70%인데, 이것을 개선하려면?"
약한 답변:
- "더 나은 알고리즘을 사용합니다"
- "더 많은 데이터를 모읍니다"
강한 답변:
"먼저 70%가 무엇을 의미하는지 명확히 해야 합니다.
- Precision인가요, Recall인가요?
- 내 사용 사례에서 중요한 것은 False Positive를 줄이는 것인가요, 아니면 모든 좋은 항목을 찾는 것인가요?
그 다음, 근본 원인을 파악합니다:
- 데이터 문제인가요? (편향된 데이터, 불충분한 데이터)
- 모델 문제인가요? (특성 엔지니어링, 하이퍼파라미터)
- 비즈니스 로직 문제인가요? (사용자 세그먼트를 더 세분화해야 함)
단기 전략:
- A/B 테스트로 특성을 개선해봅니다
- RAG를 도입해서 사용자 문맥을 더 추가합니다
장기 전략:
- 사용자 피드백을 자동으로 수집하는 플라이휠을 구축합니다
- 모델 리트레이닝 파이프라인을 자동화합니다"
이런 답변은 기술과 전략을 모두 보여줍니다.
2026년 AI PM의 학습 로드맵
당신이 AI 제품 관리자 역량을 개발하기 위해 학습해야 할 순서를 생각해봅시다.
1단계: 기초 개념 (1-2주)
- AI 플라이휠의 이해
- 확률적 제품 vs 결정적 제품의 차이
- AI 제품 수명 주기의 특징
2단계: 데이터와 알고리즘 (2-3주)
- 선형 회귀, 로지스틱 회귀 이해
- 의사결정 트리와 실제 적용
- 데이터 파이프라인의 중요성
- 과적합, 언더피팅 개념
3단계: 생성형 AI와 신경망 (2-3주)
- Transformer 아키텍처의 기초
- 신경망이 왜 작동하는지의 직관적 이해
- 생성형 AI의 한계 (환각, 컨텍스트 윈도우)
- 프롬프트 엔지니어링 vs 프롬프트 아키텍처
4단계: 실전 프로토타이핑 (1-2주)
- ChatGPT API 직접 사용해보기
- 온도, top_p 등의 파라미터 실험
- 간단한 프로토타입 만들기
- 프로토타입 기반의 학습
5단계: RAG와 고급 아키텍처 (2-3주)
- 벡터 데이터베이스의 개념
- RAG 시스템의 구축과 평가
- AI 평가 지표 이해
- 에이전트 워크플로우의 기초
6단계: 면접 준비 (2-3주)
- 실제 면접 질문으로 연습
- 답변 구조화와 전달 연습
- 기술과 전략의 균형
결론
스타트업 창업자로서 당신이 느끼는 불안감은 충분히 현실입니다.
그 불안감의 원인은 제품 관리 자체가 변하고 있기 때문입니다. 하지만 여기에 좋은 소식이 있습니다.
AI PM이 되는 것은 컴퓨터 과학 박사가 되는 것이 아닙니다.
필요한 것은:
- 기본 개념의 깊이 있는 이해 (복잡한 수학이 아닌 직관)
- 실무 경험과 빠른 프로토타이핑 (이론만 아는 것이 아닌 손으로 직접 만들기)
- 현실적인 문제 해결 능력 (이상적인 솔루션이 아닌 실행 가능한 솔루션)
당신의 팀에 이런 역량을 갖춘 PM이 없다면, 지금이 바로 투자할 때입니다.
이 5가지 핵심 역량을 갖춘 PM 한 명이 당신의 회사의 경쟁력을 완전히 바꿀 수 있습니다.
지금 바로 시작하세요. 당신의 스타트업의 미래가 걸려 있습니다.
Original source: AI Product Manager Skill & Roadmap 2026
powered by osmu.app