제프 딘이 공개한 AI 에이전트 구축, 창업 전략, 하드웨어 혁신의 핵심 인사이트. 미래 AI 개발자를 위한 실전 팁.
AI 구축의 1% 규칙: 제프 딘이 공개한 성공 전략
Y Combinator Startup School 2026에서 공개된 제프 딘의 강연 내용을 정리했습니다. 구글의 핵심 기술(MapReduce, TPU, TensorFlow)을 만든 엔지니어가 직접 조언하는 AI 시대의 창업 전략과 기술 혁신의 원칙입니다.
핵심 요약
- AI는 주니어 엔지니어 수준에 근접: 2025년 예측이 거의 정확해졌으며, 에이전트 기반 시스템이 주가 될 것
- 병목 현상을 발견하는 것이 핵심: 첫 번째 원칙부터 재설계하면 10~100배 성능 개선 가능
- 데이터 I/O가 계산 비용의 1000배: 하드웨어 설계의 가장 중요한 제약 조건
- 컨텍스트 엔지니어링이 새로운 기회: 대규모 모델 훈련이 불가능한 스타트업도 할 수 있는 영역
- 장기 실행 에이전트는 여전히 미숙: 다중 에이전트 시스템과 평가자 최적화가 필수
에이전트 혁명: 현재 상황과 한계
제프 딘이 강조한 핵심은 에이전트 기반 시스템의 성장 속도 입니다. AI 모델이 단순히 응답하는 수준을 넘어, 며칠 또는 몇 주에 걸쳐 실행되는 복잡한 문제 해결이 가능해지고 있습니다. 소프트웨어를 다른 프로그래밍 언어로 완전히 재작성하거나, 성능 최적화를 위해 자동화된 벤치마크 루프를 도는 작업도 에이전트가 수행할 수 있게 되었습니다.
그러나 현재 에이전트의 약점 도 명확합니다. 10~30단계 정도까지는 잘 작동하지만, 50단계를 넘어가면 불안정해집니다. 이유는 모델이 훈련 데이터에 없던 상황에 직면하면 성능이 급격히 떨어지기 때문입니다. 딘은 이를 해결하는 방법으로 다중 에이전트 시스템 — 여러 에이전트가 다른 접근방식을 시도하고 가장 유망한 경로를 선택하는 방식 — 을 제안했습니다.
하드웨어: 데이터 이동 비용이 모든 것을 결정한다
제프 딘이 매우 강조한 부분은 에너지 관점에서의 시스템 설계 입니다. 단일 곱셈 연산에 약 1피코줄이 소비되지만, HBM(고대역폭 메모리)에서 데이터를 가져오는 데는 그보다 1000배의 에너지 가 필요합니다. 이것이 배치 처리가 필수적인 이유이며, 추론의 저지연성과 충돌합니다.
따라서 딘은 추론용 맞춤형 하드웨어 의 중요성을 강조했습니다. AlphaChip과 AlphaVault 같은 프로젝트는 이러한 원칙 위에 구축되고 있습니다. 2026년 엔지니어가 알아야 할 수치는 다음과 같습니다:
- 가속기의 메인 메모리와 온칩 메모리 간의 대역폭
- 칩 간 상호연결 대역폭 (500개 vs 10,000개 칩의 차이)
- 단일 곱셈 연산에 필요한 에너지
- 네트워크 대역폭의 감소율
컨텍스트 엔지니어링: 스타트업의 게임체인저
과거 AI 혁신은 더 큰 모델, 더 많은 데이터 였습니다. 2026년은 다릅니다. 모델의 크기나 훈련 데이터보다 모델을 둘러싼 모든 것 이 중요해졌습니다:
- 도구 호출(Tool Use)
- 검색 통합(Retrieval)
- 메모리와 컨텍스트 관리
- 에이전트 오케스트레이션
이것이 스타트업에게 열린 기회입니다. 거대 기업은 GPU와 데이터로 훈련된 모델을 만들 수 없지만, 컨텍스트 엔지니어링은 API 접근만으로 가능 합니다. 딘은 실제 사례를 공유했습니다:
구글 내부에서 성능 최적화 작업을 하며, Gemini 같은 API에 마이크로벤치마크 라이브러리와 성능 힌트를 담은 기술을 제공했을 때, 모델이 자동으로 벤치마크를 실행 → 코드 수정 → 성능 재측정 → 개선의 루프를 수행했습니다. 이전에는 엔지니어가 일일이 수행하던 작업을 에이전트가 자동화한 것입니다.
스타트업을 위한 딘의 조언: 현재 일반 모델이 완전히 실패하는 영역(0~1% 성공률)에 집중하세요. 20% 정도의 성공률을 보인다면 경고 신호입니다 — 일반 모델이 곧 따라잡을 가능성이 높습니다. AlphaFold처럼 전문화된 도메인 모델 도 여전히 가치가 있습니다.
첫 번째 원칙과 냅킨 계산의 힘
제프 딘은 병목 현상을 찾아 첫 번째 원칙부터 재설계하는 것 의 중요성을 반복했습니다. TPU가 탄생한 배경이 대표적입니다:
2013년, 음성 인식이 급진적으로 개선되자 딘은 냅킨 계산을 했습니다:
"모든 구글 사용자가 하루에 3분씩 음성 인식을 사용한다면, 기존 CPU에서는 시스템 요구 사항이 2배 증가한다."
이것이 저정밀 고밀도 선형 대수에 특화된 칩(TPU) 을 만들게 했고, 결과적으로 CPU·GPU 대비 30~80배 에너지 효율성을 달성했습니다. 트랜스포머 아키텍처는 TPU 발명 이후에 나왔지만, TPU는 여전히 현대 ML의 기반입니다.
창업자들을 위한 메시지: 자신이 풀고자 하는 문제에서:
- 현재 병목이 무엇인가?
- 그 병목을 근본적으로 다르게 접근할 수 있는가?
- 그렇게 하면 10~100배 개선이 가능한가?
이 질문에 "예"라고 답할 수 있다면, TPU 수준의 임팩트를 만들 가능성이 있습니다.
어떤 문제에 매달려야 할까?
제프 딘은 강연의 마지막에 미래 창업자들이 집중해야 할 영역을 제시했습니다:
- 더 효율적인 하드웨어: 추론에 특화된 칩, 새로운 컴퓨팅 패러다임
- 데이터 효율적인 ML: 18세 인간은 현대 모델보다 훨씬 적은 데이터로 더 많은 것을 배웁니다
- 지속 학습(Continual Learning): 배포 후에도 스스로 개선되는 시스템
- 다중 에이전트 상호작용: 복잡한 문제를 협력으로 해결
- 더 나은 담론 기술: 전 세계인이 의미 있게 대화할 수 있도록 하는 기술
팀 구성: 스스로 할 수 없는 것을 함께 만들기
딘이 강조한 팀 구성 원칙:
- 전문성: 자신이 필요로 하는 분야에 뛰어난 사람
- 호환성: 함께 있으면 즐거운 사람, 자존심이 낮은 팀 플레이어
- 상호 보완성: 자신이 모르는 것을 다른 팀원이 알고, 그들이 모르는 것을 자신이 아는 구조
- 지속적 성장: 엔지니어링 경력을 "도구 벨트"처럼 보고, 항상 새로운 기술을 추가
딘은 자신이 혼자서는 불가능하지만 팀으로는 가능한 무언가를 만드는 환경에서 가장 성장했다고 했습니다.
거절과 오픈 사이언스
흥미로운 역사: 2014년 딘, 힌튼, 비냘스가 쓴 모델 증류(Distillation) 논문이 NeurIPS에서 거절당했습니다. 이 기술은 이제 업계 표준입니다. Gemini Flash 같은 경량 모델이 가능한 것도 증류 덕분입니다.
딘의 교훈: 거절 후에도 계속 나아가세요. 그들은 논문을 arXiv에 올렸고, 사람들이 읽고 사용했습니다. 심사위원이 항상 맞는 것은 아닙니다.
결론
제프 딘이 전하는 2026년 AI 개발자의 핵심 원칙:
- 1%의 차이를 찾으세요 — 병목 현상을 발견하고 첫 원칙부터 재설계
- 에너지 관점으로 생각하세요 — 계산 비용이 아니라 데이터 이동 비용이 핵심
- 컨텍스트 엔지니어링에 집중하세요 — 모델 훈련 없이 할 수 있는 영역
- 세상에 긍정적 영향을 미치는 문제를 선택하세요 — 기술력보다 문제 선택이 중요
- 도구를 계속 추가하세요 — 미지의 문제에 대비하는 가장 좋은 방법
구글에서 MapReduce, TPU, TensorFlow를 만든 엔지니어의 경험은 분명합니다. 최고의 아이디어는 거절당할 수도 있고, 성공은 1%의 개선 가능성을 발견하는 것에서 시작된다는 것입니다.
Original source: Jeff Dean: The 1% Rule for Building in AI
powered by osmu.app