프랑수아 숄레가 말하는 AGI-3, 기호 학습, 프로그램 합성의 미래. 딥러닝을 넘어 최적의 AI 구축하는 법을 배우세요.
AI의 미래: 프랑수아 숄레의 AGI 비전과 딥러닝 너머의 길
핵심 요약
- 프랑수아 숄레 는 Keras를 개발한 AI 연구자로, 현재 NDEA 연구소에서 딥러닝을 대체할 새로운 머신러닝 패러다임 연구 중
- 기호 학습(Symbolic Learning) 은 매개변수 곡선 대신 가장 짧고 우아한 상징적 모델을 찾는 방식으로, 더 높은 효율성 달성
- ARC-AGI 벤치마크 는 V1부터 V3까지 진화하며 AI 진정한 지능의 척도로 역할 수행
- 검증 가능한 보상 신호 가 있는 분야(코딩, 수학)에서는 AI 급속 발전하는 중
- 2030년경 AGI 도달 가능성 있으며, 이에 대한 올바른 준비와 활용이 필수
딥러닝을 넘어선 새로운 접근 방식: 기호 학습의 등장
프랑수아 숄레가 설립한 NDEA 연구소의 핵심 목표는 현재 주류인 딥러닝의 한계를 인식하고, 완전히 다른 패러다임을 구축하는 것입니다. 그의 주장은 명확합니다. 현재 모든 AI 회사와 연구자들이 대규모 언어 모델(LLM) 스택에 집중하고 있지만, 이 접근 방식이 50년 후의 AI 미래를 정의하지 않을 것이라는 것입니다.
숄레가 제안하는 대안은 기호 학습(Symbolic Learning) 입니다. 기존 딥러닝에서는 입력 데이터를 목표 데이터에 매핑하기 위해 수십억 개의 매개변수를 가진 신경망을 훈련합니다. 반면 기호 학습은 주어진 데이터를 가장 간결하게 설명하는 상징적 모델을 찾아냅니다.
예를 들어, 행성의 위치 데이터 수천 개를 보면 딥러닝은 복잡한 곡선으로 맞추려 할 것입니다. 반면 기호 학습은 "F=ma"처럼 단 하나의 우아한 방정식으로 모든 데이터를 압축합니다. 이것이 바로 과학이 하는 일이며, 진정한 지능의 표현입니다.
경사 하강법 대신 기호 하강법(Symbolic Descent) 을 도입함으로써, AI는 훨씬 적은 데이터로 더 효율적인 모델을 학습할 수 있게 됩니다. 모델 크기가 작아지면 추론 속도는 빨라지고, 일반화 능력과 조합 능력(compositional ability)이 향상됩니다. 최소 기술 길이 원칙(Minimum Description Length Principle)에 따르면, 가장 짧은 모델이 가장 잘 일반화될 가능성이 높습니다.
숄레는 이 접근 방식의 성공 확률을 10~15%로 예상하지만, 성공 시 파급력이 엄청날 것이라고 강조합니다. 중요한 것은 현재 이 분야를 연구하는 사람이 거의 없다는 점입니다. 따라서 "하지 않으면 아무도 하지 않을 것" 이라는 신념으로 이 위험한 도전에 나서고 있습니다.
ARC-AGI 벤치마크: 지능의 진정한 척도
숄레는 2015년경부터 AI의 진정한 지능을 측정하는 벤치마크의 필요성을 느꼈습니다. Google Brain에서 일하던 중 딥러닝이 1차 논리와 정리 증명 같은 추론 문제를 푸는 데 어려움을 겪는다는 것을 발견했습니다. 문제는 신경망이 표현할 수 없어서가 아니라, 경사 하강법이 올바른 알고리즘을 찾지 못하고 입력 패턴에 과적합되었기 때문입니다.
이 깨달음에서 출발한 ARC-AGI 프로젝트 는 "추론 분야의 ImageNet"을 만드는 것이 목표였습니다. 2018년부터 숄레는 직접 1,000개 이상의 작업을 설계했고, 2019년 논문을 통해 이 개념을 공식화했습니다.
ARC-AGI의 진화: V1에서 V3로
ARC V1: 초기 버전은 거의 모든 LLM에서 10% 이하의 성능을 보였습니다. GPT-3는 0점을 기록했으며, 기본 모델들은 50,000배 확장되었음에도 V1에서 성능이 거의 향상되지 않았습니다. 이는 단순히 규모를 늘리는 것만으로는 유동 지능(fluid intelligence)을 달성할 수 없음을 증명했습니다.
ARC V2로의 도약: OpenAI의 O1, O3 같은 추론 모델이 등장하면서 상황이 바뀌었습니다. 이들 모델은 검증 가능한 보상 신호를 활용한 강화 학습으로 훈련되었고, ARC V2에서 급격한 성능 향상을 보였습니다. 더욱 흥미로운 것은 에이전트 기반 코딩의 부상입니다. 프론티어랩과 같은 회사들은 맞춤형 하네스를 통해 LLM이 더 나은 문제 해결 전략을 실행하도록 했고, Confluence Labs는 단 몇 개월 만에 V2를 97% 정확도로 포화시켰습니다.
ARC V3의 혁신: V1과 V2가 정적 데이터 기반의 모델링에 초점을 맞췄다면, V3는 ** 에이전트 지능(agentic intelligence)**을 측정합니다. 에이전트는 명확한 지시나 목표 없이 미니 비디오 게임 같은 새로운 환경에 투입되며, 탐색 효율성, 자기 목표 설정, 행동 계획을 모두 스스로 학습해야 합니다.
V3는 인간이 새로운 환경에 투입되었을 때와 동일한 효율성으로 문제를 해결하도록 AI에 요구합니다. 단순히 문제를 푸는 것뿐만 아니라, 인간 수준의 탐색 효율성으로 그것을 해결해야 한다는 뜻입니다. 250개 이상의 완전히 독창적인 게임을 개발하기 위해 전체 게임 스튜디오를 설립한 것은 이 벤치마크가 얼마나 심각한지를 보여줍니다.
검증 가능한 보상 신호가 변화의 핵심
숄레가 강조하는 중요한 통찰 중 하나는 검증 가능한 보상 신호 의 중요성입니다. 코딩과 수학은 자동으로 검증 가능한 영역입니다. 코드는 컴파일되거나 테스트를 통과하고, 수학은 정리와 증명이 맞는지 확인할 수 있습니다.
이런 영역에서는 AI가 급속도로 발전하고 있습니다. 코딩 에이전트들은 자신이 작성한 코드를 즉시 테스트할 수 있고, 실패하면 다시 시도합니다. 이 강화 학습 루프를 수백만 번 반복하면서 엄청난 양의 고품질 훈련 데이터를 자동으로 생성합니다. 이는 인간 전문가의 주석에 의존하는 것과는 완전히 다릅니다.
반면 에세이 작성 같은 영역은 검증 불가능합니다. 무엇이 "좋은" 에세이인지 객관적으로 정의하기 어렵기 때문입니다. 따라서 이 영역에서는 여전히 인간의 주석에 의존하며, 발전 속도가 느립니다.
숄레는 이 패턴이 AI 발전의 미래를 정의한다고 봅니다. 검증 가능한 보상이 있으면 완전 자동화 가능 하고, 없으면 인간의 개입이 계속 필요합니다. 따라서 향후 몇 년간 프로그래밍, 수학, 증명과 같은 형식적 검증이 가능한 분야에서는 기하급수적 발전이 일어날 것입니다.
지능의 정의: 학습 효율성이 모든 것을 결정한다
숄레가 제시하는 진정한 AGI의 정의 는 기존 정의와 다릅니다. 많은 사람들은 AGI를 "대부분의 경제적으로 가치 있는 작업을 자동화할 수 있는 시스템"으로 정의합니다. 하지만 숄레는 이것을 자동화 의 문제로 봅니다.
그에 따르면 진정한 AGI는 "인간과 동일한 효율성으로 새로운 문제를 이해하고 모델링하며 능숙해질 수 있는 시스템"입니다. 이는 인간 수준의 학습 효율성 을 의미합니다. 인간은 놀랍도록 데이터 효율적입니다. 수십 개의 예제로 새로운 개념을 배우는데, 현재 AI 모델들은 수백만 개의 예제가 필요합니다.
현재 추론 모델과 LLM은 경제적 자동화 측면에서는 진보했지만, 여전히 인간 수준의 학습 효율성과는 멀리 떨어져 있습니다. 숄레는 이 격차를 좁히기 위해서는 다른 종류의 기술, 다른 사고방식, 다른 접근 방식 이 필요하다고 강조합니다.
오픈 소스와 커뮤니티: Keras의 성공 비결
흥미롭게도 숄레는 최근 G-Stack이라는 오픈소스 프로젝트를 통해 급속한 성장을 경험했습니다. 14일 만에 매일 수만 명의 사용자를 확보했습니다. 이는 그의 Keras 경험에서 배운 교훈을 적용한 결과입니다.
Keras 성공의 핵심 요소들:
직관적이고 간단한 API 설계: scikit-learn의 설계 철학을 따르되, 깊은 기능성을 유지합니다.
포괄적인 문서와 교육: 단순히 도구 사용법만 가르치는 것이 아니라, 해당 분야 전체를 처음부터 설명합니다. 웹사이트를 방문하는 대부분의 사람들은 이미 전문가가 아니기 때문입니다.
커뮤니티 투자 및 인재 발굴: 가장 열정적인 사용자들을 찾아 팀으로 고용하는 것이 극도로 효과적입니다. 이들은 항상 최고의 인재이며, 커뮤니티에서 자연스럽게 리더로 떠오릅니다.
장기적 헌신: 프로젝트는 시간이 걸립니다. 처음에는 당신의 아이디어이지만, 시간이 흐르면서 자체적인 생명을 얻게 됩니다.
숄레는 현재 이러한 경험을 바탕으로 G-Stack 커뮤니티를 확장하고 있으며, 오픈소스의 힘이 AI 발전을 가속화할 수 있음을 증명하고 있습니다.
딥러닝과 기호 학습: 어느 것이 미래인가?
업계 전체가 딥러닝에 집중하는 이유는 현실적입니다. 작동하고 있으며, 결과를 보이고 있기 때문입니다. 하지만 숄레는 이를 일종의 붕괴(collapse) 로 봅니다.
AI 역사를 보면 유사한 패턴이 반복되었습니다. 1990년대 말 2000년대 초 신경망은 완전히 외면받았고, SVM이 주류 기술이었습니다. 당시 신경망을 연구하는 것은 시간 낭비로 여겨졌습니다. 하지만 2010년대 딥러닝 혁명이 그 개념을 뒤집었습니다.
현재도 유사한 상황이 반복될 가능성이 있습니다. 유전 알고리즘, 진화 알고리즘, 기호 탐색 같은 방법들에 딥러닝에 투입된 것과 동일한 수준의 자원이 할당된다면, 유사하게 획기적인 결과가 나올 수 있습니다.
숄레는 1970년대와 1980년대 AI 연구를 되돌아볼 것을 권장합니다. 당시에는 사람들이 훨씬 다양한 접근 방식을 시도했습니다. 현재의 좁은 초점은 잠재력 있는 아이디어들을 버리게 만듭니다. 야심 찬 연구자들이라면 현대의 유명한 논문 대신 40년 전의 연구를 읽고, 당시에는 지원받지 못했던 아이디어들을 깊이 있게 탐구해야 합니다.
재귀적 자기 개선과 확장 가능성: 시스템 설계의 핵심
숄레가 강조하는 또 다른 핵심 개념은 개선 루프에서 인간을 제거하는 것 입니다. 아이디어가 아무리 우아하고 정교해도, 시스템의 역량 향상이 인간 엔지니어의 노력에만 의존한다면 결국 실패합니다. 인간은 병목 현상이 됩니다.
딥러닝의 가장 큰 강점이 바로 이것입니다. 훈련 데이터와 컴퓨팅 자원만 추가하면 모델이 계속 개선됩니다. 인간의 개입이 거의 필요 없습니다. 물론 인터넷이라는 거대한 훈련 데이터 기반을 구축하는 데 인간의 노력이 들어갔지만, 그것은 이미 완료된 일입니다.
NDEA가 추구하는 방향도 동일합니다. 아무리 혁신적인 기호 학습이라도, 그것을 확장하려면 인간의 개입 없이 스스로 개선할 수 있어야 합니다. 다시 말해, 시스템이 더 나아지는 속도가 점점 빨라져야 합니다.
이는 꼭 "재귀적 자기 개선(recursive self-improvement)"을 의미하지 않습니다. 딥러닝도 그렇지 않으니까요. 하지만 인간이라는 병목 없이 확장 가능 해야 합니다. 시스템을 더 강력하게 만드는 유일한 방법이 더 많은 컴퓨팅 파워와 더 나은 알고리즘이어야 하며, 더 많은 인간의 수작업이 아니어야 합니다.
2030년과 그 이후: AGI의 시간표
숄레는 2030년경, 아마 Arc 6 또는 Arc 7이 출시될 무렵 에 AGI를 볼 것으로 예측합니다. 이는 현재의 추론 모델이나 LLM과는 다른 종류의 시스템이 될 것입니다.
현재 ARC 벤치마크의 진화 속도를 보면 이 예측이 과장이 아닐 수 있습니다. V1은 수년간 거의 모든 모델에 저항했고, V2는 몇 개월 만에 포화되었으며, V3는 이제 출시되었습니다. 각 버전의 수명이 단축되고 있습니다.
Arc 4는 더 긴 시간 척도에 걸친 연속 학습(continual learning) 과 커리큘럼 학습(curriculum learning) 에 초점을 맞출 것입니다. Arc 5는 특히 흥미로운데, "발명"의 개념 을 도입할 것입니다. 에이전트가 인간처럼 완전히 새로운 도구, 개념, 전략을 스스로 만들어낼 수 있는지를 측정하게 됩니다.
AGI는 단일 벤치마크로 도달했음을 알 수 있는 것이 아닙니다. 대신 인간 수준의 학습 효율성과 첨단 AI 사이의 유의미한 차이가 더 이상 측정되지 않을 때 입니다. 그 순간이 곧 올 것입니다.
AI 시대를 살아가기: 지금의 준비
현재 많은 사람들이 AI 발전을 부정적으로 봅니다. 일자리를 잃을 것이고, 대량 실업이 올 것이고, AI가 모든 것을 가져갈 것이라고 말합니다. 하지만 숄레는 완전히 다른 관점을 제시합니다.
AI 발전을 멈출 수 없습니다. 이미 너무 늦었습니다. 따라서 올바른 질문은 "어떻게 이를 막을 것인가?"가 아니라 "어떻게 이를 활용하고 파도를 탈 것인가?"입니다.
AI 시대를 이겨낼 수 있는 가장 좋은 방법:
전문성을 계속 쌓으세요: 프로그래밍이든 의학이든 법률이든, 특정 분야의 깊은 전문성이 있으면 AI 도구를 자신의 이익을 위해 더 잘 활용할 수 있습니다. AI 능력이 높아질수록, 그 능력을 효과적으로 사용하려면 더 많은 전문 지식이 필요합니다.
AI뿐만 아니라 응용 분야도 배우세요: AI 기술 자체보다, 그것을 어디에 어떻게 적용할지 아는 것이 더 가치 있습니다.
역량 강화 도구로 생각하세요: AI는 당신의 일자리를 빼앗는 것이 아니라, 당신을 훨씬 더 강력하게 만드는 도구입니다.
기회로 보세요: 지금은 AI 시대의 초입입니다. 새로운 도구, 새로운 방법, 새로운 가능성이 매일 생겨나고 있습니다. 이를 기회로 삼아 자신의 삶을 개선할 도구를 만들어야 합니다.
결론
프랑수아 숄레의 이야기는 AI의 현재와 미래에 대한 도전적인 시각 을 제공합니다. 현재 딥러닝과 LLM이 지배적이지만, 더 효율적이고 우아한 방법이 존재할 수 있다는 것입니다. 기호 학습, 프로그램 합성, ARC-AGI 벤치마크는 이러한 새로운 패러다임의 구체적 표현입니다.
중요한 것은 아무도 하지 않는 일을 하는 것의 가치 입니다. 성공 확률이 10~15%일지라도, 성공했을 때의 파급력을 고려하면 충분히 시도할 가치가 있습니다. 이것이 바로 혁신이 생기는 방식입니다.
AI의 미래는 이미 도착했습니다. 이제 질문은 우리가 그것을 어떻게 이용하고, 어떻게 그 물결을 탈 것인가입니다. 전문성을 쌓고, 새로운 도구를 배우고, 이를 자신의 삶을 개선하는 데 사용하는 사람들이 이 시대의 승자가 될 것입니다.
Original source: François Chollet: ARC-AGI-3, Beyond Deep Learning & A New Approach To ML
powered by osmu.app