AI 스케일링의 미래: 재귀 모델이 대형 모델을 넘어서는 이유

2025년 AI 연구의 가장 흥미로운 발전 중 하나는 모델을 단순히 크게 만드는 것에서 벗어나 추론 시점의 재귀(recursion) 를 활용하는 것입니다. 이 패러다임 전환은 우리가 인공지능의 미래를 어떻게 생각해야 하는지를 근본적으로 바꾸고 있습니다. 작은 매개변수로도 강력한 성능을 달성할 수 있다는 발견은 AI 산업에 새로운 가능성을 열어주고 있습니다.

핵심 요약

• 재귀 모델의 등장: 고차 추론 모델(HRM)과 소형 재귀 모델(TRM)이 기존 거대 모델의 한계를 극복
• 매개변수 효율성: 7백만 개 매개변수의 작은 모델이 수조 개 매개변수의 거대 모델이 풀지 못하는 문제 해결
• ARC Prize의 성과: HRM 70% → TRM 87%로 성능 향상, 매개변수는 오히려 4배 감소
• 새로운 스케일링 법칙: 모델 크기보다 ** 재귀 깊이**가 성능 결정의 핵심 요소
• 메모리 효율성: 튜링 머신의 테이프처럼 동작하는 숨겨진 상태가 복잡한 알고리즘 실행 가능

---

RNN에서 LLM으로: 왜 재귀가 사라졌나

시간을 통한 역전파의 문제

지난 10년간 AI 연구의 흐름을 보면, RNN(순환신경망)에서 트랜스포머 기반의 LLM(대형언어모델) 으로의 전환이 일어났습니다. 이 변화는 기술적 필요성에서 비롯됐습니다.

RNN은 자신을 재귀적으로 계속 호출하는 모델입니다. 이론적으로는 AGI(범용 인공지능) 달성에 필수적이라고 믿어졌습니다. 특히 2016년 알렉스 그레이브스의 NIPS 기조연설과 적응형 컴퓨팅 시간(adaptive compute time) 연구는 이 분야의 황금기를 대표했습니다.

그러나 RNN 훈련에는 근본적인 문제가 있었습니다. 시간을 통한 역전파(backpropagation through time, BPTT) 과정에서 입력이 20단계라면, 이 행렬들을 20번 곱하면서 기울기가 점점 작아지거나 폭발적으로 커지는 ** 기울기 소실(vanishing gradient)** 또는 ** 기울기 폭주(exploding gradient)** 문제가 발생합니다.

더 심각한 문제는 메모리입니다. 역전파를 위해서는 모든 시간 단계의 활성화(activation)를 저장해야 합니다. 백만 또는 십억 단위의 컨텍스트 길이를 다룬다면, 이는 뇌를 백만 개 복사하는 것과 같은 메모리 부담이 됩니다. 기울기 체크포인트(gradient checkpointing)로 일부 문제를 해결할 수 있지만, 결국 메모리를 벽시계 시간(wall clock time)과 컴퓨팅 자원과 맞바꾸는 것에 불과합니다.

트랜스포머의 혁명: 효율성의 대가

LLM의 트랜스포머 블록은 이 문제를 우아하게 해결했습니다. 모든 입력을 병렬로 처리 할 수 있기 때문입니다. 훈련 시에 입력을 하나씩 반복적으로 처리하지 않습니다. 대신 인과 마스크(causal mask) 를 통해 모든 시간 단계를 한 번에 처리합니다.

이것이 가능한 이유는 하삼각 행렬 트릭 때문입니다. 순방향 전달도 한 번에, 역방향 전달도 한 번에 수행되므로 훈련 시간이 놀랍도록 단축됩니다. 기울기 소실 문제도 사라집니다.

그러나 이 효율성은 큰 대가 를 치르고 얻어진 것입니다:

1. 잠재 추론 능력의 상실: RNN의 숨겨진 상태(hidden states)는 모든 정보가 압축되어 있어서, 시간 방향에서의 강력한 압축이 가능했습니다.
2. 시간 방향의 압축 부재: LLM에는 이러한 압축이 없습니다. 셰익스피어 소설 전체를 유지해야 아주 작은 부분만 디코딩할 수 있습니다.

---

튜링 머신과 추론의 한계: LLM이 할 수 없는 것

단일 순방향 전달의 한계

여기서 중요한 질문이 제기됩니다. LLM이 진정한 의미의 추론을 하는가?

원래의 단순한 버전 ChatGPT-2를 생각해봅시다. 그것은 순수한 피드포워드 모델이었습니다. 한 단계씩 순방향 전달하여 다음 토큰을 생성했고, 검증 손실과 혼란도(perplexity)는 감소했으며, 어느 정도 그럴듯한 셰익스피어 문장을 만들었습니다.

그러나 이 모델이 실제로 어려운 문제를 해결 하도록 요구하면 근본적인 한계가 드러납니다.

정렬 문제를 예로 들어봅시다. 무한한 양의 정렬되지 않은 목록을 입력하면, 정렬된 목록이 출력되어야 합니다. 충분한 훈련 데이터가 있으면 작동할 것 같죠? 하지만 이론적 한계가 있습니다.

비교 정렬의 이론적 하한은 N log N 단계 입니다. 만약 31개의 요소로 이루어진 목록이 있고, 트랜스포머가 30개의 레이어를 가지고 있다면, 필요한 모든 단계를 수행할 수 없습니다. 모델은 각 레이어에서 한 번의 어텐션만 수행할 수 있기 때문입니다.

이는 정렬뿐 아니라 다른 비압축성 문제(incompressible problems) 에도 적용됩니다:

• 스도쿠 퍼즐: 50개의 빈 칸을 모두 채워야 함
• 미로 탐색: 경로를 찾기 위한 반복적 탐색 필요
• 누적 합계(rolling sums): 시퀀셜 연산이 불가피

외부 메모리의 필요성

대학 알고리즘 수업을 떠올려봅시다. N log N보다 빠르게 정렬하는 방법이 있습니다. 외부 메모리 캐시나 테이프에 접근 할 수 있다면, 기수 정렬(Radix sort)로 성능을 N으로 향상시킬 수 있습니다.

이것이 LLM의 핵심적인 한계 입니다. 모델 내부에 외부 메모리 테이프가 내장되어 있지 않기 때문에, 특정 성능 가능성을 잃게 됩니다.

따라서 트랜스포머 레이어가 부족하면, 그 문제들을 해결할 기회도 사라집니다.

튜링 완전성과 훈련의 딜레마

오리지널 ChatGPT-2 같은 순수 피드포워드 모델은 튜링 완전(Turing complete)하지 않습니다. 단일 순방향 패스로는 모든 튜링 계산 가능한 함수를 시뮬레이션할 수 없습니다.

여기서 "사고의 사슬(chain of thought)" 이 등장합니다. 테스트 시점에 추가 토큰을 생성하면서 중간 단계를 명시적으로 표현하면, 모델은 튜링 완전해집니다. 이론적으로는 모든 계산 가능한 함수를 시뮬레이션할 수 있습니다.

그러나 훈련 문제가 남습니다.

사고의 사슬을 학습시키려면 인간이 레이블링한 흔적(trace) 이 필요합니다. 하지만 많은 문제에 대해서는 이런 훈련 데이터가 존재하지 않습니다. 밀레니엄 난제 같은 경우, 우리는 해결책의 흔적을 가지고 있지 않습니다. 이것이 LLM의 본질적인 한계입니다.

---

HRM(고차 추론 모델): 재귀의 부활

뇌에서 영감을 받은 다층 재귀

이제 2025년의 혁신적인 논문들을 살펴봅시다. 첫 번째는 HRM(Higher-Order Reasoning Models) 입니다.

HRM은 RNN의 계보를 직접 이어받습니다. 뇌에서 영감을 받은 핵심 아이디어는 다음과 같습니다:

뇌의 다른 부분들은 다른 주파수에서 작동합니다.

• 일부는 매우 높은 주파수에서 작동 (낮은 수준의 처리)
• 일부는 매우 낮은 주파수에서 작동 (높은 수준의 개념화)
• 이들 간의 상호작용이 핵심

HRM은 이 개념을 신경망 아키텍처에 구현합니다.

HRM의 작동 원리

HRM이 입력 X를 받으면 다음과 같이 동작합니다:

1. 저수준 모듈(L-net): TL 단계를 수행
2. 고수준 모듈(H-net): TH번 반복
3. 외부 정제 루프: N번의 정제 단계 수행

여기서 정확히 세 가지 수준의 재귀 가 발생합니다:

• 저수준 재귀: L-net에서 TL번 반복
• 고수준 재귀: H-net에서 TH번 반복
• 외부 재귀: 정제 단계를 N번 반복

이를 변수 스코핑(variable scoping) 으로 생각할 수 있습니다. 세 개의 중첩된 함수처럼, 가장 낮은 수준의 함수는 ZL(저수준 잠재 변수) 이라는 스코프 변수를 가지며, 이들은 0으로 초기화됩니다. 전통적인 RNN 문헌에서는 이를 은닉 상태(hidden states) 라고 부릅니다.

심층 평형(Deep Equilibrium) 학습

HRM은 전통적인 BPTT의 문제를 DEQ(심층 평형) 방법 으로 해결합니다.

기존 방식:

1. 배치(batch)를 가져와 모델 순방향 전달
2. 손실 계산
3. 역전파로 가중치 업데이트
4. 다음 배치로 이동

HRM의 접근:

1. 동일한 배치로 순방향 전달과 가중치 업데이트를 16번 반복
2. 반복할 때마다 잔차(residuals)의 변화가 점점 작아짐
3. 은닉 상태(ZL 및 ZH)가 0으로 재설정되지 않음
4. 각 반복은 다양한 메모리 상태에 의해 형성된 다른 "미니배치"로 작동

이 방식은 전체 깊은 재귀를 통해 역전파할 수 있는 능력 을 제공하여 성능을 크게 향상시킵니다.

놀라운 성과

HRM은 ARC Prize 챌린지에서 최첨단 결과 를 달성했습니다:

• 모델 크기: 단 2,700만 개의 매개변수
• 훈련 데이터: 사전 훈련 없이 단 1,000개의 작업만으로 훈련
• 출발점: 백지 상태의 가중치에서 시작
• 성과: ARC Prize 1에서 약 70% 달성
• 비교: O3 모델은 0점을 기록

이는 엄청난 돌파 였습니다.

---

TRM(소형 재귀 모델): 단순화와 확장

HRM에서 학습한 교훈

HRM의 성공 이후, 연구자들은 중요한 발견을 했습니다:

이전 모델의 복잡성 대부분을 제거하면서도 성능을 유지할 수 있다는 것입니다.

이는 머신러닝의 전형적인 진화 패턴입니다. 첫 번째 논문이 새로운 개념을 제시하면, 후속 논문은 종종 "첫 번째 논문의 구성 요소 75%를 삭제하고" 진정으로 필수적인 부분만 유지하면서 유사한 (또는 더 나은) 결과를 얻습니다.

TRM의 핵심 단순화

TRM(Tiny Recursive Models) 에서 "마법"은 두 가지입니다:

1. 외부 정제 루프의 강력함
2. 절단 길이 T=1인 시간에 따른 절단 역전파(truncated BPTT)만으로도 충분

이는 매우 직관적이지 않은 발견입니다. HRM에서 처음 관찰되었던 이 현상을 TRM이 더 발전시켰습니다.

아키텍처 단순화

TRM은 여러 가지를 단순화합니다:

이전 접근:

• H-net(고수준)을 위한 별도의 네트워크
• L-net(저수준)을 위한 별도의 네트워크
• 각각 여러 개의 트랜스포머 레이어

TRM의 접근:

• 가중치 공유를 하는 단일의 "net"
• 고수준 및 저수준 특징을 모두 추출 가능
• 단 하나의 트랜스포머 레이어만 사용 가능
• 저수준(ZL) 및 고수준(ZH) 잠재 상태를 명확히 분리

놀라운 성능 향상

TRM의 성과는 더욱 인상적입니다:

• 이전 모델: 2,800만 개의 매개변수 (HRM)
• 새로운 모델: 700만 개의 매개변수 (TRM)
• 감소율: 약 ** 3~4배 더 작음**
• 성능: ARC Prize 1에서 70%에서 ** 87%로 향상**
• 결론: 모델을 더 작게 만들었지만, ** 재귀가 있기 때문에 더 나은 성능**

이는 단순히 스케일링 법칙을 따르지 않는다는 것을 의미합니다. 더 크다고 반드시 더 좋은 것은 아닙니다.

작동 메커니즘

TRM의 훈련 과정은 기대-최대화(Expectation-Maximization, EM) 알고리즘 과 유사합니다:

1. 초기화: ZH와 ZL을 0으로 초기화
2. 내부 루프 (기울기 추적 없음, no_grad):
   • ZL을 ZH와 X에 조건화하여 여러 번 업데이트
   • 그 다음 ZH를 ZL에 조건화하여 업데이트
3. 외부 루프 (기울기 추적 있음):
   • 출력 생성 전 마지막 정제 단계
   • 손실 계산 및 역전파
   • 가중치 업데이트

이 구조에서:

• ZL: 로컬 계산을 수행하고 잠재적 해결책을 제안 (변수 스코핑)
• ZH: ZL을 통합하고 정제하여 점진적으로 더 완전한 이해 구축

스도쿠 퍼즐 을 예로 들면, 모든 칸을 한 번에 추측할 수는 없습니다. 사용 가능한 정보를 기반으로 점진적으로 추론해 나갑니다. 마찬가지로 TRM도:

• 각 반복에서 로컬 정보(ZL)로부터 후보를 생성
• 고수준 이해(ZH)로 이를 정제
• 반복적으로 문제의 해결책에 접근

훈련과 테스트의 불일치

흥미로운 발견 중 하나는 테스트 시 정제 단계의 수가 훈련 시만큼 높을 필요가 없다 는 것입니다.

스도쿠와 같은 문제의 경우:

• 많은 단계로 훈련되었다면
• 테스트 시점에 단 한 번의 재귀만으로도 거의 완전한 성능 달성 가능

아키텍처 선택의 문제:

• 스도쿠와 같은 더 간단한 작업에서는 기본적인 MLP조차도 트랜스포머보다 뛰어난 성능
• 미로 찾기 작업에서 MLP는 0점을 기록
• 복잡성이 항상 유익한 것은 아님

---

생체 타당성 논쟁과 실용적 유효성

생물학적 영감과 계산적 현실

기계 학습과 신경과학 사이에는 오랜 중복이 있습니다. 인간의 뇌가 어떻게 작동하는지 묻는 것은 당연합니다. 뇌는 놀랍고 효율적인 컴퓨팅 도구이기 때문입니다.

그러나 역사는 흥미로운 교훈을 제공합니다:

패턴: 개념이 생체 타당한 논증으로 시작하지만, 종종 ** 생체적으로 매우 비현실적으로 보이는 변형들이 더 잘 작동**합니다.

사례 연구: AlexNet부터 VGG까지

AlexNet(첫 번째 딥러닝 논문)에는 다음이 포함되어 있었습니다:

• 복잡한 "국소 수용 활성화 또는 억제(local receptive activation or depression)" 기능
• 생물학적 뉴런에서 영감을 받음
• 나중에 불필요한 것으로 밝혀짐

VGG와 후속 모델들:

• 이러한 복잡한 생물학적 영감을 제거
• 대신 깊이를 늘리고 3x3 컨볼루션에 집중
• 성능을 극적으로 향상

생체 적합성의 올바른 역할

생체 타당성의 초기 아이디어는 생물학적 목적에서 영감을 받는 것입니다. 종종 생체 적합성은 아이디어를 생성하는 출발점 이 됩니다.

하지만 실무에서는:

• 생물학적으로 타당한 것에서 출발
• 하지만 생물학적으로는 불가능하더라도 계산적 맥락에서 더 잘 작동하는 해결책을 찾음
• 예: GPU에서 더 효율적으로 실행되는 솔루션

결론: 생체 적합성은 새로운 개념을 위한 매력적인 영감 원천이지만, 그것이 초점을 제한해야 할 이유는 아닙니다. 주요 역할은 ** 더 깊은 탐구를 위한 과학적 출발점**입니다.

오토마타 이론과 알고리즘 관점

더 설득력 있는 관점은 오토마타 이론과 기본적인 자료 구조 및 알고리즘 에서 비롯됩니다.

핵심 통찰:

• 복잡한 알고리즘 실행은 메모리 캐시에 접근 함으로써 큰 이점
• 신경망의 숨겨진 상태를 튜링 머신 테이프나 기수 정렬 메모리 뱅크 에 비유 가능
• 단일 순방향 패스 내에서 이 메모리 캐시를 지능적으로 활용 하도록 모델 훈련

---

사고의 사슬, 도구 사용, 그리고 그 한계

인간 지식에 대한 의존성

우리의 연구는 GPT-2와 같은 모델의 한계를 극복하는 것을 목표로 했습니다. 예를 들어:

정렬 작업 실험:

• 무한한 정렬된 리스트와 정렬되지 않은 리스트가 주어졌을 때
• 모델이 사고의 사슬을 사용하여 모든 정렬 단계를 수행할 수 있다면
• 테스트 시점에 효과적으로 정렬하고 튜링 머신처럼 작동 가능

훨씬 간단한 방법:

• 모델에게 기존 파이썬 정렬 함수를 호출하도록 가르치기
• 역전파를 필요로 하지 않음
• 본질적으로 "꼼수"

근본적인 문제

이러한 접근 방식의 핵심 문제는:

모델은 "정렬"이 무엇인지 알아야 합니다.

• 모델은 첫 번째 원리로부터 병합 정렬을 본질적으로 발견하지 않음
• 기존 지식에 의존함
• 사고의 사슬은 정렬을 발명 하는 것이 아니라 훈련된 과거 데이터에서 검색

"아인슈타인 테스트" 개념

이 개념은 "아인슈타인 테스트" 와 유사합니다:

• AI가 1911년의 모든 물리학을 재현하도록 시도
• 만약 모델에게 버블 정렬만 가르쳤다면
• 사고의 사슬을 사용하더라도 버블 정렬만 수행
• 심지어 특별히 잘 하지도 못함

핵심 한계

사고의 사슬과 도구 사용 모두 인간 지식의 범위에 의해 제한됩니다.

만약 어떤 문제가 이러한 인간 지식 기반을 벗어난다면, 모델은 본질적으로 운이 없는 것입니다. 이것이 LLM의 추론 능력의 근본적인 한계를 나타냅니다.

---

이산 공간 vs. 연속 잠재 공간

표현의 차원

LLM과 같이 이산 공간에서 추론 한다는 것은 모델의 "캐리(carry)"가 이산 토큰 공간으로 다시 매핑 되어야 함을 의미합니다.

대조적으로, 일반적인 RNN은:

• 훨씬 더 고차원적
• 표현력이 더 풍부한 연속 잠재 공간(continuous latent space) 에서 작동
• 더 복잡한 추론 구조 표현 가능

효율성과 비용의 트레이드오프

연속 공간의 장점:

• 더 강력한 표현 능력
• 복잡한 알고리즘 구현 용이
• 더 효율적인 압축

연속 공간의 단점:

• 훨씬 더 비용이 많이 듦
• 시간에 따른 역전파(backpropagation through time)의 복잡성 으로 인해 훈련에 제약
• 메모리 요구량 증대

바로 이것이 우리가 논의하는 이 논문들이 매우 중요한 이유입니다. 이들은 연속 공간의 이점을 활용하면서도 훈련의 어려움을 극복하는 방법을 제시합니다.

---

외부 정제 루프와 "마법"의 발견

놀랍도록 효율적인 개념

HRM 논문의 가장 중요한 핵심은 "외부 정제 루프(outer refinement loop)" 개념입니다. 이것이 ** 놀랍도록 잘 확장**됩니다.

프랑수아 숄레의 회사인 Ndia의 콘스탄틴이 이에 대해 훌륭하게 설명한 자료가 있습니다. 본질적으로 핵심 발견은:

이전 모델의 복잡성 대부분을 제거하면서도 성능을 유지할 수 있다는 것입니다.

이는 머신러닝의 많은 발전과 유사합니다.

단순화의 역설

후속 연구 패턴:

1. 첫 번째 논문: 새로운 개념 + 많은 복잡한 세부사항
2. 후속 논문:
   • "첫 번째 논문의 구성 요소 75%를 삭제하고"
   • "마법" 즉, 진정으로 필수적인 부분만 유지
   • 유사한 (또는 더 나은) 결과 달성

TRM에서의 단순화

TRM 논문에서 "마법"은 다음을 포함합니다:

1. 외부 정제 루프의 강력함

   • 반복적 정제가 성능을 크게 향상
   • 파라미터 추가 없이 깊이 증가

2. 절단 길이 T=1 BPTT의 충분성

   • 시간에 따른 절단 역전파에서 오직 마지막 단계만 역전파
   • 메모리 효율성 극대화
   • 여전히 강력한 성능 유지

3. 가중치 공유 단일 네트워크

   • 별도의 H-net과 L-net 대신 하나의 네트워크
   • 고수준과 저수준 특징 모두 추출
   • 파라미터 수 4배 감소

실증적 검증

이러한 단순화의 효과는 놀라운 결과 입니다:

• 모델 크기: 2,800만 → 700만 (75% 감소)
• ARC Prize 1 성능: 70% → 87% (17% 향상)
• 계산 효율: 파라미터 대비 성능이 극적으로 향상

---

미래 방향: 스케일 + 재귀의 결합

현재의 한계와 가능성

AI 연구에서 현재 진행 중인 여러 흐름이 있습니다:

1. 재귀 모델의 강력함

   • 구글에서 나온 재귀적 언어 모델(recursive language models)
   • 매우 강력하고 효과적
   • 당분간 사라지지 않을 핵심 요소

2. 외부 정제 루프와 T=1 BPTT

   • 강력한 아이디어
   • 여전히 깊이 있게 탐구되지 않음
   • 내부 작동 메커니즘이 완전히 이해되지 않음

3. 소형 재귀 모델의 성능

   • 7백만 개의 매개변수로 거대 모델이 풀지 못하는 문제 해결
   • 수조 개의 매개변수로 훈련된 모델을 능가
   • 올바른 아키텍처의 중요성 증명

최적의 조합: 스케일 + 재귀

가능한 미래의 방향:

현재: 부분적인 접근

• 일부 대형 모델(예: Gemini)에는 이미 이런 요소들이 포함되어 있을 수 있음
• 하지만 완전하게 결합되지 않음

최적의 미래: 완전한 통합

• TRM의 재귀적 효율성
• 대형 모델의 광범위한 지식
• 둘의 장점을 완전히 결합

결론: 이 두 가지를 모두 취해서 실제로 결합하면, 엄청나게 발전할 것입니다. 정말 거대해질 겁니다.

범용성의 도전

현재의 중요한 한계:

TRM과 HRM의 특수성:

• 범용 모델이 아님
• 특정 작업에 특화된 모델
• 스도쿠용 모델은 본질적으로 ARC Prize를 풀 수 없음
• 각 작업마다 별도의 훈련 필요

LLM의 범용성:

• 범용 모델로 다양한 작업 수행
• 인컨텍스트 학습(in-context learning) 가능
• 미세 조정(fine-tuning)으로 적응 가능
• 다음 토큰 예측이라는 단일 목표로 훈련

흥미로운 교차점

가능한 돌파구:

문제: 특수한 모델을 범용적으로 만들 수 있을까?

해결책:

• 이러한 재귀 모델들을 범용적인 에이전트로 만들기
• 다음 토큰 예측 알고리즘이 제공했던 방식처럼 범용성 달성
• 더 복잡한 추론을 수행할 수 있는 능력

이를 달성한다면:

• 정말 효율적인 아키텍처 를 가질 수 있음
• 복잡한 추론을 위한 우아한 솔루션
• 성능과 효율성의 최적 균형

임베딩 공간에서의 추론

현재의 이해:

LLM이 하는 일:

• 놀라운 임베딩 표현 공간을 찾기
• 의미론적으로 분리되고 정리된 공간 구축

LLM의 한계:

• 그 공간 내에서의 추론은 실제로 많이 일어나지 않음
• 추론이 발생하는 방식: 항상 토큰 공간을 통해
• 이산 토큰 공간으로의 제약

미래의 가능성:

1. 토큰/픽셀에서의 매핑

   • 토큰 또는 시각 정보로부터 매핑 찾기
   • 의미론적으로 분리된 멋진 잠재 공간 구축
   • 후속 작업 처리를 훨씬 쉽게 함

2. 잠재 공간에서의 추론

   • 그 공간 내에서 작은 추론 모델(TRM/HRM 스타일) 사용
   • 재귀를 활용한 추론
   • 비이산 잠재 공간에서 작동

3. 통합된 시스템

   • 큰 모델: 훌륭한 임베딩 공간 학습
   • 작은 재귀 모델: 그 공간에서 복잡한 추론 수행
   • 정말 효과적인 조합

---

결론

2025년의 AI 연구는 스케일만 추구하는 단순한 접근에서 벗어나 더 정교한 패러다임으로 향하고 있습니다.

핵심 인사이트

1. 재귀는 필수입니다

   • 단순히 더 많은 파라미터로는 모든 문제를 해결할 수 없음
   • 복잡한 알고리즘은 반복적 추론 필요
   • RNN 시대의 교훈이 다시 부활

2. 작은 모델도 강력할 수 있습니다

   • 올바른 아키텍처가 임의의 크기보다 중요
   • 7백만 개 파라미터로 조 개 파라미터 모델 능가 가능
   • 효율성의 새로운 가능성

3. 외부 정제와 T=1 BPTT가 마법입니다

   • 강력하면서도 간단한 아이디어
   • 메모리 효율적이면서도 성능 유지
   • 더 깊이 있는 이해 필요

4. 범용성과 특수성의 균형

   • 현재 특수한 재귀 모델과 범용 LLM의 조합이 미래
   • 임베딩 공간에서의 재귀적 추론 가능성
   • 새로운 통합 아키텍처의 출현 가능

최종 전망

AI의 다음 스케일링 법칙은 모델 크기가 아니라 재귀 깊이 입니다. 올바른 아키텍처로 작은 모델이 거대한 모델보다 더 효율적이고 강력할 수 있다는 발견은 AI 산업의 방향을 근본적으로 바꿀 것입니다.

이 변화는 단순히 기술적 진보가 아니라 AI가 어떻게 추론하고 학습하는지에 대한 우리의 이해 를 깊게 합니다. 2025년과 그 이후, 이 재귀적 패러다임이 어떻게 발전하고 실제 응용에 어떻게 구현될지 지켜보는 것이 매우 흥미로울 것입니다.

---

Original source: Beyond Bigger Models: Recursion As The Next Scaling Law In AI

powered by osmu.app