모델 경쟁 다음은 앱과 취향: George Hotz

George Hotz는 이제 “모델을 더 크게 만들면 명확히 더 좋아지는 시대”가 거의 끝났다고 봄
AI는 어려운 문제를 풀 수는 있지만, 더 좋은 답을 얻으려면 비용이 기하급수적으로 늘고 결과는 선형으로만 좋아진다는 주장
인터넷에서 뽑을 수 있는 좋은 학습 데이터는 이미 대부분 캐냈고, 그 결과가 약 20조 개의 좋은 토큰이라는 관찰
다음 경쟁은 모델 스케일링보다 앱, 효율, 취향. 같은 수준의 지능을 더 싸게, 더 많은 사람에게 나눠주는 쪽이 중요해진다는 이야기
George Hotz는 iPhone 첫 탈옥, comma.ai, tinygrad로 유명한 해커/엔지니어. 이 글은 “AI에는 진입장벽이 없다”는 이전 주장과 이어지는 짧은 블로그 글

왜 더 큰 AI가 항상 더 좋은 AI는 아닌가?

AI와 검색은 비슷한 성질이 있음. 답을 조금 더 좋게 만들려면 돈이 훨씬 더 많이 들어감
쉬운 비유로 보면, 시험 점수를 60점에서 80점으로 올리는 것보다 98점에서 99점으로 올리는 게 훨씬 비싼 구조
그래서 앞으로 한동안은 “이론상 풀 수는 있지만 너무 비싸서 자주 못 푸는 문제”가 늘어날 수 있음
Hotz는 검증 가능한 영역에서는 지금 공개된 방법을 고치고 키우는 것만으로도 꽤 멀리 갈 수 있다고 봄
이 관점에서 Anthropic 같은 프론티어 랩이 규제 장벽을 원한다는 해석도 나옴. 모델 훈련 자체에는 영구적인 진입장벽이 약하다는 것

인터넷 데이터는 왜 거의 다 캤다고 보나?

Hotz의 숫자는 강함. 인터넷 전체에서 건질 수 있는 좋은 데이터가 약 20조 토큰이라는 것
Chinchilla optimal(데이터 양과 모델 크기를 균형 있게 맞추는 훈련 법칙) 기준으로 보면, 이 데이터는 약 1조 개 가중치 모델에 맞는 규모라고 설명함
500GB 정도면 사람 지식을 단순히 검색하기 좋은 압축 파일처럼 담을 수 있다는 비유도 나옴
비교로 Wikipedia는 압축이 아주 좋지 않아도 24GB 정도라고 언급
핵심은 “더 많은 인터넷을 긁자”가 더 이상 큰 답이 아닐 수 있다는 점. 이제 병목은 데이터 양보다 효율, 버그 수정, 어떤 문제를 풀지 정하는 감각으로 이동함

과거 경쟁	다음 경쟁
더 큰 데이터	더 좋은 데이터 사용
더 큰 모델	더 싼 추론과 더 높은 효율
벤치마크 점수	실제 문제 해결 비용
모두가 같은 스케일링	각자의 취향과 문제 선택

초인간 지능은 무엇으로 감지할 수 있나?

Hotz는 GPT 5.5가 이미 웬만한 문제를 잘 풀어서, 본인도 “이건 못 풀겠지” 싶은 문제를 찾기 어렵다고 말함
여기서 질문이 생김. 사람이 더 똑똑함을 감지하지 못하면, “초인간 지능”이라는 말은 무엇을 뜻하나?
물론 일부 영역은 여전히 차이가 보임. 최적화 문제처럼 숫자가 낮아지거나 성능이 올라가는 걸 직접 볼 수 있는 영역
하지만 노래, 글, 제품 같은 영역은 다름. “무엇을 최적화해야 하는가” 자체가 문제이기 때문
Hotz는 대부분의 일이 단순 최적화 문제가 아니라고 봄. 어려운 부분은 정답을 찾는 계산보다, 무엇이 좋은지 정하는 기준에 있음

왜 이제 취향이 중요해지나?

기술은 S-curve(처음엔 느리다가 급성장하고, 어느 순간 완만해지는 곡선)를 따라감
AI도 이미 몇 번의 S-curve를 지났고, Hotz는 이제 스케일링만으로 명확한 개선이 나오는 구간은 끝났다고 느낌
그래서 다음 목표는 이 곡선 끝에 도달한 도구를 최대한 많은 사람에게 나눠주는 것
여기서 취향이 중요해짐. 모두가 비슷한 지능의 도구를 쓰게 되면, 차이는 “무엇을 만들지”, “무엇을 버릴지”, “무엇을 좋다고 느끼는지”에서 나옴
그는 이 영역을 많은 사람이 경쟁할 수 있는 무대라고 표현함. 자본보다 감각이 더 많이 개입되는 공간이라는 뜻

AI 스케일링은 정말 끝난 건가?

Hotz는 완전히 끝났다고 단정하기보다, 스케일링만으로 모두가 체감하는 큰 개선이 나오는 구간은 거의 지나갔다고 보는 쪽에 가까움. 일부 검증 가능한 문제나 최적화 문제에서는 계속 좋아질 수 있음. 다만 음악, 글, 제품처럼 기준 자체가 애매한 영역에서는 “더 똑똑함”보다 “무엇이 좋은가”가 더 중요해짐.

AI가 더 좋아지면 무엇이 달라지나?

더 어려운 문제를 풀 수는 있지만, 비용이 크게 늘 수 있음. 그래서 다음 변화는 단순히 가장 똑똑한 모델 하나가 아니라, 충분히 좋은 모델을 더 싸고 빠르게 쓰는 방식에서 나올 가능성이 큼. 같은 성능을 더 낮은 비용으로 쓰는 효율 경쟁이 중요해짐.

취향이 왜 AI 시대의 진입장벽이 되나?

모두가 강한 AI 도구를 쓰면 “만드는 능력”의 차이는 줄어듦. 그 다음 차이는 무엇을 만들고, 무엇을 만들지 않을지 고르는 감각에서 생김. 즉 취향은 디자인 감각만이 아니라 문제 선택, 품질 기준, 배포 방식까지 포함하는 운영 능력에 가까움.

1인기업 관점

이 글은 1인기업한테 꽤 좋은 소식인 듯. 스케일링 경쟁이 끝나고 효율과 취향의 게임이 오면, 거대 모델을 직접 만들 필요 없이 좋은 도구를 싸게 조합하는 사람이 유리해짐. 결국 중요한 건 “AI로 더 많이 만들기”가 아니라 무엇을 만들고 무엇을 안 만들지 고르는 감각인 것 같음. 최근 AI slop 얘기랑도 이어지는데, 툴이 평준화될수록 취향이 진짜 차이가 될 듯.

관련: George Hotz의 이전 글 AI에는 진입장벽이 없다: George Hotz와 더 빨리 만들수록 검증은 줄고 기능만 늘어난다도 같이 보면 좋습니다.

모델 경쟁 다음은 앱과 취향: George Hotz (geohot.github.io) ↗