Databricks CEO: AI에는 context가 필요하다

Databricks CEO Ali Ghodsi는 AI에 더 많은 지능만 필요한 게 아니라 context가 필요하다고 봄. context 없는 AI는 쓸모없다는 표현까지 함
Databricks는 $134B valuation에 $5B equity를 조달했고, core data platform, Lakebase, Genie, AI research, GPU에 투자 중
Ghodsi는 SaaS apocalypse를 “모든 SaaS가 죽는다”가 아니라, AI로 진입장벽이 낮아져 기존 소프트웨어 시장을 더 쉽게 공격할 수 있게 된 변화로 봄
agent가 Databricks에 보내는 query가 사람 query를 넘어섰다고 말함. 소비 기반 과금 모델에서는 agent 사용량 증가가 매출 증가로 연결됨
Bloomberg Tech 인터뷰. Ali Ghodsi는 Databricks 공동창업자 겸 CEO로, 데이터 플랫폼과 AI agent가 어떻게 합쳐지는지 설명함

왜 AI에는 더 많은 지능보다 context가 필요한가?

Ghodsi의 핵심 문장: “We don’t need more intelligence. We need context for the AI”
여기서 context는 긴 prompt가 아니라, 회사의 실제 데이터, 권한, 업무 흐름, 보안 정책, 비용 제한까지 포함하는 환경에 가까움
Databricks의 Genie는 사용자가 회사 데이터와 대화할 수 있게 하는 conversational AI 제품임
기업 입장에서는 “똑똑한 모델”만으로 부족함. 어떤 데이터에 접근할지, 어떤 권한으로 답할지, 어떤 행동은 막을지가 더 중요해짐
그래서 Databricks는 core data platform, security, Lakebase(AI용 database), Genie, reinforcement learning 연구에 동시에 투자하고 있음
AI agent가 실제 업무를 하려면 모델과 데이터가 따로 놀면 안 됨. 데이터 플랫폼 자체가 agent의 작업 공간이 되는 쪽으로 가고 있음

SaaS apocalypse는 Databricks에게 왜 기회인가?

Ghodsi는 AI가 소프트웨어를 만드는 속도를 10배 빠르게 만들었다고 봄
그래서 기존 SaaS 시장의 진입장벽이 낮아짐. 5년 전에는 만들기 어려웠던 경쟁 제품도 훨씬 빠르게 만들 수 있음
Databricks가 새로 들어간 예시는 security 시장임. Lake Watch를 통해 보안 시장으로 확장하고 있음
이유는 두 가지임. agent가 공격자가 되면서 보안 위협이 바뀌고 있고, 기존 보안 회사들은 비싼 데이터 수집과 legacy model에 묶여 있다는 것
Databricks는 기존 security revenue가 없기 때문에 innovator’s dilemma가 덜함. 지켜야 할 매출이 없으면 기존 가격과 구조를 깨는 제품을 더 쉽게 낼 수 있음
다만 팀은 작고 빠르게 유지해야 한다고 말함. AI 시대에는 큰 팀이 조율 비용 때문에 느려질 수 있다는 입장

변화	Databricks가 보는 의미
AI로 소프트웨어 제작 속도 증가	새 시장 진입이 쉬워짐
agent 기반 공격 증가	기존 security 가정이 흔들림
기존 업체의 높은 비용 구조	낮은 가격과 새 구조로 공격 가능
Databricks의 데이터 기반	security, governance, AI agent 관리가 가까워짐

agent는 데이터 플랫폼을 어떻게 바꾸나?

Ghodsi는 Databricks에서 agent가 보내는 query가 사람 query보다 많아졌다고 말함
과거에는 query를 보내는 주체가 거의 전부 사람이었지만, 지금은 agent가 빠르게 늘고 있음
agent는 사람보다 훨씬 많은 요청을 빠르게 보냄. Databricks처럼 사용량 기반 과금 모델에서는 이 변화가 곧 매출 성장 요인이 됨
실제로 Databricks는 Q4 기준 ARR(연간 반복 매출)이 약 $5.4B였고, Q1 성장률이 전년 대비 65%보다 빨랐다고 언급함
OpenAI와 Anthropic 같은 AI 회사들도 Databricks 고객이라고 말함. OpenAI는 많은 사용자 규모에서 이상 행동을 모니터링하는 데 Databricks를 쓴다는 설명이 나옴
즉 AI 회사가 커질수록 데이터 관측, 안전 모니터링, query control 인프라도 같이 커지는 구조임

AI 비용은 어떻게 통제하나?

Ghodsi가 본 최근 변화는 기업 IT 부서가 AI 비용 때문에 당황하기 시작했다는 것임
개발자는 모델을 쉽게 바꿀 수 있음. 자연어로 말하는 모델이라 새 모델이 더 싸고 좋으면 바로 갈아타기 쉬움
문제는 기업 전체 사용량이 폭증하면 비용이 예측 불가능해진다는 것임
Databricks의 Unity Gateway는 원래 어떤 모델을 쓰는지, 데이터가 어디로 가는지 통제하기 위한 보안 목적이 컸음
그런데 고객들은 이걸 비용 통제에도 많이 씀. budget을 걸고, 어떤 모델을 언제 쓸지 관리하려는 수요가 커졌기 때문임
새 패턴은 advisor model임. 작고 빠르고 싼 open source model이 기본 작업을 하고, 막힐 때만 큰 frontier model을 도구처럼 호출하는 방식
이렇게 하면 사용량은 늘어도 비용 증가를 평평하게 만들 수 있다고 설명함
Ghodsi는 중국 open source model이 비용 때문에 많이 쓰인다고도 말함. $30M짜리 선택지와 $1M짜리 선택지가 있으면, 기업은 결국 가격을 보게 된다는 것

Genie는 무엇인가요?

Genie는 Databricks의 conversational AI 제품으로, 사용자가 회사 데이터와 대화하듯 질문할 수 있게 해주는 도구임. 핵심은 모델이 그냥 답하는 게 아니라, 실제 기업 데이터와 권한 안에서 답하도록 context를 붙이는 것임.

Unity Gateway는 왜 중요해졌나요?

Unity Gateway는 기업이 어떤 AI 모델을 쓰는지, 데이터가 어디로 가는지, 예산을 얼마나 쓸지 통제하는 관문 역할을 함. 처음에는 보안 목적이 컸지만, 지금은 AI 비용 폭증을 막는 장치로도 쓰이고 있음.

advisor model은 무엇인가요?

작고 싼 모델을 기본 worker로 쓰고, 어려운 순간에만 큰 모델을 호출하게 하는 방식임. 모든 작업을 비싼 frontier model에 맡기지 않아서 비용을 낮추면서도 성능을 유지할 수 있음.

1인기업 관점

이 인터뷰는 1인기업도 “무슨 모델을 쓰나”보다 “내 서비스가 어떤 context를 쥐고 있나”를 봐야 한다는 말처럼 들림. 모델은 한 달마다 바뀌고 가격도 계속 흔들리는데, 고객 데이터, workflow, 권한, 비용 통제는 제품 안에 쌓이는 자산인 듯함. 작은 서비스일수록 advisor model처럼 싼 모델을 기본으로 두고, 진짜 어려운 순간에만 비싼 모델을 쓰는 구조를 처음부터 잡는 게 맞을 것 같음.

Databricks CEO: AI에는 context가 필요하다 (youtube.com) ↗