업계 최초의 레이크 트랜잭션 및 분석 처리 아키텍처, 데이터브릭스 ‘LTAP(Lake Transactional/Analytical Processing)’ 출시

업계 선도적인 데이터 및 AI 기업 데이터브릭스(Databricks)가 레이크 내 단일 스토리지 사본을 기반으로 트랜잭션, 분석, 스트리밍 및 운영 데이터를 하나로 통합하는 새로운 데이터 처리 아키텍처인 ‘LTAP(Lake Transactional/Analytical Processing)’를 발표했다. 

이를 통해 기업들은 지난 수십 년간 데이터 인프라 구축 시 불가피하게 수반되던 파이프라인, 데이터 복제본, ETL(추출·변환·적재) 부담 없이 데이터를 읽고 추론하며 실행할 수 있는 단일 거버넌스 기반을 확보할 수 있게 되었다. 레이크베이스(Lakebase)의 혁신적인 기술 발전을 바탕으로 구현된 LTAP는 AI 애플리케이션 시대를 위한 새로운 데이터 기반을 제시한다. 

에이전트 시대를 위한 새로운 데이터 기반

지난 40년간 트랜잭션과 분석 워크로드는 서로 단절된 시스템에서 운영되어 왔다. 운영 데이터베이스는 애플리케이션을 구동했고, 분석 시스템은 비즈니스 질문에 답하는 구조였다. 이 둘을 연결하려면 데이터 흐름이 취약하고 부하에 끊어지기 쉬운 CDC(변경 데이터 캡처) 파이프라인을 구축해야만 했다. 이는 AI 도구 도움 없이 사람이 소프트웨어를 개발하던 시절에도 이미 비효율적인 타협안이었다. 하지만, 오늘날 AI는 개발자가 과거보다 약 50배 더 많은 애플리케이션을 제작할 수 있도록 지원하며, 이 중 상당수는 거의 실시간으로 데이터를 읽고 추론하며 실행해야 하는 에이전트에 의해 구동된다. 과거의 아키텍처는 이러한 환경을 수용하도록 설계되지 않았다. 

데이터 업계는 과거에도 이처럼 단절된 시스템 문제를 해결하기 위해 시도해왔다. HTAP(하이브리드 트랜잭션·분석 처리)는 단일 엔진에서 트랜잭션과 분석 데이터를 통합하겠다고 약속했지만, 그 과정에서 워크로드 격리가 무너져 양쪽 모두의 성능 저하를 초래했고, 결국 기업에게 거대하고 비용이 많이 드는 독점 인프라 부담을 남겼다. 제로 ETL 역시 다른 방식으로 접근했지만, 이는 CDC 파이프라인을 완전히 제거하기보다는 숨기는데 그쳐 아키텍처적인 근본 문제는 여전히 남겨두었다. 

반면 LTAP는 근본적으로 다른 접근 방식을 취한다. 두 워크로드를 하나의 엔진에 강제로 구동하거나 파이프라인을 숨기는 대신, 스토리지 레이어에서 데이터를 통합한다. 모든 운영 데이터는 별도의 파이프라인 없이 레이크 내에서 즉시 쿼리가 가능하고 분석에 활용할 수 있다. 또한 트랜잭션 및 분석 워크로드는 완전한 성능과 엄격한 격리 상태를 유지하며 각각 독립적으로 확장된다. 특히 LTAP는 개방형 표준을 기반으로 구축되었기 때문에, 포스트그레스를 지원하는 모든 애플리케이션 및 아이스버그(Iceberg), 델타(Delta)와 같은 개방형 테이블 형식을 이해하는 모든 읽기 엔진(reader)과 완벽하게 호환된다. 

데이터브릭스 공동창립자 겸 CEO 알리 고드시(Ali Ghodsi)는 “지난 수십 년 동안 복잡한 데이터 인프라는 기업들이 어쩔 수 없이 부담해야 하는 일종의 세금과 같았다”며, “하지만 에이전트 시대가 도래하면서, 불과 몇 달 만에 기업들은 사람이 아닌 AI를 통해 실질적인 인력을 두 배로 늘리게 됐다. 에이전트는 사람이 절대 따라갈 수 없는 속도로 코드를 작성하고, 호출을 보내며, 루프를 실행한다. 이전 컴퓨팅 시대를 지탱했던 인프라는 이제 그 누구도 감당할 수 없는 병목 현상이 되었으며, LTAP는 바로 이 병목 현상을 완전히 제거한다”고 강조했다. 

레이크베이스의 기능 확장: 재해 복구 및 깃 스타일 브랜칭·스냅샷

LTAP를 향한 첫 단추는 레이크하우스를 구동하는 동일한 레이어인 오브젝트 스토리지에 포스트그레스 네이티브 트랜잭션을 도입한 ‘레이크베이스’였다. 레이크베이스는 컴퓨팅과 스토리지를 분리함으로써 수천 개의 애플리케이션과 에이전트를 동시에 구동하는 데 드는 비용 구조를 근본적으로 혁신했다. 지난해 출시된 레이크베이스는 이미 블록(Block), 앙상블(Ensemble), 슈퍼휴먼(Superhuman), 질로우(Zillow) 등 수천 개의 고객사를 확보했으며, 일일 1,200만 건의 데이터베이스 실행을 처리하고 있다. 

데이터브릭스는 엔터프라이즈급 AI를 대규모로 확장할 수 있도록 레이크베이스의 기능을 한층 넓히는 신규 역량들을 발표했다. 새롭게 추가된 크로스 클라우드(Cross-cloud) 및 크로스 리전(Cross-region) 재해 복구 기능은 에이전트가 핵심 비즈니스 운영을 주도함에 따라 점점 더 중요해지는 데이터 아키텍처의 회복탄력성을 극대화한다. 또한 새롭게 도입된 깃(Git) 스타일의 브랜칭 및 스냅샷 기능을 통해 운영 데이터에 영향을 주지 않고 안전하게 테스트를 진행할 수 있으며, 자율형 데이터베이스 운영 기능으로 에이전트가 스스로 시스템 상태를 모니터링하고, 성능 저하를 감지하며, 인덱스를 제안하고, 장애 복구를 지원할 수 있도록 돕는다. 

아키텍처를 완성하는 LTAP의 주요 특징

레이크베이스와 레이크하우스는 기존에도 스토리지 레이어를 공유해왔으나, 각자 고유의 포맷으로 데이터 사본을 별도 관리해왔다. LTAP는 이 격차를 완벽히 메운다. 레이크베이스는 레이크하우스와 동일한 개방형 포맷을 사용해 유니티 카탈로그(Unity Catalog)에 데이터를 직접 저장한다. 그 결과, 지난 수십 년간 엔터프라이즈 데이터 인프라의 발목을 잡았던 고질적인 타협점들을 모두 해결하는 세 가지 핵심 특징 기반의 간결한 아키텍처가 완성되었다. 

l  단일 진실 공급원 기반의 통합 거버넌스: 모든 운영, 분석 및 스트리밍 데이터는 변환이나 품질 저하 없이 델타와 아이스버그 등 개방형 포맷 형태로 개방형 오브젝트 스토리지에 저장된다. 모든 요소가 유니티 카탈로그를 통해 단일 ID, 권한 및 감사 모델로 거버넌스를 보장받기 때문에, 모든 엔진이 동일한 사본을 읽고 에이전트 역시 조치를 취할 수 있는 단일 거버넌스 환경을 공유하게 된다.

l  워크로드별 성능 저하 없는 실행: 트랜잭션 워크로드는 완전한 ACID 트랜잭션을 보장하는 표준 포스트그레스에서 실행된다. 분석 워크로드는 규모와 동시성에 관계없이 전체 레이크하우스 전반에서 구동된다. 각 워크로드는 독립적으로 확장되며, 시스템 간 데이터 이동이 없기 때문에 운영 및 분석 결과가 별도의 복제본이나 섀도우 인프라 없이 언제나 실시간으로 동기화된다.

l  ETL 파이프라인의 원천 제거: 운영 및 분석 스토리지를 동기화하는 파이프라인이나 유지 관리해야 할 복제본, 시스템 간 데이터를 이동시키는 커넥터도 존재하지 않는다. 아키텍처에서 ETL 레이어를 완전히 제거함으로써, 시스템 동기화에 드는 운영 비용을 절감하는 동시에 데이터의 최신성을 보장한다. 

앙상블(Ensemble) 최고기술책임자(CTO) 그랜트 비지(Grant Veazey)는 “우리가 지원하는 의료 시스템의 경우, 수익 주기의 속도와 정확성은 실제 환자 케어 역량에 직결된다”며, “데이터브릭스에 대한 당사의 초기 투자를 통해 2페타바이트 이상의 정제되고 표준화된 수익 주기 데이터를 지원하는 거버넌스 기반을 구축할 수 있었다. 레이크베이스와 LTAP는 운영 및 분석 워크로드를 단일 레이어 위에 통합함으로써 이러한 기반을 더욱 확장해 주었으며, 당사의 수익 주기 관리(RCM)에 특화된 AI가 실제 운영 환경에서 제 성능을 발휘하는 데 필요한 실시간 데이터 접근성을 제공한다. 이는 결과적으로 의료 제공자의 재무 성과 향상으로 이어져, 응급실, 신생아 집중치료실(NICU) 등 필수 의료 서비스로 더 많은 수익이 재투자되는 선순환을 만들어내고 있다”고 말했다.

이용 가능성

LTAP는 레이크베이스의 일부로 곧 제공할 예정이다.