데이터 업무에 에이전틱 엔지니어링 도입, 데이터브릭스 ‘지니 코드(Genie Code)’ 출시

업계 선도적인 데이터 및 AI 기업 데이터브릭스(Databricks)가 데이터 업무 방식을 근본적으로 변화시키는 자율형 AI 에이전트 ‘지니 코드(Genie Code)’를 출시했다고 발표했다. 

지니 코드는 데이터 파이프라인 구축, 장애 디버깅, 대시보드 배포, 운영 시스템 유지관리 등 복잡한 작업을 수행할 수 있다. 데이터브릭스의 실제 데이터 사이언스 과업 수행 테스트에서, 지니 코드는 기존 주요 코딩 에이전트 대비 성공률을 두 배 이상 향상시킨 것으로 드러났다. 에이전트 기반 코딩 도구가 자동 완성형 지원에서 에이전트 주도 개발로 소프트웨어 엔지니어링을 혁신한 것처럼, 지니 코드는 데이터 엔지니어링·데이터 사이언스·애널리틱스 분야에서 동일한 패러다임 변화를 불러올 것으로 기대된다. 

지니 코드는 사용자가 데이터와 대화하듯 질문하고 신뢰할 수 있는 답을 즉시 얻을 수 있도록 지원하는 지니(Genie)의 신규 기능이다. 지니는 유니티 카탈로그(Unity Catalog)에 저장된 컨텍스트와 의미 정보를 기반으로 작동하며, 지니 코드는 이 접근 방식을 데이터 전문가 영역으로 확장해 기업 데이터 전반에서 아이디어를 실제 운영 환경으로 구현하기 위해 필요한 복잡한 엔지니어링 작업을 수행한다. 또한, 데이터브릭스는 AI 에이전트 평가 및 강화학습 기술 기업인 쿼션트 AI(Quotient AI)를 인수했다고 발표했다. 이번 인수를 통해 지니와 지니 코드에 지속적인 평가 기능을 내장할 계획이다.

에이전틱 데이터 워크의 부상

현재 대부분의 데이터 도구는 AI를 코드 작성이나 테스트 실행 등을 지원하는 보조 도구로 활용하고 있다. 이로 인해 데이터 팀은 계획 수립, 조정, 운영, 검증, 유지관리 등 핵심 업무를 여전히 수동으로 수행해야 한다. 지니 코드는 이러한 접근 방식을 근본적으로 전환한다. 지니 코드는 문제를 스스로 분석하고 다단계 접근 방식을 계획하며, 운영 수준의 코드를 작성하고 검증한 뒤 결과를 지속적으로 유지 및 관리한다. 동시에 중요한 의사결정은 사람이 직접 통제할 수 있도록 설계됐다.

데이터브릭스 공동창립자 겸 CEO 알리 고드시(Ali Ghodsi)는 “지난 6개월 동안 소프트웨어 개발은 코드 지원에서 완전한 에이전틱 엔지니어링으로 빠르게 전환됐다. 지니 코드는 이러한 혁신을 데이터 팀에도 가져다줄 것”이라며, “AI가 데이터 전문가를 보조하던 시대에서 전문가의 지침 하에 AI 에이전트가 실제 업무를 수행하는 시대로 전환되고 있으며, 이를 ‘에이전틱 데이터 워크(Agentic Data Work)’라고 부른다. 이는 기업의 의사결정 방식을 근본적으로 변화시킬 것”이라고 말했다. 

지니 코드의 주요 기능 및 특징

기존 에이전틱 코딩 도구는 데이터 계보(lineage), 사용 패턴, 비즈니스 의미 등 핵심 컨텍스트에 접근하지 못해 데이터 작업 수행에 한계를 보였다. 지니 코드는 이러한 컨텍스트 격차를 해소해 운영 환경에 필요한 높은 수준의 정확성과 거버넌스를 확보할 수 있도록 지원한다. 

l  전문 머신러닝 엔지니어 역할 수행: 지니 코드는 머신러닝 워크플로우 전 과정을 엔드 투 엔드(end-to-end)로 처리한다. 복잡한 문제를 분석해 모델을 설계·작성·배포하며, 실험 내용을 ML플로우(MLflow)에 기록하고 서빙 엔드포인트를 최적화해 최고 수준의 성능을 구현한다.

l  데이터 엔지니어링 전문성 내재화: 초보 엔지니어가 테스트 데이터에서만 작동하는 스크립트를 작성하는 것과 달리, 지니 코드는 시니어 아키텍트 수준의 설계를 수행한다. 스테이징과 운영 환경 간의 차이를 고려하고, 변경 데이터 캡처(CDC)를 위한 워크플로우를 구축하며 데이터 품질 기준을 적용한다.

l  사전 대응형 유지관리 및 최적화: 지니 코드는 백그라운드에서 레이크플로우(Lakeflow) 파이프라인과 AI 모델을 모니터링하며 장애를 분석하고 이상 징후를 조사한다. 또한, 에이전트 실행 기록을 자동 분석해 환각(hallucination) 문제를 수정하고, 사람이 개입하기 전에 리소스 할당을 최적화한다.

l  기업 내 컨텍스트 이해: 유니티 카탈로그와 통합된 지니 코드는 기존 거버넌스 정책과 접근 제어를 자동으로 준수한다. 비즈니스 의미와 감사 요건을 이해하고 외부 플랫폼 데이터를 포함한 기업의 전반적인 데이터를 연동한다.

l  지속적인 성능 향상: 지니 코드는 더 많이 사용될수록 더 똑똑해진다. 지속적 메모리를 기반으로 과거 상호작용과 코딩 선호도를 반영해 내부 지침을 자동 업데이트한다. 실제 데이터 사이언스 작업에서 지니 코드의 성공률은 기존 주요 코딩 에이전트 대비 32.1%에서 77.1%로 두 배 이상 향상된 것으로 나타났다. 

시리우스XM(SiriusXM) 데이터 엔지니어링 부문 부사장 버니 그레이엄(Bernie Graham)은 “지니 코드는 노트북 작성, 복잡한 SQL 작성, 테이블 관계 분석, 파이프라인 디버깅까지 다양한 작업을 지원한다”며, “우리 데이터 팀이 더 짧은 시간 안에 높은 품질의 결과물을 낼 수 있도록 돕는 실무적인 개발 파트너”라고 평가했다. 

렙솔(Repsol) 데이터 관리 및 애널리틱스 부문 수석 데이터 사이언티스트 에밀리오 마르틴 가야르도(Emilio Martín Gallardo)는 “지니 코드는 우리 데이터 팀의 업무 방식을 변화시키고 있다”며, “노트북, 파이프라인, 모델을 수동으로 엮는 대신, 데이터·거버넌스·비즈니스 환경과 내부 라이브러리를 이해하는 AI 파트너에게 복잡한 워크플로우를 맡길 수 있게 됐다”고 말했다. 이어 “시계열 예측부터 프로덕션 배포까지 전 과정을 가속화하면서도 엄격성과 통제력을 유지할 수 있다”고 설명했다. 

쿼션트 AI(Quotient AI) 인수로 지속적 평가 역량 강화

데이터브릭스는 운영 품질 관리 체계를 강화하기 위해 쿼션트 AI(Quotient AI)를 인수했다. 쿼션트는 에이전트 성능을 자동으로 모니터링해 답변 품질을 측정하고 성능 저하(regression)를 조기에 탐지하며 오류 원인을 정확하게 분석한다. 또한, 강화학습 기반 피드백 루프를 통해 에이전트가 지속적으로 성능을 개선하도록 지원한다. 쿼션트 창업진은 과거 깃허브 코파일럿(GitHub Copilot)의 품질 개선을 주도한 AI 코딩 시스템 평가 분야 전문가들로 구성돼 있다. 데이터브릭스는 이러한 기능을 지니 코드에 내장함으로써 데이터 및 AI 시스템이 단순히 운영 환경에서 실행되는 것을 넘어 지속적으로 개선될 수 있도록 지원할 계획이다.