Databricks SQL

Databricks SQL이란?

Databricks SQL은 Databricks 플랫폼에서 제공하는 데이터 웨어하우스 기능입니다.

데이터 분석가나 BI 사용자가 익숙한 SQL을 사용해서 레이크하우스(lakehouse)에 저장된 데이터를

조회하고 분석할 수 있게 해주는 서비스

핵심 개념

레이크하우스 아키텍처

• 전통적으로는 데이터 레이크(비정형/대용량 데이터 저장)와 데이터 웨어하우스(구조화된 데이터, 빠른 SQL 쿼리)가 분리
• Databricks SQL은 이 둘을 합쳐서, 데이터 레이크(보통 S3, ADLS 같은 클라우드 스토리지) 위에서 바로 SQL 쿼리를 빠르게 실행할 수 있게 해줍니다.
• 기반 포맷은 Delta Lake를 사용합니다 (ACID 트랜잭션, 버전 관리 등 지원).

주요 기능

1. SQL 웨어하우스 (SQL Warehouses)
   • 쿼리를 실행하는 컴퓨팅 클러스터로, 필요할 때 자동으로 켜지고 사용 안 하면 꺼지는 서버리스 옵션도 있음
   • 클래식/프로/서버리스 등 몇 가지 타입 존재
2. 쿼리 에디터
   • 웹 UI에서 바로 SQL 작성, 실행, 저장 가능
3. 대시보드
   • 쿼리 결과를 시각화해서 대시보드로 공유
4. BI 툴 연동
   • Tableau, Power BI, Looker 등과 JDBC/ODBC로 연결 가능
5. Unity Catalog 연동
   • 데이터 거버넌스, 접근 권한 관리, 테이블/컬럼 단위 보안 설정 가능

왜 쓰는가?

• 데이터 엔지니어링(Spark, Python)과 데이터 분석(SQL)을 같은 플랫폼에서 처리 가능
• 별도의 웨어하우스로 데이터를 복사/이동할 필요 없이 원본 데이터에 바로 쿼리
• 비용 효율적 (서버리스 옵션 사용 시 사용한 만큼만 과금)

---