본문 바로가기

전체 글451

Cluster Configuration Databricks의 컴퓨팅 리소스 종류와 워크로드별로 적합한 클러스터 선택 방법전체 구조Databricks Compute는 크게 두 가지로 나뉩니다:Databricks Compute├── Classic Compute (클래식 컴퓨트)│ ├── All-Purpose Clusters│ ├── Job Clusters│ ├── Instance Pools│ └── SQL Warehouses (Pro 타입)└── Serverless Compute (서버리스 컴퓨트) ├── Notebooks / Jobs / Pipelines용 서버리스 └── SQL Warehouses (Serverless 타입)1. Classic Compute (클래식 컴퓨트)클라우드 제공업체가 관리.. 2026. 9. 16.
Fine-Grained Access Control 이전에는 **Role-Based Access Control (RBAC)**로 카탈로그/스키마/테이블 단위의 접근을 제어이번 내용은 테이블 내부의 행(row)과 열(column) 단위로 더 세밀하게 접근을 제어하는 3가지 방법 세 가지 기법Dynamic Views (동적 뷰) — 예전 방식Table-level Row Filters & Column Masks (테이블 레벨 행 필터/열 마스킹) — Unity Catalog 방식ABAC (Attribute-Based Access Control) Policies — 태그 기반 중앙 정책1. Dynamic Views (동적 뷰) — 전통적 방식테이블 위에 뷰(view) 객체를 만들어서 행/열 접근을 제어하는 오래된 방식.열(Column) 레벨 예시 — 민감정보 마.. 2026. 9. 15.
Unity Catalogue Hive Metastore 기반 거버넌스와 대비되는 개념1. Unity Catalog란?여러 워크스페이스, 여러 클라우드에 걸쳐 통합된 중앙 거버넌스 솔루션테이블뿐 아니라 파일, ML 모델, 대시보드까지 포함한 모든 데이터/AI 자산의 거버넌스를 통합SQL로 데이터 접근 규칙을 한 번만 정의하면 여러 워크스페이스/클라우드에 적용 가능Hive Metastore와의 차이점Hive Metastore Unity Catalog사용자/그룹 관리워크스페이스별로 개별 관리Account Console에서 중앙 관리접근 제어워크스페이스 내부에서 관리워크스페이스 밖(Account Console)에서 관리Metastore 공유워크스페이스 종속적하나의 metastore를 여러 워크스페이스에 할당 가능 (같은 스토리지, 같은 A.. 2026. 9. 15.
Data Object Privileges Databricks의 데이터 거버넌스 모델,즉 Spark SQL을 통해 프로그래밍 방식으로 데이터 접근 권한을 부여(GRANT), 거부(DENY), 회수(REVOKE)하는 방법1. 권한을 설정할 수 있는 객체 종류객체 설명CATALOG전체 데이터 카탈로그SCHEMA데이터베이스 단위TABLE테이블 (managed든 external이든 상관없음)VIEWSQL 뷰FUNCTION지정된 함수ANY FILE기본 파일 시스템 자체2. 부여 가능한 권한 종류권한 의미SELECT읽기 (조회) 가능MODIFY데이터 추가/삭제/수정 가능CREATE객체(예: 테이블) 생성 가능READ_METADATA객체 및 메타데이터 조회 가능USAGE그 자체로는 아무 권한도 안 주지만, 다른 작업을 하기 위한 필수 전제조건ALL PRIVI.. 2026. 9. 15.
Databricks SQL Databricks SQL이란?Databricks SQL은 Databricks 플랫폼에서 제공하는 데이터 웨어하우스 기능입니다.데이터 분석가나 BI 사용자가 익숙한 SQL을 사용해서 레이크하우스(lakehouse)에 저장된 데이터를조회하고 분석할 수 있게 해주는 서비스핵심 개념레이크하우스 아키텍처전통적으로는 데이터 레이크(비정형/대용량 데이터 저장)와 데이터 웨어하우스(구조화된 데이터, 빠른 SQL 쿼리)가 분리Databricks SQL은 이 둘을 합쳐서, 데이터 레이크(보통 S3, ADLS 같은 클라우드 스토리지) 위에서 바로 SQL 쿼리를 빠르게 실행할 수 있게 해줍니다.기반 포맷은 Delta Lake를 사용합니다 (ACID 트랜잭션, 버전 관리 등 지원).주요 기능SQL 웨어하우스 (SQL Ware.. 2026. 9. 15.
4. 1차 Q/C 아예 통으로 하루를 사용하는 1차 Q/C가 9월 말에야 진행되었다. Q/C는 총 2일에 걸쳐 진행되었다. 하루는 풀데이로 매뉴얼 협력업체 및 현업 대상이었고, 나머지 하루는 오후만 활용하여 사내 공식 통지서 (Technical Bulletin)을 작성하는 현업 대상으로 진행했다. 이전 글에서처럼 해당 Q/C 이벤트를 나는 변곡점으로써 꽤나 중요하게 생각했다.개발사의 도움과 협력업체 임원들의 지원을 미리 끌어내어 Q/C에 직접 매뉴얼 저작하는 협력업체 직원들이 참여할 수 있도록 조율했다.내가 발화하는 것보다 더 신뢰도 높은 보이스를 실제 매뉴얼 양산 관점에서 생동감있게 내게 하기 위함이었다. 내 주관으로 협력업체 직원들끼리는 이미 사전에 공동 미팅을 여러차례 가진바 있었으므로 그들의 표정에서 나름대로 준.. 2026. 8. 15.
3. 이해관계자 끌어내기 기획 내용이 부실한 게 너무도 많았음에도, 기존 담당자들이 정해놓은 흐름과 일정 대로 프로젝트가 흘러갔다. 나의 의견 개진이나, 개선 요구사항과는 상관 없이사전 기획 단계에 정해진 개발 내용 완료하여 프로젝트 완료 보고하고 내년도에는 Go-Live를 하겠다는 의지가 확고했다. 그 다음에 수정 개발을 하던지 하겠다는 IT 부서 PM의 전략이 완고했다. 프로젝트 룸에 여전히 L 부장은 없었기 때문에, 매뉴얼 제작업체의 업무 온보딩을 담당하는 사람은 프로젝트 룸에서 내가 유일했다. 그런 내가 보기에 시스템 개발 이후로 온보딩, Go-Live는 절대 어려워 보였다. 8월에는 협력업체와 라포를 계속 쌓으면서, 나의 주장에 힘을 실어줄 근거와 동료들을 모으는 시간으로 사용했다.프로젝트룸에서 여전히 나의 정치력이 .. 2026. 8. 1.
개발 중. 바이브 디자인 환경 구축하기 8월 CEO 대상 AI 챗봇 프로젝트 현황 종합 및 향후 전략 보고 건이 있어서 너무 바빴고,더불어 나도 개인적인 일들이 계속 겹치는 터라 개인 개발을 거의 진행하지 못했다. 작업 환경 세팅 마무리 바이브 코딩에서는 Git 연계가 필수라고 생각한다.코딩을 언제 revert 시켜야 할 지 모르기 때문이다. Git 연동은 간단하다. 컴퓨터에 Git을 설치하고, Github에서 private 리포지토리를 생성 후 VSC 환경에서 해당 리포지토리 링크를 넘겨준다던지연계를 요청하고 나머지는 AI가 주는 가이드를 따라가면 된다. 이후, 디자인 도구 연계를 시작헀다.이걸 할 타이밍에 Claude Design이 막 활성화된 시점이라 어떻게든 Claude Design을 써보고 싶었다.AI와 대화를 하며,Claude.. 2026. 7. 27.
2. 영향력 넓히기 글을 더 쓰기 앞서, 해당 프로젝트에 참여했던 인원들을 정리해 보는 게 좋을 거 같다.핵심 관계자는 아래와 같다. - IT PM 부서 팀장 - IT 운영 부서 부장 - 개발사의 개발 PM, 개발 리드 부장, 기획자 차장 - 공동투자회사의 기획 부서 P 부장, S 부장 (24년까지 현업 PM, 비즈니스 전문가 역할을 수행했다.) - 공동투자회사의 운영 부서 (L 부장이 속한 부서) 그리고 우리회사의 경우, 기획부서가 들어오지 않고 운영 부서에서 비즈니스 전문가 (비즈니스 분석가, 도메인 전문가) 역할로 먼저 H 선배가 투입되었다.이런 상황에서 24년 7월부터 나와 R선배가 H선배의 후임자로 투입된 상황이었다. 프로젝트 룸에서 보낸 7월 한 달은 유야무야 넘아갔다.5월에 이미 싹퉁바가지를 보였던 나의 이.. 2026. 7. 17.
1. 뒤짚을 판을 만들기 앞서 언급한대로, H선배나 나나 여러 이유로 인수인계를 하지 못하고 있었다.그렇게 시간이 흘러 어느덧 6월이 되었고, 7월 둘째주에 팀을 옮기기로 날짜까지 받았기에 더욱 미룰 수는 없는 일이 되었다. 우선 나는 거대한 정치게임인 현 상황의 프로젝트의 판을 좀 바꿔야겠다 싶었다. 그렇게 하기 위해서 정치적인 입지가 필요했는데, 나는 그런 입지가 전무한 상태였다. 이에, 실장직에서 물러나서 정년까지 3년 정도 남긴 R 선배를동반으로 프로젝트 참석자에 배석시키는 그림을 그리고자 했다.R선배가 실장이던 때, 나는 후배로써의 또 동료로써 충분히 증명을 한 상태였고 그남큼 나에게도 R선배는 편하게 의지할만한 팀원이었다.이에, 정년을 앞둔 R선배 입장에서나를 도와달라는 다소 부담스러운 요청을 능히 R선배가 수락할.. 2026. 7. 17.
반응형

티스토리툴바