[DB] Data Warehouse란 무엇일까?

데이터 웨어하우스란?

데이터 웨어하우스(Data Warehouse, DW)는 쉽게 말해 회사 데이터를 분석하기 좋게 모아두는 중앙 창고이다.

여러 소스에서 들어오는 데이터를 한 곳에 모아, 분석과 쿼리에 최적화된 형태로 정리, 준비, 구성해 제공하는 중앙 저장소

데이터 웨어하우스가 중요한 이유는 데이터 웨어하우스가 보통 현재 데이터 + 과거(이력) 데이터를 함께 저장하면서,
조직이 참고할 수 있는 공식 기준에 가까운 데이터 기반을 만들어주기 때문이다.

데이터 웨어하우스로 들어오는 데이터 (예시)

데이터 웨어하우스에는 보통 이런 데이터가 들어온다.

• 운영 시스템 / 서비스 DB (회원, 주문, 결제 같은 트랜잭션)
• 사내 업무 시스템 (CRM, ERP), 파트너 시스템
• IoT / 센서 데이터
• 외부 데이터 (날씨, 소셜 등)

소스가 많아질수록 데이터는 기준이 달라지고 섞이기 쉬운데,
데이터 웨어하우스는 이 데이터를 한 기준으로 정리해서 한 곳에서 보게 해주는 역할을 한다.

( 출처 https://www.sap.com/korea/products/data-cloud/datasphere/what-is-a-data-warehouse.html )

 

 

데이터 웨어하우스에는 데이터가 어떻게 들어오는가? (ETL vs ELT)

데이터 웨어하우스에 데이터를 넣는 방식은 대표적으로 두 가지가 있다.

• ETL : Extract(추출) → Transform(변환) → Load(적재)
  • 바꾸고 나서 저장한다.
• ELT : Extract(추출) → Load(적재) → Transform(변환)
  • 일단 저장하고 나서 바꾼다.

둘 중 무엇이 "정답"이라기보다는, 회사의 도구 / 환경 / 데이터 형태에 따라 달라진다.
하지만 공통점은 하나다.

분석에 쓰려면, 결국 정리(변환) 과정이 반드시 필요하다.

 

 

데이터 웨어하우징의 목적과 효과

데이터 웨어하우스는 결국 의사결정을 더 잘하기 위해 만든다.
대표 사용처는 BI(대시보드), 리포트, 데이터 분석, 규제/감사 대응 등이다.

도입 효과는 보통 이런 식으로 나타난다.

• 의사결정이 좋아짐 : 흩어진 데이터를 한 번에 보고 판단할 수 있다.
• 분석이 빨라짐 : 분석에 맞게 설계되어 쿼리 / 탐색이 빨라진다.
• 데이터 품질이 좋아짐 : 표준화 / 정합성 / 중복 제거 같은 정리 과정을 체계화
• 이력 분석이 가능해짐 : 과거 데이터를 쌓아 추세 / 패턴 예측에 활용

 

 

어떤 데이터를 저장하는가? (정형 / 비정형 + 한계)

전통적으로 데이터 웨어하우스는 정형(테이블로 잘 정리되는 데이터) 중심으로 발전했다.
그래서 "아무 원시 데이터를 그냥 던져 넣는 저장소"라기보다는, 분석 목적에 맞게 정리된 데이터를 담는 데 초점이 있다.

또한 데이터 규모가 커지면:

• 비용 / 운영 복잡도 증가
• 설계가 안 좋으면 지연, 성능 문제 발생

최근에는 데이터 웨어하우스도 반정형 / 비정형 데이터를 더 잘 다루려는 방향으로 발전했고,
실제로는 데이터 레이크 / 레이크하우스와 함께 쓰는 구성이 흔하다.

 

 

헷갈리는 용어 정리 (DB vs DW vs Lake vs Mart)

1) 데이터베이스 (DB) vs DW

• DB (운영 DB) : 서비스 운영용(DLTP), 실시간 업데이트 / 트랜잭션 처리에 강하다.
• DW : 분석용(OLAP / BI), 이력 포함 + 여러 소스 통합에 강하다.

2) 데이터 레이크 (Data Lake)

• DW : 목적에 맞게 정리된 분석용 데이터
• Data Lake : 가공이 덜 된 원시 데이터(원형)를 폭넓게 저장

현업에서는 둘이 경쟁이라기보단 보완 관계로 같이 쓰는 경우가 많다.

데이터 웨어하우스와 데이터 레이크 비교 ( 출처 https://www.sap.com/korea/products/data-cloud/datasphere/what-is-a-data-warehouse.html )

3) 데이터 마트 (Data Mart) vs DW

데이터 마트는 DW 안에서 특정 부서 / 도메인 목적에 맞게 더 "쓰기 쉽게" 만든 영역으로 보면 된다.

• 데이터 마트
  • 영업 / 마케팅 / 재무처럼 도메인별로 구성
  • 특정 사용자 / 팀이 빠르게 쓰도록 데이터 접근을 단순화
  • DW 안에 여러 개(n개)가 있을 수 있고, n은 조직 구조 / 요구사항에 따라 달라진다.
• DW
  • 조직 전체가 보는 중앙 분석 저장소

공부할 때는 "DW = 중앙 저장소, DM = 도메인별"만 확실히 잡아도 충분히 이해된다.

데이터 마트 작동 방식 ( 출처 https://www.sap.com/korea/products/data-cloud/datasphere/what-is-a-data-warehouse.html )

 

 

데이터 웨어하우스 아키텍처

데이터 웨어하우스 구조는 보통 3단으로 설명하면 쉽다.

1. 저장 / 적재 계층 (하위) : 여러 소스에서 데이터를 받아 저장 (ELT / ELT 포함)
2. 분석 / 엔진 계층 (중간) : 복잡한 분석 / 다차원 쿼리 (OLAP 등)을 처리
3. 분석 / 소비 계층 (상위) : BI (대시보드), 리포트, 임시 분석을 수행하는 화면 / 도구

즉, DW는 "저장만 하는 곳"이 아니라, 분석까지 이어지는 흐름의 중심에 가깝다.

데이터 웨어하우스 아키텍처 ( 출처 https://www.sap.com/korea/products/data-cloud/datasphere/what-is-a-data-warehouse.html )

 

 

데이터 웨어하우스의 주요 구성 요소 (대표 4가지)

• 중앙 저장소 (DB . 스토리지)
• 데이터 통합 / 파이프라인 (ETL, ELT)
• 메타데이터 (정의 / 출처 / 구조 / 설명 같은 "데이터 설명서")
• 액세스 도구 (BI / 쿼리 / 리포팅 / 분석 툴)

데이터 웨어하우스의 구성 요소 ( 출처 https://www.sap.com/korea/products/data-cloud/datasphere/what-is-a-data-warehouse.html )

 

 

배포 모델 : 온프레미스 → 클라우드 / 하이브리드

과거에는 온프레미스가 많았지만, 요즘은 클라우드 / 하이브리드가 흔하다.
선택 기준은 보통 보안 / 규제, 비용, 확장성, 운영 편의성 같은 요소에 달려 있다.

 

 

결론 : 한 줄 요약

• 데이터 웨어하우스 : 전사 데이터를 모아 분석 가능한 형태로 정리해 제공하는 중앙 저장소
• 데이터 마트 : 데이터 웨어하우스 안에서 도메인 목적에 맞게 구성한 주제별 데이터 영역 (여러 개일 수 있음)

 

 

References

https://www.sap.com/korea/products/data-cloud/datasphere/what-is-a-data-warehouse.html
https://www.ibm.com/kr-ko/think/topics/data-warehouse