๋ฐ์ดํฐ ๋งํธ๋?
๋ฐ์ดํฐ ๋งํธ(Data Mart, DM)๋ ์ฝ๊ฒ ๋งํด ํน์ ๋ถ์๋ ์ฃผ์ ๊ฐ ๋ฐ๋ก ํ์ฉํ ์ ์๋๋ก ์ ์ ๋ฆฌํด ๋์ "์์ ๋ถ์์ฉ ์ฐฝ๊ณ "๋ค.
์กฐ์ง ์ ์ฒด ๋ฐ์ดํฐ๋ฅผ ๋ชจ์๋ ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ค(DW)์์ ํน์ ๋๋ฉ์ธ(์์ , ๋ง์ผํ , ์ฌ๋ฌด ๋ฑ)์ ํ์ํ ๋ฐ์ดํฐ๋ง ์ถ์ถํด ์๊ณ ๋จ์ํ๊ฒ ๋ง๋ ์ ์ฅ์
๋ฐ์ดํฐ ๋งํธ๋ DW ์ ์ฒด๋ฅผ ํ์ํ์ง ์๊ณ ๋,
ํด๋น ํ์ด ์์ฃผ ์ฐ๋ ๋ฐ์ดํฐ๋ง ๋น ๋ฅด๊ฒ ์กฐํํ๊ณ ๋ถ์ํ ์ ์๊ฒ ํ๋ค๋ ์ ์ด ๊ฐ์ฅ ํฐ ํน์ง์ด๋ค.
๋ฐ์ดํฐ ๋งํธ๊ฐ ํ์ํ ์ด์
๊ธฐ์
์ ๋ถ์๋ง๋ค ํ์ํ ๋ฐ์ดํฐ๊ฐ ๋ค๋ฅด๊ณ , ๋ถ์ ๋ชฉ์ ๋ ๋ค๋ฅด๋ค.
ํ์ง๋ง ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ค๋ ์ ์ฌ ๋จ์๋ก ๊ตฌ์ฑ๋์ด ์์ด ๊ตฌ์กฐ๊ฐ ํฌ๊ณ ๋ณต์กํ๋ค.
์ด ๋๋ฌธ์ ๋ถ์/๋๋ฉ์ธ ๋จ์์์ ๋ค์๊ณผ ๊ฐ์ ์ด๋ ค์์ด ์๊ธด๋ค.
- ํ์ํ ๋ฐ์ดํฐ๋ง ๋น ๋ฅด๊ฒ ๋ณด๊ธฐ ์ด๋ ต๋ค.
- ๋ถ์๊ฐ / ๋ง์ผํ / ์์ ํ ๋ฑ์ DW ์ ์ฒด ๊ตฌ์กฐ๋ฅผ ์ ๋ชจ๋ฅผ ์๋ ์๋ค.
- ๋ถ์๋ณ ์งํ / ์ ์๊ฐ ๋ฌ๋ผ ์ถฉ๋ํ ๋๊ฐ ์๋ค.
- ์์ ๋ถ์์๋ ํฐ DW๋ฅผ ๊ณ์ ์กฐํํด ์ฑ๋ฅ์ด ๋จ์ด์ง ์ ์๋ค.
๋ฐ์ดํฐ ๋งํธ๋ ์ด๋ฌํ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํด ๋ฑ์ฅํ๋ค.
"DW๋ ์ ์ฌ๋ฅผ ์ํ ์ค์ ์ฐฝ๊ณ "
"DM์ ํน์ ๋๋ฉ์ธ์ ์ํ ๋ง์ถคํ ์ฐฝ๊ณ "
๋ฐ์ดํฐ ๋งํธ์๋ ์ด๋ค ๋ฐ์ดํฐ๊ฐ ๋ด๊ธฐ๋๊ฐ?
๋ฐ์ดํฐ ๋งํธ์ ๋ด๊ธฐ๋ ๋ฐ์ดํฐ๋ ๋ถ์๋ ๋ถ์ ๋ชฉ์ ์ ๋ฐ๋ผ ์ ๋ณ๋ '์ฃผ์ ๋ฐ์ดํฐ'๋ค.
์์:
- ๋ง์ผํ
๋งํธ
- ์บ ํ์ธ ์ฑ๊ณผ, ์ ์ ๋ถ์, ์ ํ์จ, ๊ณ ๊ฐ ํ๋ ์งํ
- ์์
๋งํธ
- ๋งค์ถ, ์์ ๋ชฉํ, ๊ณ ๊ฐ๊ตฐ ๋ถ์, ํผ๋ ์งํ
- ์ฌ๋ฌด ๋งํธ
- ๋น์ฉ, ๋งค์ถ์๊ฐ, ์์ต ์งํ
- ๊ณ ๊ฐ ๋ถ์ ๋งํธ
- ๊ณ ๊ฐ๊ตฐ, ์ฝํธํธ ๋ฐ์ดํฐ, LTV, ๋ฆฌํ ์ ์งํ
์ฆ, ๋งํธ๋ '๋น ๋ฅด๊ฒ ๋ถ์ํ๋ ค๋ ์ฌ๋์๊ฒ ๋ฑ ํ์ํ ๋ฐ์ดํฐ๋ง ์ ๊ณตํ๋ ๋ทํ ์ฝ๋'์ ๊ฐ๊น๋ค.
๋ฐ์ดํฐ ๋งํธ๋ ์ด๋ป๊ฒ ๋ง๋ค์ด์ง๋๊ฐ? (ETL, ELT ํ๋ฆ ๋์ผ)
๋ฐ์ดํฐ ๋งํธ์ ๊ตฌ์กฐ๋ DW์ ๋์ผํ๊ฒ ETL ๋๋ ELT ๋ฐฉ์์ผ๋ก ๊ตฌ์์ค๋๋ค.
- ETL → DW → Data Mart
- ELT → DW → Data Mart
์ฆ, DW์์ ์ ์ ๋ ๋ฐ์ดํฐ๋ฅผ ๊ฐ์ ธ์
๋ถ์ ๋ชฉ์ ์ ๋ง๊ฒ ์ถ๊ฐ ๊ฐ๊ณต ํ ์ ์ฅํ๋ ๋ฐฉ์์ด๋ค.
๊ทธ๋์ ๋งํธ๋ ๊ฒฐ๊ตญ ์ ๋ฆฌ๊ฐ ํ์ํ๋ค.
๋ถ์์ ์ฐ๋ ค๋ฉด DW๋ DM์ด๋ ๊ฒฐ๊ตญ ๊ฐ๊ณต/์ ๊ทํ๋ ๋ฐ์ดํฐ ๊ตฌ์กฐ๊ฐ ํ์๋ค.
๋ฐ์ดํฐ ๋งํธ์ ์ฅ์
๋ฐ์ดํฐ ๋งํธ๋ "๋ถ์๋ณ/์ฃผ์ ๋ณ๋ก ์ต์ ํ๋ ์์ ๋ฐ์ดํฐ๋ฒ ์ด์ค"์ด๊ธฐ ๋๋ฌธ์ ์๋์ ๊ฐ์ ์ฅ์ ์ด ์๋ค.
โ ์กฐํ ์๋๊ฐ ๋น ๋ฅด๋ค
DW ์ ์ฒด๋ฅผ ์ค์บํ์ง ์์๋ ๋ผ์ ๋ถ์ ์๋๊ฐ ๋นจ๋ผ์ง๋ค.
โ ๋น์ ๋ฌธ๊ฐ๋ ์ฝ๊ฒ ์ฌ์ฉํ ์ ์๋ค
๋ณต์กํ ์คํค๋ง ๋์ ์ฌ์ฉ ๋ชฉ์ ์ ๋ง๊ฒ ๋จ์ํ๊ฒ ๊ตฌ์ฑ๋๋ค.
โ ๋น์ฉ ์ ๊ฐ
ํนํ ํด๋ผ์ฐ๋ ํ๊ฒฝ์์ ์ฟผ๋ฆฌ ๋น์ฉ์ ์ค์ผ ์ ์๋ค.
(์: Redshift, BigQuery ๋ฑ์์ ์ ์ฒด ํ
์ด๋ธ ์กฐํ vs ๋๋ฉ์ธ ํ
์ด๋ธ ์กฐํ)
โ ๋ณด์/๊ถํ ๋ถ๋ฆฌ๊ฐ ์ฝ๋ค
๋ถ์๋ณ๋ก ์ ๊ทผ ๊ถํ์ ๋ค๋ฅด๊ฒ ๊ฐ์ ธ๊ฐ ์ ์๋ค.
โ ๋ถ์ ์์จ์ฑ ์ฆ๊ฐ
ํ์์ ์์ฒด์ ์ผ๋ก ํ์ํ ๋ฐ์ดํฐ๋ฅผ ์ด์ํ ์ ์์ด ๋ฏผ์ฒฉ์ฑ์ด ๋๋ค.
๋ฐ์ดํฐ ๋งํธ์ ์ ํ
๋ฐ์ดํฐ ๋งํธ๋ ๊ตฌ์ฑ ๋ฐฉ์์ ๋ฐ๋ผ ํฌ๊ฒ 3๊ฐ์ง๋ก ๋๋๋ค.
1) ์ข ์ํ ๋ฐ์ดํฐ ๋งํธ (Dependent Data Mart)
- DW ์์ ๊ตฌ์ถ
- DW ๋ฐ์ดํฐ์์ ํํฐ๋ง/๊ฐ๊ณต → ๋งํธ์ ์ ์ฅ
- ๊ฐ์ฅ ํํ๊ณ ๊ถ์ฅ๋๋ ๋ฐฉ์
- ์ฅ์ : ์ ์ฌ ๋ฐ์ดํฐ ๊ธฐ์ค์ ์ ์งํ๋ฉด์ ๋๋ฉ์ธ๋ณ ์ต์ ํ ๊ฐ๋ฅ
2) ๋ ๋ฆฝํ ๋ฐ์ดํฐ ๋งํธ (Independent Data Mart)
- DW ์์ด๋ ์ด์๋๋ค.
- ์ด์ DB๋ ์ธ๋ถ ๋ฐ์ดํฐ์์ ์ง์ ๊ตฌ์ฑ
- ์๊ท๋ชจ ์กฐ์ง/ํ์ผ๋ฟ ๋ถ์์ ์ ํฉ
- ๋จ์ : DW์ ๊ธฐ์ค์ด ๋ฌ๋ผ์ง ์ ์์ด ์ ์ฌ ๊ด์ ์ ํฉ์ฑ ๋ฌธ์ ๋ฐ์ ๊ฐ๋ฅ
3) ํ์ด๋ธ๋ฆฌ๋ ๋ฐ์ดํฐ ๋งํธ (Hybrid Data Mart)
- DW ๋ฐ์ดํฐ + ์ธ๋ถ ๋ฐ์ดํฐ๊ฐ ํจ๊ป ํฌํจ
- ์: DW์ ๋ด๋ถ ๊ณ ๊ฐ ๋ฐ์ดํฐ + ์ธ๋ถ ๊ด๊ณ ํ๋ซํผ ๋ฐ์ดํฐ
์ต๊ทผ ํด๋ผ์ฐ๋ ํ๊ฒฝ์์ ๊ฐ์ฅ ์ค์ฉ์ ์ผ๋ก ์ฌ์ฉ๋๋ ํํ
๋ฐ์ดํฐ ์จ์ดํ์ฐ์ค vs ๋ฐ์ดํฐ ๋งํธ (ํต์ฌ ๋น๊ต)
| ๊ตฌ๋ถ | ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ค (DW) | ๋ฐ์ดํฐ ๋งํธ (DM) |
| ๋ฒ์ | ์ ์ฌ ๋ฐ์ดํฐ ์ ์ฒด | ๋ถ์/๋๋ฉ์ธ ๋จ์ ๋ฐ์ดํฐ |
| ๊ตฌ์กฐ | ํฌ๊ณ ๋ณต์ก | ์๊ณ ๋จ์ |
| ์ฌ์ฉ์ | ๋ฐ์ดํฐํ, ์ ์ฌ BI | ๋ง์ผํ /์์ /์ฌ๋ฌด ๋ฑ ์ค๋ฌดํ |
| ๋ชฉ์ | ํตํฉ ๊ธฐ์ค ๋ฐ์ดํฐ | ๋น ๋ฅธ ๋ถ์, ์ค๋ฌด ํ์ฉ |
| ์ฑ๋ฅ | ์ ์ฒด ๋ฐ์ดํฐ ์กฐํ → ๋๋ฆด ์ ์๋ค | ํ์ํ ๋ฐ์ดํฐ๋ง → ๋น ๋ฅด๋ค |
| ๋ณ๊ฒฝ ๋น์ฉ | ๋๋ค | ๋ฎ๋ค |
๋ฐ์ดํฐ ๋งํธ ์ํคํ ์ฒ
๋ฐ์ดํฐ ๋งํธ๋ DW์ฒ๋ผ ๋ณดํต 3๋จ ๊ตฌ์ฑ์ผ๋ก ์ดํดํ๋ฉด ๋๋ค.
1) ์ ์ฅ / ์ ์ฌ ๊ณ์ธต
- DW ๋๋ ์ธ๋ถ ๋ฐ์ดํฐ์์ ๋งํธ๋ก ๋ฐ์ดํฐ๋ฅผ ๊ฐ์ ธ์ค๋ ๋จ๊ณ
2) ๊ฐ๊ณต / ์์ง ๊ณ์ธต
- ๋๋ฉ์ธ ๋ชฉ์ ์ ๋ง๊ฒ ๊ฐ๊ณต, ์ง๊ณ, ๋ชจ๋ธ๋ง
- ์คํ ์คํค๋ง(Star Schema) ๋ฑ์ ์์ฃผ ์ฌ์ฉ
3) ์๋น ๊ณ์ธต
- ๋งํธ ๊ธฐ๋ฐ ๋์๋ณด๋, ๋ฆฌํฌํธ, ์์ ๋ถ์
์ฆ, ๋ฐ์ดํฐ ๋งํธ๋ DW๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ํ ๋๋ฉ์ธ ๋ถ์ ์ ์ฉ ๊ณต๊ฐ์ด๋ค.
๋ฐ์ดํฐ ๋งํธ์ ์ฃผ์ ๊ตฌ์ฑ ์์
- ๋๋ฉ์ธ ๋ฐ์ดํฐ ์ ์ฅ์
- ETL / ELT ํ์ดํ๋ผ์ธ
- ๋ฉํ๋ฐ์ดํฐ(๋ฐ์ดํฐ ์ ์ / ์ถ์ฒ)
- BI / ์ฟผ๋ฆฌ / ๋ถ์ ๋๊ตฌ
DW์ ๊ตฌ์ฑ ์์๋ ๋น์ทํ์ง๋ง "๊ท๋ชจ์ ์ฉ๋"๊ฐ ๋ค๋ฅด๋ค.
๋ฐฐํฌ ๋ชจ๋ธ : ํด๋ผ์ฐ๋์์ ๋ ๋ง์ด ์ฐ์ธ๋ค
AWS / GCP / Azure ํ๊ฒฝ์์
๊ฐ๋ฒผ์ด ๋น์ฉ + ๋น ๋ฅธ ์ฟผ๋ฆฌ + ๊ถํ ์ ์ด ๋๋ฌธ์ ๋ฐ์ดํฐ ๋งํธ ๋์
์ด ํจ์ฌ ์ฌ์์ก๋ค.
์)
- Redshift Data Mart
- BigQuery Data Mart
- Snowflake Data Mart
ํนํ ๋๋ฉ์ธ๋ณ ๋น์ฉ ๋ถ๋ฆฌ(Billing), ์ฟผ๋ฆฌ ์ต์ ํ, ๋ฆฌ์์ค ๊ฒฉ๋ฆฌ๊ฐ ๊ฐ๋ฅํด ์ค๋ฌด์์ ๋ง์ด ์ฑํ๋๋ค.
๊ฒฐ๋ก : ํ ์ค ์์ฝ
- ๋ฐ์ดํฐ ๋งํธ๋ ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ค์์ ํน์ ๋๋ฉ์ธ(์์
/ ๋ง์ผํ
/ ์ฌ๋ฌด ๋ฑ)์ ์ฌ์ฉ ๋ชฉ์ ์ ๋ง๊ฒ
์ ๋ฆฌ, ์ถ์ฝํด ๊ตฌ์ฑํ ๋ถ์์ฉ ์ ์ฅ์์ด๋ค. - DW๊ฐ ์ ์ฌ "์ค์ ๊ธฐ์ค"์ด๋ผ๋ฉด
DM์ "๋๋ฉ์ธ๋ณ ์ต์ ํ๋ ๋ถ์ ๊ณต๊ฐ"์ด๋ค.
References
https://www.ibm.com/kr-ko/think/topics/data-mart
https://aws.amazon.com/ko/what-is/data-mart/
https://global.trocco.io/ko/blogs/what-is-data-mart