[Azure] 임대 사무실에서 시작하는 클라우드.. Azure VM

Azure VM과 클라우드의 관계

먼저 "클라우드"와 "Azure VM"이 어떤 관계인지 정확히 잡고 가야한다.
이 둘을 같은 개념으로 혼동하는 경우가 많은데, 사실 포함 관계이다.

💡 비유
"클라우드"는 건물 전체이고, "Azure VM"은 그 건물 안의 임대 사무실 하나이다.
건물(클라우드) 안에는 사무실(VM) 외에도 창고 (Blob), 전용 회의실(SQL) 등 다양한 공간이 있다.

Azure는 Microsoft가 운영하는 클라우드 플랫폼 전체를 가리킨다. 이 플랫폼 위에서 수십 가지 서비스가 제공되는데, 그 중 하나가 바로 Azure VM(가상 컴퓨터)이다.
즉, "Azure VM을 사용한다"는 것은 클라우드라는 큰 건물 안의 방 하나를 빌려 쓰는 것과 같다.

Azure 플랫폼

표현	확인	이유
"Azure VM은 클라우드 방식이다"	✅ 맞다	VM은 클라우드 위에서 동작하는 서비스이다.
"Azure VM = 클라우드다"	⚠️ 부정확하다	VM은 클라우드가 제공하는 여러 서비스 중 하일 뿐이다.
"Azure VM은 원격으로 접속해서 쓰는 가상 컴퓨터다"	✅ 가장 정확하다	VM의 실제 동작 방식을 가장 잘 설명하는 표현이다.

💡 핵심 한 줄 정리 : Azure VM = Micorsoft가 클라우드(Azure)에서 제공하는 가상 컴퓨터 서비스

 

 

VM(Virtual Machine)이란?

VM은 Virtual Machine(가상 머신)의 줄임말이다.
물리적인 컴퓨터가 아니라, 소프트웨어로 만들어진 가상의 컴퓨터이다.
우리가 실제로 만지고 볼 수 있는 장비는 없지만, 인터넷을 통해 접속하면 진짜 컴퓨터처럼 동작한다.

💡 비유
VM은 임대 컴퓨터이다.
물리적인 서버를 직접 구매해서 운영하는 대신, Microsoft 데이터센터에 있는 수천 대의 서버 중 일부를 인터넷으로 빌려서 내 컴퓨터처럼 원격으로 쓰는 것이다.

 

구분	물리 서버	Azure VM
장비 준비	직접 구매 필요 (비용, 시간 소요)	클릭 몇 번으로 수분 내 생성 가능
유지보수	직접 설치 / 관리 / 교체	하드웨어 관리는 Azure가 담당
장애 대응	내 책임 - 직접 조치해야 함	하드웨어 장애는 Azure 책임
확장 방법	새 장비를 추가 구매해야 함	설정 변경만으로 사양 업그레이드 가능
비용 구조	초기 비용 크고 고정 비용 발생	사용한 만큼만 지불 (종량제)

✅ 포인트
VM은 단순한 저장 공간이 아니라 실제로 동작하는 컴퓨터이다.
접속해서 쿼리를 실행하고, 스크립트를 돌리고, 파일을 생성하는 등 일반 컴퓨터에서 할 수 있는 모든 작업이 가능하다.
이 점이 단순 저장소인 Blob Storage와 가장 크게 다른 점이다.

 

 

데이터 파이프라인에서 VM의 역할

데이터 파이프라인이란, 원본 데이터가 생성되는 곳에서부터 최종적으로 활용되는 곳까지의 흐름을 말한다.
마치 원유가 유전에서 출발해서 정제 공장을 거쳐 주유소에 도달하는 것처럼, 데이터도 여러 단계를 거쳐 이동하고 가공된다.

💡 비유
원본 DB(원산지)와 DW/DM 서버(공장) 사이에서 VM은 물류 허브 역할을 한다.
원산지에서 공장으로 물건을 직접 보내는 대신, 중간 물류 센터를 거치게 해서 원산지에 부담을 주지 않는 구조이다.

VM이 중간에 위치하는 이유

원본 DB에 분석 쿼리나 대용량 데이터 추출 작업을 직접 실행하면, 실제 서비스에 부하가 걸려 장애가 발생할 수 있다.
VM은 이를 막기 위한 완충지대(Buffer)이다. 원본의 복사본을 VM에 유지하고, 모든 분석/추출 작업은 VM에서 처리한다.

역할	설명	왜 필요한가?
DB 미러링	원본 DB를 VM에 주기적으로 복제	원본 DB에 직접 접근하지 않기 위해
중간 버퍼	분석/추출 작업을 VM에서 대신 처리	원본 서비스의 성능 보호
파일 변환	DB를 .mdf/.ldf 형태로 변환 후 Blob 전송	장기 보관과 복원을 위한 표준 포맷 사용

 

 

 

리전(Region)별로 VM을 나누는 이유

리전(Region)이란 Azure 데이터센터가 물리적으로 위치한 지역을 말한다.
예를 들어 동아시아 리전, 미국 동부 리전, 유럽 서부 리전 등이 있다.
서비스가 글로벌 사용자를 대상으로 할수록, 각 지역에 VM을 따로 두는 것이 중요해진다.

💡 비유
전 세계에 지점을 가진 물류 회사를 생각해보자.
모든 배송을 서울 본사 창고 하나에서만 처리한다면, 미국이나 유럽 고객은 배송 시간이 너무 오래 걸린다.
각 지역에 현지 창고(리전별 VM)를 두면 훨씬 빠르게 처리할 수 있다.

⚡ 레이턴시(지연) 감소

데이터를 멀리 보내지 않고, 발생한 지역 근처의 VM에서 바로 처리한다.
응답 속도가 빨라지고 사용자 경험이 향상된다.

🛡️ 장애 격리

한 지역 VM에 문제가 생겨도 다른 리전 VM에는 영향이 없다.
데이터를 독립적으로 관리하므로 장애 범위를 최소화할 수 있다.

📋 데이터 규정 준수

일부 국가/지역은 데이터를 해당 국가 내에서만 처리해야 한다는 법규(데이터 레지던시)가 있다.
리전별 VM 분리로 이를 준수할 수 있다.

🔍 장애 원인 파악 용이

특정 지역 데이터에 이슈가 생겼을 때, 해당 리전 VM만 집중해서 확인하면 된다.
전체를 뒤지지 않아도 되니 빠른 대응이 가능하다.

 

 

Azure VM vs Azure Blob Storage

처음 클라우드를 접하면 VM과 Blob Storage를 혼동하기 쉽다.
둘 다 Azure에서 제공하는 서비스지만 역할이 완전히 다르다.
VM은 작업을 처리하는 곳이고, Blob은 파일을 보관하는 곳이다.

💡 비유
VM은 요리사가 일하는 주방🍳, Blob은 식재료를 보관하는 냉동창고❄️이다.
주방에서 요리(연산/작업)를 하고, 당장 쓰지 않는 식재료(파일)는 창고에 넣어두는 구조이다.
창고에서는 요리할 수 없고, 주방에 가져와야 한다.

구분	AZURE VM	AZURE BLOB STORAGE
핵심 역할	연산 / 처리 작업 수행	파일 저장 전용
특징	CPU/메모리 있음, 프로그램 실행 가능	저장만 함, 연산 불가
비용 기준	켜져 있는 시간만큼 과금 → 꺼두면 절약 가능	저장 용량만큼 과금 → 오래 둬도 저렴
쿼리 가능?	✅ 가능	❌ 불가 (파일 꺼내서 VM/DW에서 처리해야 함)
적합한 용도	DB 복제, 스크립트 실행, 데이터 처리	백업 파일 보관, 로그 아카이브, 대용량 파일 저장

✅ 참고
Blob Storage의 보관 기간은 Azure에서 자동으로 설정하는 것이 아닙니다.
팀이나 조직의 운영 정책에 따라 직접 설정해야 한다.
Azure에는 LifeCycle Management 기능을 통해 "N일 이후 자동 삭제" 또는 "N일 이후 저비용 계층으로 이동" 같은 정책을 직접 구성할 수 있다.

 

 

azcopy란?

azcopy는 Azure가 공식으로 제공하는 커맨드라인 파일 전송 도구이다.
Azure VM과 Azure Blob Storage 사이, 또는 Blob과 로컬 서버 사이에서 대용량 파일을 빠르게 주고받을 때 사용한다.
일반적인 파일 복사 명령(cp, robocopy 등)보다 Azure 환경에 최적화되어 있어 훨씬 빠르다.

💡 비유
azcopy는 Azure 전용 퀵배송 기사🚀이다.
일반 택배(일반 파일 복사)보다 훨씬 빠르고, 대형 화물(대용량 파일)에 특화되어 있다.
배송 중 중간에 끊겨도 이어받기가 가능한 것이 큰 장점이다.

⚡고속 전송

일반 파일 복사 대비 훨씬 빠르다.
병렬 청크 전송으로 대역폭을 최대한 활용한다.

🔁 이어받기

전송 중 네트워크가 끊겨도 체크포인트 기반으로 이어받기 가능하다.

🔀 병렬 전송

여러 파일을 동시에 전송해 전체 처리량을 극대화한다.

기본 사용 패턴

# VM → Blob Storage (백업 파일 업로드)
azcopy copy "/path/to/file.mdf" "https://[storage].blob.core.windows.net/[container]/"

# Blob Storage → DW Server (복원을 위해 파일 다운로드)
azcopy copy "https://[storage].blob.core.windows.net/[container]/file.mdf" "/local/path/"

# 특정 컨테이너 안의 모든 파일 다운로드 (재귀 옵션)
azcopy copy "https://[storage].blob.core.windows.net/[container]/*" "/local/path/" --recursive

 

✅ 참고
azcopy를 사용하려면 Azure Storage 계정에 대한 인증(SAS 토큰 또는 Azure AD)이 필요하다.
처음 사용할 때는 권한 설정이 올바른지 확인하는 것이 중요하다.

 

 

MSSQL의 .mdf / .ldf 파일

MSSQL(Microsoft SQL Server) 데이터베이스는 데이터를 저장할 때 기본적으로 두 종류의 파일을 사용한다.
바로 .mdf 와 .ldf 인데, 이 두 파일을 함께 가지고 있어야 데이터베이스를 완전하게 복원할 수 있다.

💡 비유
.mdf는 책의 본문, .ldf는 책의 수정 이력(편집 기록)이다.
본문만 있으면 현재 내용은 볼 수 있지만, 언제 어떻게 바뀌었는지는 알 수 없다.
두 파일이 함께 있어야 DB 상태를 특정 시점으로 되돌리는 것도 가능하다.

정상 운영 시 두 파일 모두 필수이다!
.mdf + .ldf 가 함께 있어야 완벽한 복원이 가능하고, 특정 시점 복원(PITR)도 가능하다.

파일	정식 명칭	역할	없으면?
.mdf	Primary Data File	실제 데이터 저장 (테이블, 인덱스 등)	DB 자체가 존재할 수 없음
.ldf	Log Data File	트랜잭션 로그 저장 (변경 이력 추적)	DB가 정상적으로 열리지 않음 (응급 복원은 가능하나 로그 유실)

⚠️ 복원 시 주의!
Blob Storage에서 .mdf / .ldf 파일을 azcopy로 내려받은 뒤 MSSQL에 Attach(첨부)하는 과정이 필요하다.
파일 크기에 따라 다운로드 + Attach 시간이 수십 분에서 수 시간까지 걸릴 수 있다.
긴급 상황에서는 처음 해보면 당황할 수 있으니, 미리 복원 절차를 한 번씩 연습해두는 것을 강력히 권장한다.

.ldf 는 선택이 아니라 필수!

"mdf 가 본체이고 ldf 는 있으면 좋은 거 아냐?" 라고 생각할 수 있지만, .ldf 는 선택이 아니라 필수이다.
MSSQL은 정상 운영 시 두 파일이 모두 있어야 DB를 시작할 수 있다.

💡 비유
.mdf가 집 자체(벽, 지붕, 가구)라면, ,ldf는 집의 열쇠 + 보안 시스템이다.
집이 있어도 열쇠가 없으면 들어갈 수 없다!

상황	.MDF	.LDF	결과
정상 운영	✅ 필수	✅ 필수	DB 정상 동작
.ldf 없이 시작 시도	✅ 있음	❌ 없음	DB가 열리지 않음
.mdf 없이 시작 시도	❌ 없음	✅ 있음	DB 자체가 존재 불가

그럼 .mdf 만으로 복원되는 경우는?

비상 상황에서 .mdf만 있을 때 응급 수단이 존재하긴 한다.
MSSQL이 빈 .ldf 를 새로 만들어주는 방법이다.

-- .mdf만 있을 때 강제 Attach (응급 수단)
CREATE DATABASE MyDB ON
    (FILENAME = 'C:\data\MyDB.mdf')
FOR ATTACH_REBUILD_LOG

하지만 이 방법에는 큰 대가가 따른다.

복원 방식	결과	잃는 것
.mdf + .ldf 모두 복원	✅ 완벽한 복원	없음. 트랜잭션 이력 보존, 특정 시점 복원(PITR) 가능
.mdf 만 복원 (REBUILD_LOG)	⚠️ DB는 열림	기존 트랜잭션 로그 전부 유실. 마지막 커밋 안 된 작업은 사라질 수 있음

💡 비유
.mdf + .ldf 복원 = 집 + 열쇠 다 있음 → 완벽하게 입주
.mdf 만 복원 = 집은 있는데 열쇠가 없음 → 자물쇠 새로 교체(REBUILD_LOG)하면 들어갈 수는 있지만 ,이전 보안 기록(트랜잭션 로그)은 전부 사라진다.

💡.ldf 는 선택이 아니라 필수이다! .mdf 만으로 복원하는 건 어디까지나 응급 수단일 뿐이다.

 

 

데이터 파일 형식 - CSV vs TSV

데이터 엔지니어로 일하다 보면 .csv 와 .tsv 파일을 자주 만나게 된다.
둘 다 텍스트 기반의 표 형식 파일인데, 칸을 나누는 구분자가 다르다.

💡 비유
CSV와 TSV는 둘 다 메모장에 적은 표이다.
다만 칸을 나누는 방법이 다르다. CSV는 쉼표(,)로 나누고, TSV는 탭(Tab키)으로 나눈다.

실제 파일 내부 비교

// CSV (쉼표로 구분)
Time,UserId,Action,Value
2024-06-01 10:00,SRV-01,Login,100
2024-06-01 10:05,SRV-02,Purchase,500

// TSV (탭으로 구분 — 눈에는 넓은 공백처럼 보임)
Time	UserId	Action	Value
2024-06-01 10:00	SRV-01	Login	100
2024-06-01 10:05	SRV-02	Purchase	500

구분	CSV	TSV
정식 명칭	Comma-Separated Values	Tab-Separated Values
구분자	쉼표 ,	탭 \t
확장자	.csv	.tsv
메모장으로 열면	쉼표가 보임	넓은 공백처럼 보임
엑셀로 열면	표 형태로 보임	표 형태로 보임

왜 CSV 대신 TSV를 쓰는 경우가 있을까?

💡 비유
택배 송장에 주소를 적을 때 쉼표를 쓰는 경우가 많다 - "서울시, 강남구, 역삼동". 이때 구분자도 쉼표를 쓰면 어디가 진짜 구분자인지 헷갈린다.
탭은 데이터 안에 거의 등장하지 않으니까 더 안전하다!

핵심은 데이터 안에 구분자가 포함될 가능성이다.
로그 데이터나 텍스트 필드에는 쉼표가 자주 들어가기 때문에 CSV로 저장하면 파싱 에러가 날 수 있다.
TSV는 탭이 데이터에 포함되는 경우가 극히 드물기 때문에 더 안전하다.

상황	CSV	TSV
데이터에 쉼표가 포함될 때	⚠️ 구분자랑 겹쳐서 파싱 에러 가능	✅ 탭은 데이터에 거의 안 나와서 안전
데이터에 탭이 포함될 때	✅ 문제없음	⚠️ 구분자랑 겹침 (극히 드문 경우)
로그 데이터 저장	🟡 쓸 수 있지만 쉼표 포함 시 주의	✅ 로그에 쉼표가 많아서 TSV가 더 안전
일반 정형 데이터	✅ 가장 보편적	✅ 동일하게 사용 가능

MSSQL에서 TSV 다루기

TSV 파일을 MSSQL 테이블로 불러올 때는 BULK INSERT의 구분자 설정만 바꿔주면 된다.

-- TSV 파일을 MSSQL 테이블로 불러오기
BULK INSERT MyTable
FROM 'C:\data\sample.tsv'
WITH (
    FIELDTERMINATOR = '\t',   -- 탭으로 구분 (CSV는 ',')
    ROWTERMINATOR = '\n',     -- 줄바꿈으로 행 구분
    FIRSTROW = 2              -- 첫 행이 헤더면 2부터
)

💡TSV = 탭으로 나눈 텍스트 파일.
                데이터에 쉼표가 많이 포함되는 경우 CSV 대신 TSV를 쓰면 파싱 에러를 줄일 수 있다!

 

 

전체 아키텍처 한눈에 보기

지금까지 설명한 개념들이 실제로 어떻게 연결되는지 전체 흐름으로 정리해봤다.
데이터가 어디서 생기고, 어떤 경로로 이동하며, 어떻게 가공되어 최종적으로 어디서 활용되는지 한눈에 볼 수 있다.

✅ 참고
ETL이란?
Extract(추출) / Transform(변환) / Load(적재)의 약자이다.
원본 데이터를 꺼내어(E), 분석에 맞는 형태로 가공하고(T), 목적지 DB에 저장하는(L) 전 과정을 말한다.

 

 

데이터 엔지니어로서 알아두면 좋은 포인트

[✓] VM은 살아있는 서버다

접속해서 쿼리를 날리고, 스크립트를 실행하고, 파일을 만들고, 프로그램을 설치하는 등 일반 서버에서 할 수 있는 모든 작업이 가능하다.
단순 저장소인 Blob과 헷갈리지 않도록 주의해야 한다.

[✓] Blob은 저장소일 뿐, 연산은 불가능하다

Blob에 파일을 올려두고 거기서 쿼리를 실행할 수 없다.
파일을 VM이나 DW 서버로 가져온 다음 처리해야 한다.

[✓] 리전별 VM 분리 구조를 기억해두자

특정 지역 데이터에 이슈가 생겼을 때, 전체를 뒤지지 말고 해당 리전 VM만 확인하면 된다.
장애 범위를 빠르게 특정할 수 있는 중요한 구조이다.

[✓] azcopy 기본 명령어는 꼭 익혀두자

대용량 파일을 VM ↔ Blob 사이에서 옮길 일이 자주 생긴다.
azcopy copy 명령의 기본 문법과 인증 방식(SAS 토큰)은 미리 숙지해두는 것이 좋다.

[✓] DB 복원 절차는 미리 한 번 따라해보자

Blob에서 .mdf / .ldf 를 다운받아 MSSQL에 Attach하는 과정은 처음 하면 생각보다 오래 걸린다.
긴급 상황 전에 미리 연습해두면 실전에서 당황하지 않는다.

[✓] 계정 전환 시 권한을 반드시 확인하자

다른 사람 계정으로 하던 작업을 내 계정으로 이관했을 때, 동일한 IP 장비라도 폴더 접근 권한, 스크립트 실행 권한, 네트워크 드라이브 마운트 권한 등이 다를 수 있다.
이전에 되던 작업이 안된다면 권한 문제를 먼저 의심하자.

[✓] .ldf 파일은 선택이 아니라 필수

.mdf 만 있으면 될 것 같지만, MSSQL은 .mdf + .ldf 둘 다 있어야 정상 동작한다.
,mdf 만으로 복원하는 ATTACH_REBUILD_LOG는 응급 수단일 뿐, 트랜잭션 로그가 전부 유실된다.

 

 

References

주제	문서	링크
Azure VM 개요	Azure Virtual Machines 공식 문서	https://learn.microsoft.com/ko-kr/azure/virtual-machines/overview
Azure Blob Storage 개요	Azure Blob Storage 소개	https://learn.microsoft.com/ko-kr/azure/storage/blobs/storage-blobs-introduction
Blob Lifecycle 정책	Blob Storage 수명 주기 관리 정책 구성	https://learn.microsoft.com/ko-kr/azure/storage/blobs/lifecycle-management-overview
azcopy 사용법	azcopy 시작 가이드	https://learn.microsoft.com/ko-kr/azure/storage/common/storage-use-azcopy-v10
azcopy 인증	azcopy 인증 방법 (SAS 토큰 / Azure AD)	https://learn.microsoft.com/ko-kr/azure/storage/common/storage-use-azcopy-authorize-user-identity?tabs=windows
MSSQL .mdf / .ldf	SQL Server 데이터베이스 파일 및 파일 그룹	https://learn.microsoft.com/ko-kr/sql/relational-databases/databases/database-files-and-filegroups?view=sql-server-ver17
MSSQL DB Attach	데이터베이스 분리 및 연결 (Attach/Detach)	https://learn.microsoft.com/ko-kr/sql/relational-databases/databases/database-detach-and-attach-sql-server?view=sql-server-ver17
Azure 리전	Azure 지역(Region) 이해하기	https://learn.microsoft.com/ko-kr/azure/reliability/availability-zones-overview?tabs=azure-cli
ETL 개념	ETL(추출, 변환, 로드) 이해하기	https://learn.microsoft.com/ko-kr/azure/architecture/data-guide/relational-data/etl