[메시지 브로커] 나만 모르는 줄 알았던 메시지 브로커..

📨 메시지 브로커란 무엇일까..?

서로 다른 시스템이나 프로그램끼리 "메시지(데이터)"를 주고받을 수 있도록 중간에서 전달해 주는 소프트웨어이다.
쉽게 말해서 데이터를 전송하고 싶은 시스템과 수신할 시스템 사이에 중간 전달자 역할을 수행한다.

 

 

📨 그렇다면 메시지 브로커가 왜 필요할까??

❌ 기존 방식 : A 프로그램 → 직접 B 프로그램 호출

👉 A와 B가 서로 강하게 연결된다. (Coupling)
👉 B가 느리거나 장애가 나면 A도 영향을 받는다.
👉 비동기 불가능 → 확장성/유지보수가 어렵다.

✅ 메시지 브로커 사용 : A 프로그램 → 메시지 브로커 → B 프로그램

👉 A는 메시지만 보내면 끝이다. (B가 죽어 있어도 괜찮다.)
👉 A와 B가 독립적으로 동작할 수 있다. (비동기 처리가 가능하다.)
👉 시스템 간 결합도가 낮아지고 비동기 통신이 가능해진다.

✨ 비유

택배 회사처럼 생각하면 쉽다.
내가 친구에게 물건을 보내고 싶은데, 직접 가서 전달하는 대신 택배 기사님(메시지 브로커)이 대신 전달해 준다.
친구가 집에 없어도 상관없다! 맡기기만 하면 된다.

 

 

📨 메시지 브로커가 하는 일은 뭐가 있지?

👉 메시지 전달 : 보내는 시스템 → 받는 시스템으로 메시지 전달한다.
👉 비동기 처리 지원 : 보내는 쪽은 "전송만" 하고 바로 다음 일 진행이 가능하다.

✨ 비동기 처리 (Asynchronous Communication)

동기(Synchronous) : 요청한 쪽이 응답을 기다려야 다음 일을 할 수 있다.
비동기(Asynchronous) : 요청한 쪽이 응답을 기다리지 않고 바로 다음 일을 처리할 수 있다.

👉 메시지 브로커를 사용하면 보낸 쪽은 "메시지만 던지고" 바로 다음 일을 한다. 받는 쪽은 시간이 걸리든 말든 알아서 나중에 메시지를 받아 처리한다.
👉 "전화 통화"는 동기, "문자 메시지"는 비동기

👉 버퍼링 : 받는 쪽이 바빠도 중간에 저장해 두었다가 나중에 전달한다.

✨ 버퍼링 (Buffering)

버퍼 (Buffer) : 데이터를 잠깐 저장해 두는 임시 공간
버퍼링 (Buffering) : 보낸 데이터가 바로 처리되지 못할 때, 버퍼에 쌓아두었다가 처리하는 것

👉 받는 쪽(B)이 바쁘거나 죽어 있어도, 메시지 브로커는 "버퍼"에 쌓아 놓고 기다려준다. 그 덕분에 전달 실패 없이 안정성을 보장할 수 있다.
👉 "고객센터 대기 전화"는 바로 응답 못해도 "대기열(버퍼)"에 쌓여서 순서대로 연결

👉 신뢰성 보장 : 네트워크 오류나 서버 장애가 나도 메시지를 안전하게 보관할 수 있다.

신뢰성 보장 (Reliability)

신뢰성 (Reliability) : 시스템 장애나 네트워크 문제에도 메시지를 잃어버리지 않는 것

👉 메시지 브로커는 메시지를 디스크에 저장하거나, 복제하거나, 전송 실패 시 재시도 같은 방법으로 신뢰성을 확보한다.
👉 택배 회사가 물건을 분실하지 않고, 문제 생겨도 "보상"해주거나 "다시 보내주는" 것

 

 

📨 메시지 브로커의 메시지 처리 방식

Queue 기반 처리 (Point-to-Point)

👉 하나의 메시지를 하나의 소비자만 처리할 수 있다.
👉 주로 작업 분산(Load Balancing)에 활용된다.

Pub/Sub 기반 처리 (Publish/Subscribe)

👉 하나의 메시지를 여러 소비자에게 동시에 전달한다.
👉 이벤트 브로드캐스트에 적합하다. (Kafka의 대표적인 방식)

 

 

📨 메시지 브로커의 단점은?

👉 운영 복잡성 : Kafka 등은 구성요소가 많고 설정이 복잡하다.
👉 지연 발생 : 실시간 API에 비해 메시지 처리 지연이 있을 수 있다.
👉 중복/유실 처리 필요 : 장애 시 메시지 중복 또는 유실이 가능하다 → idempotent 처리가 필요하다.
👉 리소스 사용 : 메시지 저장/복제/전송에 디스크, 네트워크 등 리소스 소모가 있다.

 

 

📨 메시지 브로커 종류

👉 Kafka : 대용량 처리에 강하다. (수백만 메시지도 OK), 빠르고 확장성이 좋다.
👉 RabbitMQ : 다양한 메시징 패턴을 지원한다. (큐, 라우팅 등), 신뢰성 위주이다.
👉 AWS SQS : 클라우드 기반, 인프라 고민 없이 사용이 가능하다.

 

 

✅ 정리

메시지 브로커는 시스템 간 연결을 유연하게 해 주고, 확장성과 신뢰성을 높여주는 핵심 컴포넌트이다.
특히 마이크로서비스 아키텍처나 고속 이벤트 처리 시스템에서는 필수적인 역할을 한다.

👉 비동기 통신
👉 장애 분리
👉 대용량 메시지 처리

같은 장점을 통해 더 안정적이고 유연한 시스템 설계를 가능하게 만들어준다.