Introduction to Load Balancing
로드 밸런서란 무엇인가?
이메일로 블로그 포스트 받아보기: https://techchallengearena.substack.com
로드 밸런싱은 네트워크 트래픽을 여러 서버에 분산시켜서 한 서버에 과부하가 걸리지 않도록 하는 기술이다. 이를 통해 서비스의 성능과 신뢰성을 향상할 수 있다. 로드 밸런싱은 주로 웹 서버, 데이터베이스 서버, 애플리케이션 서버 등에서 사용된다.
로드 밸런싱의 기본 원리는 클라이언트로부터 들어오는 요청을 여러 서버에 고르게 분산시키는 것이다. 이를 통해 각 서버의 자원을 효율적으로 활용할 수 있고, 특정 서버에 문제가 생겼을 때 다른 서버가 이를 대체할 수 있어 서비스의 가용성을 높일 수 있다. 로드 밸런싱은 크게 하드웨어 로드 밸런서와 소프트웨어 로드 밸런서로 나눌 수 있다.
하드웨어 로드 밸런서는 물리적인 장비를 사용하여 로드 밸런싱을 수행한다. 이 장비는 고성능을 제공하며, 대규모 트래픽을 처리할 수 있는 강력한 기능을 갖추고 있다. 하지만 비용이 많이 들고 유연성이 떨어지는 단점이 있다. 대표적인 하드웨어 로드 밸런서로는 F5 Networks의 BIG-IP, Cisco의 ACE 등이 있다.
소프트웨어 로드 밸런서는 소프트웨어를 사용하여 로드 밸런싱을 수행한다. 일반적으로 오픈 소스 소프트웨어로 제공되며, 설치와 설정이 비교적 쉽고 비용이 저렴하다. 소프트웨어 로드 밸런서는 유연성과 확장성이 뛰어나며, 필요에 따라 쉽게 조정할 수 있다. 대표적인 소프트웨어 로드 밸런서로는 Nginx, HAProxy, Apache HTTP Server 등이 있다.
알고리즘
로드 밸런싱은 다양한 알고리즘에 의해 동작한다. 로드 밸런싱 알고리즘은 네트워크 트래픽을 효율적으로 분산시키기 위해 사용되는 다양한 방법을 말한다. 이러한 알고리즘을 사용하면 각 서버의 부하를 균등하게 분배할 수 있어 서비스의 성능과 안정성을 높일 수 있다. 대표적인 로드 밸런싱 알고리즘에는 라운드 로빈, 가중 라운드 로빈, 최소 연결, IP 해시 등이 있다.
라운드 로빈은 가장 간단한 로드 밸런싱 알고리즘이다. 이 알고리즘은 들어오는 요청을 순차적으로 각 서버에 분배한다. 예를 들어, 첫 번째 요청은 첫 번째 서버로, 두 번째 요청은 두 번째 서버로, 이렇게 순서대로 요청을 분배하고, 마지막 서버에 도달하면 다시 첫 번째 서버로 돌아간다. 라운드 로빈 방식은 서버의 성능이나 현재 부하 상태를 고려하지 않기 때문에 단순한 구조에서는 유용하지만, 서버의 성능 차이가 큰 경우에는 비효율적일 수 있다.
가중 라운드 로빈은 각 서버에 가중치를 부여하여 트래픽을 분배하는 방식이다. 서버의 성능에 따라 가중치를 설정하고, 가중치가 높은 서버에 더 많은 요청을 할당한다. 예를 들어, 성능이 좋은 서버에는 더 높은 가중치를, 성능이 낮은 서버에는 낮은 가중치를 부여한다. 이렇게 하면 성능 차이를 고려하여 보다 효율적으로 트래픽을 분산시킬 수 있다.
최소 연결 알고리즘은 현재 연결된 클라이언트 수가 가장 적은 서버에 요청을 보내는 방식이다. 이 방식은 각 서버의 부하를 실시간으로 고려하여 트래픽을 분배하기 때문에, 보다 균등하게 부하를 분산시킬 수 있다. 예를 들어, A 서버에 10개의 연결이 있고 B 서버에 5개의 연결이 있다면, 새로운 요청은 B 서버로 보내진다. 이 방법은 각 서버의 현재 상태를 지속적으로 모니터링해야 하기 때문에 구현이 다소 복잡할 수 있다.
IP 해시는 클라이언트의 IP 주소를 해시 함수로 변환하여 특정 서버에 요청을 할당하는 방식이다. 이 방식은 같은 클라이언트의 요청이 항상 같은 서버로 가도록 하여 세션 유지를 용이하게 한다. 예를 들어, 클라이언트 A의 IP 주소를 해시 함수로 변환한 결과가 1번 서버라면, 클라이언트 A의 모든 요청은 1번 서버로 가게 된다. IP 해시 방식은 세션 지속성(Sticky Session)이 필요한 애플리케이션에 유용하다.
이와 같은 로드 밸런서를 사용하면 트래픽을 하나의 서버가 아니라, 여러 서버에 분산시킬 수 있다. 그런데 문제는 여전히 존재한다. 바로, 로드 밸런서 자체에 대한 로드가 몰리게 되면, 로드 밸런서에 부하가 발생할 수도 있다. 만약 로드 밸런서에 장애가 발생하면, 트래픽을 서버가 받지 못하기 때문에 서비스에 큰 문제를 발생시킬 수 있다.
아이러니하게도, 로드 밸런서의 가용성을 높이기 위해서 결국 로드 밸런싱을 해야 한다. 다만, 앞에 계속해서 로드 밸런서를 붙일 수도 있지만, 결국 가장 앞단의 로드 밸런서는 동일한 문제를 겪을 수 있다. 따라서 다른 방식으로 트래픽을 분산시켜야 한다. 가장 대표적인 방법이 바로 DNS 레코드를 여러 개 추가하는 방식이다.
DNS 로드 밸런싱을 하기 위해서는 여러 개의 로드 밸런서를 준비해야 한다. 각 로드 밸런서의 IP를 같은 도메인 레코드로 등록한다. 그러면 사용자가 요청하기 전에 도메인을 질의하면 DNS 리졸버가 여러 개 중 하나의 IP를 반환한다. 이때 기본적으로 라운드 로빈 방식으로 작동한다. DNS 요청은 가벼울 뿐만 아니라, UDP이기 때문에 속도가 상당히 빠르다. 그 덕분에 여러 로드 밸런서에 부하를 효과적으로 분산시킬 수 있다.
다만, DNS 레코드를 통해 부하를 분산시키게 되면 로드 밸런서의 IP가 변경되었을 때 문제가 발생할 수 있다. 왜냐하면 기본적으로 DNS 응답은 TTL만큼 캐시 하게 되는데, 캐시로 인해서 업데이트된 서버의 IP가 아닌 이전 서버 IP를 사용하게 될 수도 있다.
요컨대, 로드 밸런싱이란 서버 안정성을 위해서 트래픽을 분산시켜 주는 행위를 의미한다. 이를 수행하는 서버를 로드 밸런서라고 한다. 로드 밸런서는 라운드 로빈, 최소 연결 등 다양한 로드 밸런싱 알고리즘을 통해서 트래픽을 분산시킨다. 로드 밸런서 자체에 대한 부하도 분산시키기 위해, DNS 기반의 로드 밸런싱을 사용한다.
