클라우드 환경에서의 데이터 전략
[1] 멀티 클라우드와 하이브리드 클라우드 인프라의 시작
오늘날 많은 기업들이 멀티 클라우드 및 하이브리드 클라우드 구조를 채택하고 있다. 이러한 구조는 기업 내부의 다양한 요구와 상황에 의해 선택되기도 하고, 필요에 의해 어쩔 수 없이 선택되기도 한다.
이번 글에서는 멀티 클라우드와 하이브리드 클라우드가 무엇인지, 기업들이 왜 이런 환경을 도입하게 되었는지 그 시작을 살펴보고자 한다.
우선, 개념부터 정리해 보자.
멀티 클라우드란? 클라우드 제공업체 2개 이상을 사용하는 개념을 말한다. 단일 클라우드 내에서도 2개 이상 리전 사용하는 것도 해당된다.
하이브리드란? 퍼블릭 클라우드와 프라이빗 클라우드 또는 온프레미스 기반을 혼합하여 사용하는 개념을 말한다.
오늘날의 기업에서는 왜 이런 환경의 인프라를 가져가게 되었을까? 의도한 선택적인 요인과 의도치 않은 불가피한 요인을 살펴보자.
1. 의도한 선택적인 요인 (1) : 자체 데이터 센터에서 클라우드로 데이터 이관의 시작
초기엔 자체 데이터 센터를 구축할 수 없는 기업들이 주로 클라우드를 사용했다. 사용량 기반의 비용 지불 방식이 자체 데이터 센터를 구축하는 초기 비용보다 낮고, 높은 안정성을 보장하는 게 큰 이유였다.
그러나 데이터의 양이 폭발적으로 증가함에 따라 클라우드 컴퓨팅 기술도 성숙해졌다. 많은 기업들이 자체적으로 증가하는 데이터를 처리하기 위해 서비스를 개발하고 운영하는 것보다 클라우드 제공 업체의 서비스를 이용하는 것이 비용 절감과 개발 속도 측면에서 더 큰 이점을 제공하게 되었다. 이러한 요인은 큰 규모의 기업들이 자체 데이터 센터를 보유하고 있음에도 불구하고, 클라우드의 여러 장점을 활용하기 위해 자사의 데이터를 클라우드로 이관하는 프로젝트를 다양하게 진행했다.
2. 의도한 선택적인 요인 (2) : 멀티 클라우드와 하이브리드 클라우드 복합 사용
2018년 AWS 서울 리전의 장애로 이를 사용하던 여러 기업들의 서비스 플랫폼이 먹통이 된 사건이 있었다. 그 해 3월에도 미국 동부 리전에서도 장애가 발생해 많은 서비스가 중단되기도 했었다. 이 사건들은 단일 리전 및 클라우드에 의존하는 것은 큰 리스크가 있다는 것을 깨닫게 해 주었다. 이로 인해 기업에서는 장애가 발생해도 대처 가능한 멀티 리전 및 클라우드 환경 도입을 고려하기 시작했다.
기업에서는 단일 공급업체에 대한 의존도를 감소시키기 위해 단일 클라우드 내의 멀티 리전보다는 멀티 클라우드 내의 멀티 리전을 활용한다. 이런 전략은 기업 내의 특정 요구사항에 더 잘 충족하는 클라우드 공급업체의 특정 서비스와 고유 기능을 비용 효율적으로 선택할 수 있도록 기회를 마련한다. 또한 공급업체 간의 경쟁을 장려해 더 나은 서비스 조건으로 이어질 수 있는 기반을 마련하기도 한다.
예시로 클라우드 데이터웨어하우스 PaaS인 GCP의 BigQuery와 AWS의 Redshift를 간략하게 살펴보자.
BigQuery는 사용자가 기본 인프라를 관리할 필요가 없는 서버리스 서비스이다. GCP에서 자동으로 하드웨어 프로비저닝, 쿼리 최적화 등을 수행한다. 그래서 처리된 데이터에 따라 사용 비용이 청구된다.
반면, Redshift는 사용자가 수동으로 노드 클러스터를 설정하고 관리하는 클러스터 아키텍처 서비스이다. 사전에 사용자가 사용할 클러스터의 노드 수와 유형에 대한 용량 계획을 수립해야 한다. 사용량이 어떻든 간에 초기에 설정한 클러스터의 노드 수 기준으로 비용이 책정된다.
BigQuery와 Redshift 모두 데이터웨어하우스 서비스를 제공하는 서비스이지만, 예측 가능한 비용이 필요한 기업에서는 Redshift를 선택하고, 대규모 데이터와 복잡한 쿼리를 처리할 때 유연성과 효율성이 중요한 기업은 BigQuery를 선택할 수 있다. 또는 필요에 따라 2개를 복합적으로 사용하는 경우도 있을 것이다.
위에서 언급한 Redshift는 서버리스 버전도 나중에 출시되었는데, 이는 공급업체 간의 경쟁으로 더 나은 서비스가 나왔고 사용자에게 선택의 폭을 넓힌 예시로 볼 수 있다.
BigQuery는 서버리스 개념 등장부터 인프라 관리를 사용자가 할 필요 없다는 개념을 도입했는데, 이는 사용자가 데이터 활용 및 분석에만 집중할 수 있도록 하여, 데이터웨어하우스 시장에서 경쟁력을 갖추게 되었다. 이는 AWS 뿐만 아니라 다른 클라우드 공급업체가 서버리스 개념을 도입하는데 영향을 주었다고 볼 수 있다. 물론 꼭 BigQuery를 겨냥해 서버리스 버전을 내놓은 것은 아니겠지만 여러 요인 중 영향을 받았다고는 볼 수 있을 것이다.
이렇게 필요에 따라 각 클라우드 공급업체에서 제공하는 서비스 중 기업의 요건에 맞는 서비스를 골라서 사용할 수 있다.
그리고 민감한 데이터를 퍼블릭 클라우드로 이관하기엔 무리가 있어 온프레미스와 퍼블릭 클라우드를 복합적으로 사용하는 하이브리드 클라우드 환경을 가져가지도 한다. 기업에서는 민감한 데이터는 온프레미스 데이터센터에 보관하고, 퍼블릭 클라우드에서는 리소스가 많이 필요한 대규모의 서비스 플랫폼을 운영하여 비용을 절감하고 유연성을 향상하는 전략이다.
여기서 온프레미스 안에 저장된 민감한 데이터를 퍼블릭 클라우드 상에 운영되는 플랫폼에서 활용해야 할 때는 어떤 방법으로 가야 할까? 데이터 가상화, 온프레미스와 퍼블릭 클라우드 간 VPN 등 전용 연결선 구축, 토큰화 처리를 통해 온프레미스에 저장된 민감한 데이터를 퍼블릭 클라우드에서 활용할 수 있다.
3. 의도치 않은 불가피한 요인 : SaaS 서비스를 사용함으로써의 선택
기업이 의도하지 않게 클라우드를 도입한 경우도 있다. 예를 들어, 기업에서 필수적으로 사용하는 마이크로소프트의 Office 365가 그러한 사례이다.
마이크로소프트는 클라우드 기반 서비스 활용을 촉진하기 위해 기존 데스크톱 버전의 Office 365를 Microsoft 365를 전환했다. Microsoft 365에서 작업한 데이터는 사용자가 원할 경우 로컬에 저장할 수 있으며, 여러 작업자 간의 공동작업을 위해 마이크로소프트의 클라우드인 Azure에 저장할 수도 있다. 이 클라우드 기반 공동 작업은 작업자 간의 작업 내역을 클라우드 공간에서 실시간으로 공유하므로, 수기로 파일을 병합하는 번거로운 작업을 제거한다. 나 또한 기존 수기 병합 작업을 하다가 클라우드 상에서 동료와 공동작업을 경험하고 편리하고 효율적임을 많이 느꼈다. 이러한 공동작업의 이점을 살려 많은 기업들이 Azure를 자연스럽게 도입하게 되었다.
결국, 사용하던 서비스 공급업체가 클라우드 전략을 가지고 감에 따라 기업에서는 특정 클라우드를 자연스럽게 도입하게 된 것이다.
복합적 인프라 환경에서 기업이 직면한 과제,
기업이 멀티클라우드 및 하이브리드 클라우드 환경을 도입하는 것은 의도적인 전략적 선택과 어쩔 수 없는 상황이 있다는 것을 살펴보았다. 의도한 것이든 아니든, 이러한 환경에 놓인 기업은 멀티 클라우드와 하이브리드 클라우드에 분산되어 있는 서비스와 데이터를 통합 관리할 수 있는 효과적인 거버넌스 전략을 수립해야 한다. 이는 단순한 IT관리를 넘어서, 보안, 규제 준수, 비용 관리 및 운영 효율성을 보장하는 복잡한 작업으로, 비즈니스의 지속 가능한 성장과 혁신을 지원하는 기반을 마련하게 될 것이다.
