디지털 전환의 엔진: 클라우드 엔지니어링
코로나가 불러온 클라우드 전환의 시대
넷플릭스의 100% 클라우드 전환
코로나19로 인해 집에 있는 시간이 늘어난 시절부터 OTT서비스(Over the top)가 급증했습니다. OTT는 인터넷을 통해 볼 수 있는 TV서비스를 말합니다. 대표적으로 넷플릭스가 있고, 국내 서비스인 티빙, 왓챠, 쿠팡플레이, 외국기업인 디즈니플러스, 구글, 애플 등 많은 기업들이 OTT서비스의 확장을 실시하고 있죠.
OTT서비스가 활용하는 기술은 클라우드 컴퓨팅입니다. 많은 미디어를 저장하고 동시에 제공하는 OTT의 특성상 클라우드 서비스를 선호할 수 밖에 없는데요. 왜냐하면 기존의 네트워크 인프라는 기업 자체 인프라나 데이터 센터를 물리적으로 구축해야하는 공간과 비용이 필요했습니다. 그러나 이러한 비용에 비해 늘어나는 컨텐츠 서비스를 제공하기에는 비효율적이기 때문에, "이용자가 요구하는 만큼, 필요한 시점에, 서비스로 제공하는" 서비스로서의 클라우드 인프라를 구축하는 경향이 늘어날 수 밖에 없습니다.
넷플릭스를 예로 들면, 2009년 AWS(아마존 웹 서비스)를 도입한 이후 2016년을 마지막으로 자체 데이터센터를 모두 폐쇄하고 인프라를 100% 클라우드로 이전했습니다. 190여개 국가에 온라인 서비스를 하기 위해 해당 나라에 물리적인 서버를 구매하고 데이터 센터에 입주하는 일을 반복하는 것을 거의 불가능에 가깝습니다.
그러나 클라우드라면 수 분에서 수 시간 내에 설정 및 배포를 완료할 수 있기 때문에 클라우드 서비스가 효율이나 비용 측면에서 훨씬 유리할 수 밖에 없죠. 넷플릭스가 추구하는 핵심가치는 컨텐츠의 혁신이기 때문에, IT인프라 환경 조성에 소비할 시간과 비용을 컨텐츠에 집중할 수 있기 때문에 한 혁신적인 결정이라고 볼 수 있습니다.
디지털 전환이 곧 클라우드 업계의 확장
OTT 서비스뿐만 아니라 코로나로 인해 재택근무나 비대면 활동이 늘어난 만큼, 기존의 온프레미스 시스템에서 클라우드로 확장하거나 병행하여 사용하는 기업이 늘어나고 있습니다.
출처: 과기정통부, NIA 클라우드 플랫폼 테크 엣지 보고서 재인용국내 퍼블릭 클라우드 시장규모는 2017년 1.6조에서 연평균 20% 이상씩 증가하며 2021년 3.4조에 달하는 시장 규모로 성장하였습니다.
현재 국내 클라우드 시장은 아마존웹서비스(AWS)와 마이크로소프트(MS), 구글 3사가 전체의 70~80%를 차지한 것으로 추정되는데요, 이중 AWS의 점유율만 절반 이상으로 알려졌습니다. 국내 기업들은 클라우드 사업 분사를 통해 경쟁력을 강화한 후 공공 클라우드 사업을 기회로 삼아 시장 점유율을 높일 것으로 보입니다. 거기에 행정안전부는 오는 2025년까지 전체 1만9개 시스템을 클라우드로 전환할 계획을 갖고 있다고 발표했습니다.
전문가들은 코로나19로 클라우드 전환 속도가 당초 예상 대비 4~5년은 빨라져서 클라우드 전환은 이제 피할 수 없는 세계적 흐름이라고 평가하고 있습니다.
그렇다면 클라우드의 어떤 점이 디지털 전환을 이끌고 있을까요?
구름처럼 가볍지만 풍부하게 : 클라우드 컴퓨팅
클라우드 컴퓨팅이란?
클라우드 컴퓨팅은 스토리지, 플랫폼, 소프트웨어와 같은 IT자원들을 데이터센터에 쌓아두고, 사용자가 요구하는 만큼만 가상적으로 분리하여 정보통신망을 통해 필요한 시점에 서비스로 제공하고 사용량 만큼 비용을 청구하는 방식을 의미합니다. 쉽게 요약하면 "이용자가 요구하는 만큼, 필요한 시점에, 서비스로 제공하여, 사용하는 만큼 비용을 청구"하는 것이 클라우드 컴퓨팅의 특성이라고 할 수 있습니다.
기존의 IT 인프라 네트워크 : 기존의 기업은 사내에 별도의 전산실을 설치하여 IT자원을 구비하고, 전문관리자를 고용하여 관리했습니다. 이용자는 자신의 요구사항에 맞는 소프트웨어를 구입하여 문서작성, 프로그램 개발, 컨텐츠 이용 등의 기능을 수행하였습니다.
이는 기업입장에서는 데이터 센터 설치 및 관리에 대한 비용에 대한 부담과 대용량의 데이터를 제한된 서버 안에서 관리했을 때 생기는 과부하나 기능의 문제 등이, 이용자 입장에서는 소프트웨어나 컨텐츠 이용시 별도의 구매 및 설치를 해야하는 번거로움이라는 단점이 있습니다.
클라우드 서비스 : 데이터 센터 투자비용의 절감, 유연한 서비스 설계와 이용, 서비스 제공의 효율성, 그리고 언제 어디서나 다양한 기기를 통해 IT서비스를 이용할 수 있는 점이 기존의 단점을 보완할 수 있는 장점으로 부각됩니다. 그러나 취약한 보안이 클라우드의 큰 단점인데, 아무래도 오랫동안 축적된 네트워크 보안 기술에 비해서는 가상화 공간에서의 클라우드의 보안은 취약할 수 밖에 없습니다. 그럼에도 불구하고 점차적인 안정성 확보를 해나가기 때문에 클라우드 전환의 상용화는 급속화될것으로 보입니다.
출처: 국회입법조사처, 클라우드 컴퓨팅의 현황과 과제, 2017데이터의 하늘길을 구축하는 일: 클라우드 엔지니어링
엔지니어 또는 개발자 또는 둘다
클라우드 엔지니어링의 가장 중요한 역할은 기업이 원하는 IT서비스를 위해 최적의 해결책을 제시하고 구축하는 일입니다. 기업에서 개발한 서비스가 효율적으로 유지될 수 있도록 튼튼한 인프라 서비스 환경을 구축하고 운영합니다. 보통 엔지니어가 경력과 역량을 쌓게 되면 '솔루션 아키텍트'라는 타이틀을 갖게 되는데요. 고객과 소통하며 설계 및 구축을 기획하는 이들을 말합니다. 말그대로 높은 레벨의 엔지니어라고 할까요.
여기서 구분해야할 것은 클라우드 소프트웨어 개발자와의 차이인데요. 클라우드 개발자는 프로그램 자체를 만들어내는 역할이라면, 인프라 엔지니어는 만들어진 클라우드 프로그램을 기업이 요구하는 형태에 맞게 작동될 수 있도록 구축, 운영, 관리하는 역할이라고 생각하면 됩니다. 개발자의 방향성은 개발을 통한 혁신이라면, 엔지니어의 방향성은 안정성과 연속성이라고 요약할 수 있습니다.
데브옵스(DevOps)엔지니어라는 직무도 있습니다. 이것은 명확한 직무라기보다 개발(Develop)과 운영(Operations)의 관점차이에서 오는 문제를 엔지니어링의 힘으로 해결해나가는 하나의 업무방식이고 볼 수 있습니다. 쉽게 말하면 개발과 운영 양쪽 모두에 대한 지식과 경험을 가진 사람이라고 할 수 있습니다. 이런 포지션에 있는 사람들을 데브옵스 엔지니어로 통칭하기도 합니다.
현업에서 요구하는 기술
네트워크: 데이터를 주고받기 위해 유무선 매체를 이용해 놓은 것을 말하는데요. 사용자는 이 네트워크를 통해 여 러가지 서비스를 이용할 수 있죠. IT인프라 구축을 위한 기본적이고 중요한 영역입니다. TCP/IP, Routing&Switching 등의 네트워크 기초 기술 등이 있습니다.
서버: 서버는 이용자에게 네트워크를 통해 컨텐츠를 서비스하는 컴퓨터를 의미합니다. 보통 서버를 운영하기 위한 운영체제(OS)는 리눅스가 기본입니다. 특히 클라우드 주 영역인 오픈스택의 소프트웨어가 리눅스에서 동작하는 것이 증가했기 때문에 오픈스택 구축 및 운영과 AWS를 사용하기 위한 리눅스 운영 기술이 필요합니다.
보안: 컴퓨터 보안은 데이터의 도난, 소프트웨어 손상, 서비스 중단 등으로부터 시스템을 보호하는 것을 뜻하는데요. IT에서는 정보보안이라고 통칭합니다. 안정적인 서비스 운영을 위해서는 필수적인 기술입니다. 네트워크/서버 방화벽 기술 등이 필요합니다.
클라우드 보안: 클라우드 보안은 데이터, 애플리케이션 및 인프라 서비스를 보호하기 위한 일련의 정책, 제어 및 기술을 뜻합니다. 외부 및 내부 사이버 보안 위협과 취약성으로부터 클라우드 컴퓨팅 환경을 보호하는 영역입니다.
가상화: 클라우드는 기본적으로 하나의 물리적 머신에서 여러 개의 운영체제를 동시에 사용할 수 있는 시스템으로 만들어져있습니다. 기존의 네트워크 기술과의 차이가 바로 여기인데요. 중심 기술은 도커(Docker)라는 오픈소스 가상화 플랫폼으로, 운영체제를 가상화하지 안혹 도커라는 엔진을 올리고 그 위에 컨터네이너라는 작은 서버를 올리는 구조라서 가볍다라는 특징이 있습니다. 쿠버네티스(Kubernetes)는 이러한 많은 컨테이너를 묶어서 관리할 수 있게 해주는 오픈소스 플랫폼입니다. 클라우드화된 애플리케이션을 빠르게 자동적으로 배포하고, 컨테이너들을 관리하는 관리시스템이라고 보면됩니다. 클라우드 서비스 구축의 주요한 기술이기때문에 필수적으로 요구되는 항목입니다.
프로그래밍: 클라우드 인프라를 효율적으로 구축하고 관리하거나 반복 작업을 단순화 하기 위해 필요한 영역입니다. AWS 람다와 같은 서버리스 서비스 및 IaC(Infrastructure as Code) 활용에 필요한 프로그래밍 언어로써 파이썬/장고 활용 능력이 필요합니다.
기업 종류
Vendor: 클라우드를 개발하는 회사입니다. 개발인력을 이용해서 프로그램(서비스)을 개발합니다. 직접 개발을 하는 파트이므로, 아키텍트나 엔지니어는 지원이 불가합니다. 아마존웹서비스, 마이크로소프트, 구글, 오라클, 네이버, KT와 같은 회사가 대표적입니다.
CSP(Cloud Service Provider): 클라우드 서비스를 제공하는 회사를 말합니다. 솔루션 아키텍트에 대한 수요가 많습니다. Vendor가 동시에 CSP를 하는 경우가 많습니다. 지원하기 위해서는 다년간의 경력과 자격증 취득이 필수입니다.
MSP(Magement Service Provider): CSP의 클라우드 인프라를 고객사 상황에 맞게 구축하고 운영/관리를 지원하는 일종이 '중개업'입니다. 고객사와의 계약에 따라 클라우드 전환 구축은 중소규모의 클라우드 회사와 협업할 수 있습니다. 기술인력 지원이 주요 직무이기 때문에 엔지니어로써 진입하고 경력을 쌓기에 가능한 곳입니다.
나가는 말: 코로나 이후 AI시대의 큰 터가 된 클라우드
코로나 이후 디지털 전환이 일상을 완전히 잠식할 부렵부터 AI시대가 열렸습니다. 그중에서 가장 접근성이 좋은 생성형 AI 시장이 부각되는 큰 이유중 하나는 클라우드라는 큰 터가 중요한 역할을 하기 때문입니다. 생성형 AI의 핵심 기능은 고품질의 데이터를 최대한으로 확보하는 것인데, 이를 관리하는 것이 클라우드입니다.
생성형 AI의 성능을 결정짓는 것은 데이터 단위인 '매개변수'의 양입니다. 구글 제미나이의 매개변수는 약 1조 5000억 개, GTP-4의 매개변수는 약 1조 7000억 개를 가지고 있는 것으로 알려져있습니다. 점차적으로, 그리고 빠른 속도로 AI의 성능이 확장될수록 대량의 매개변수를 저장하고 관리하는 클라우드의 성능 또한 한 중요해질 것입니다. 클라우드가 없었다면 생성형 AI는 지금처럼 성장할 수 없었습니다. 유독 시끌벅적한 AI시장의 그림자 뒤에서 클라우드 시장 또한 성장하고 있습니다.
