아마존의 재발명, 아마존 웹 서비스
NIA 클라우드 동향 이슈 리포트 – 12월호
아마존 웹 서비스는 한마디로 말해서 '아마존의 재발명(ReInvent)'입니다. 그렇게 부른 이유는 2006년 아마존의 한 부서에서 아마존 자체 웹 서비스를 사용하기 위해 아마존 S3나 EC2와의 다양한 표준 컴퓨팅 서비스를 재발명했기 때문입니다. 이렇듯 클라우드 컴퓨팅의 여명으로써 재발명된 아마존 웹 서비스(AWS)는 컴퓨터에 의존하는 비즈니스를 여는 경제를 근본적으로 바꿔 놓았습니다. 초기 인터넷 기업가들은 엔지니어링 시간과 노력의 70%를 데이터 센터를 구축하고 기본 인프라 소프트웨어를 설계 및 유지 관리하는 데 썼고 직원들의 에너지의 30%만 신제품을 개발하는 데 보냈습니다.
그러나 아마존 웹 서비스는 그 비율을 완전히 뒤집었습니다. 처음에 고객은 이메일 주소와 신용 카드만 있으면, 데이터 스토리지, 컴퓨팅 성능 및 데이터베이스 서비스에 액세스할 수 있으므로 사람들이 최소한의 자본 투입으로 온라인 비즈니스를 쉽게 시작할 수 있게 만들었습니다. 더욱이 클라우드 컴퓨팅에서 아마존의 선두 출발은 경쟁자들이 따라잡기 어렵게 만들었습니다. 마이크로소프트는 2010년에 클라우드 컴퓨팅 사업부를 시작했고, 2011년에는 구글이 그 뒤를 따랐습니다. 아마존 웹 서비스의 초기 주도권은 최근 몇 년 동안 줄어들었지만, 여전히 매출 기준으로 시장 점유율의 31%를 차지하여 마이크로소프트의 20%와 구글의 7%에 비해 우위를 점하고 있습니다.
한편, 아마존은 그 어느 해 보다 변화가 많았던 해로 기록되었습니다. 아마존 창립자 제프 베조스가 퇴임하고 그동안 아마존 웹 서비스를 이끄는 앤디 제시가 아마존을 맡게 되었고, 태블로(Tableu)를 경영했던 셀립스키가 아마존 웹 서비스를 맡는 등 아마존 전체 조직의 리더십이 모두 변화하였습니다. 그러한 시점에서 해마다 12월에 발표되는 아마존 웹 서비스 개발자 컨퍼런스인 ‘리인벤트(Re:Invent) 2021’에서 어떠한 전략과 서비스가 나왔는지 분석해 보도록 하겠습니다.
퍼블릭 클라우드에서 산업별 특화 클라우드로
첫 AWS CEO로 선임된 이후 리인벤트를 기조연설 한 셀립스키는 퍼블릭 클라우드에서 이제 금융, 제조, 통신, 항공과 같은 산업별 특화 클라우드로 전선을 넓히기 위해 고객들에게 명확한 비전과 실행 전략들을 보여줬습니다. 특히, 전직 태블로 CEO답게 플로렌스 나이팅게일을 예로 들어 시각화 도구의 어머니라 표현하며 각 산업계를 혁신하는 사례로 디지털 혁신을 소개했습니다. 여전히 클라우드 서비스의 불모지로 엔터프라이즈에서는 초기 시장으로 5~15% 밖에 안되지만, 현재 클라우드를 접하고 있고 아마존 웹 서비스는 산업 특화 사례를 위해 설계된 서비스들로 더욱 추상화된 계층을 구축했다고 강조했습니다.
[사진 1 - ReInvent 2021 기조 연설을 하고 있는 새 AWS CEO 아담 셀립스키]이러한 예를 보여주기 위해 금융 분야 데이터 준비를 제공하는 '아마존 핀 스페이스(Finspace)’를 소개하고, 골드만삭스와 손잡고 금융 기관을 위한 새로운 클라우드 기반 데이터 및 어낼리틱스 솔루션 제품군인 ‘AWS 기반의 데이터를 위한 골드만 삭스 금융 클라우드'를 출시한다고 발표했습니다. 수십 년간의 골드만삭스 경험을 바탕으로 데이터 관리 및 분석 문제를 해결하도록 돕는데, 금융 기관 고객들이 클라우드에서 데이터를 검색, 구성 및 분석하는 방법을 재정의하고, 신속한 통찰력을 얻고 정보에 입각한 투자 결정을 내릴 수 있도록 지원합니다. 또한, 골드만삭스와 AWS의 협력으로 탄생한 이 서비스를 기반으로 기관 고객은 금융 애플리케이션의 시장 출시 시간을 단축하고 리소스를 최적화해 포트폴리오 수익에 집중해 신속하게 혁신할 수 있습니다.
아마존 웹 서비스의 15년 여정
셀립스키는 15년간 아마존 웹 서비스 여정을 그 당시 아마존 S3 와 일래스틱 컴퓨팅(EC2) 서비스 개발이 어떻게 이루어졌고, 향후 어떻게 발전할 것인가에 대해서도 발표했습니다.
첫째, 심플 스토리지 서비스(S3)는 개발자가 ‘언제 어디서나 웹상의 모든 양의 데이터’를 저장하고 검색할 수 있는 S3에 저장된 객체들은 출시 2개월 만에 아마존 개발자들의 예상을 100배 초과했습니다. 기후 변화로 변동이 잦은 일기 예보 및 코로나 백신을 위한 게놈 연구에서 인공지능을 이용한 얼굴 인식에 이르기까지 오늘날 100조 개 이상의 객체가 S3에 저장되어 있습니다.
둘째, 아마존 S3를 발표한 그 해, 아마존은 또 다른 클라우드 서비스인 일래스틱 컴퓨팅(EC2)을 발표했습니다. 이 기술을 통해 개발자들은 여러 다른 기능 중에서 데이터를 처리하고 분석하는 데 사용할 수 있는 주문형 컴퓨팅 성능에 액세스할 수 있도록 했습니다. 이러한 아마존의 재발명한 아마존 웹 서비스는 아마존의 한 부서로부터 출발했습니다. 2000년대 초반에 아마존 소프트웨어 엔지니어는 디지털 인프라를 만들고 유지 관리하는 데 너무 많은 시간을 소비하고 있다고 불평했습니다. 이 프로젝트의 리더인 앤디 제시도 총 2~3개월이 소요되어야 한다고 생각하지만 스토리지 솔루션이나 데이터베이스 솔루션 또는 컴퓨팅 솔루션에만 2~3개월을 더 소비했습니다.
따라서, 부분적으로 자체 성장 문제를 해결하기 위해 아마존은 안정적이고 비용 효율적인 데이터 센터를 구축하고 데이터베이스 관리와 같은 서비스를 제공하는 프로세스를 중앙 집중화하여 자체 팀이 더 많은 소비자들을 아마존닷컴으로 끌어들이는 제품 설계에 집중할 수 있도록 했습니다. 마침내 컴퓨팅 성능을 확장하고 소프트웨어 개발자에게 인터넷 기반 서비스를 제공하는 것이 아마존의 강점 중 하나라는 사실을 깨닫고, 2003년에 이미 내부와 외부의 개발자와 기업에 제공하는 클라우드 컴퓨팅 서비스를 하나로 통합하여 ‘아마존 웹 서비시스(Amazon Web Services)’라는 새 회사를 출발했습니다.
[사진 2 - ReInvent 2021에서 발표된 AWS 발자취 비디오]셋째, 지난 15 년간 클라우드 서비스 업체의 경쟁 양상은 수평적 확장을 통해서 이루어졌습니다. 예를 들어, 아마존 EC2, 아마존 S3와 같이 컴퓨팅, 스토리지 인프라를 기본으로 네트워크, 관리 도구, 로드밸런싱, 보안, 데이터 관리, 분석, 시각화, 머신러닝, 블록체인 등까지 각각의 솔루션과 서비스를 늘려가는 식이었습니다. 또한 그동안 축척해왔던 고객 사례를 분석해 '웰-아키텍티드(well-architected)'라는 프로그램을 발전시켰습니다. 사례별 공통점과 차이점을 분류하고, 요구사항에 적합한 서비스 컴포넌트들을 실제로 아키텍처로 구현해 어떻게 활용하는지 쉽고 편리하게 사용할 수 있도록 고객들에게 보여줌으로써 고객들과 상호 간의 커뮤니케이션 도구로 활용했습니다.
올해부터는 특정 산업 분야에 맞춘 특화 클라우드 서비스에 중점을 두기 시작했습니다. 산업별, 기업별로 요구사항이 천차만별이기 때문에 아마존 웹 서비스는 클라우드 전문 컨설팅 기업들과 함께 이를 진행하기 시작했습니다. 그러한 예로 미국 유료방송서비스 제공 업체 디시네트워크의 계열사인 '디시 와이어리스'는 새로운 5G 네트워크를 AWS 서비스 기반으로 구축한다고 보여줬습니다. 디시네트워크 전체를 클라우드에 구축한 5G 네트워크를 만들어 스마트폰과 기기에 5G 서비스를 제공합니다. 비록 전통적인 통신 사업자는 기존 하드웨어를 업그레이드하지만, 디시 와이어리스는 다른 세대를 구축하지 않아 더욱 많은 기회를 갖고 있다고 발표했습니다. 또한, 아마존 웹서비스의 통신사업 파트너로서 엣지 컴퓨팅을 위한 클라우드 기반 5G 서비스를 제공하는 것은 눈길을 끌게 충분했습니다.
인공지능 소프트웨어 대중화를 위한 세이지메이커 재발명
리인벤트 컨퍼런스 동안 가장 주목을 많이 받은 서비스가 세이지메이커 캔버스(SageMaker Canvas) 아닌가 싶습니다. 세이지메이커가 새로운 기능이 사용자가 조직에서 머신러닝을 더 쉽게 확장할 수 있도록 하는 것을 목표로 세이지메이커 기능들을 재발명했습니다. 세이지메이커 캔버스는 그동안 주피터랩 노트북 코드 방식에서 벗어나 시각적이고 코드가 없는 도구로 캔버스를 사용하면 비즈니스 분석가가 머신 러닝 모델을 구축하게끔 도와줍니다. 또한, 클라우드 또는 온프레미스에서 서로 다른 데이터 소스를 탐색하고 데이터셋을 결합시킬 수 있습니다. 만일 업데이트된 데이터를 사용할 수 있게 되면 모델을 학습시켜 예측을 생성할 수 있습니다.
[사진 3 - 아마존 세이지메이커 캔버스 발표 장면]이러한 기능들을 내놓게 된 배경은 소프트웨어 개발이 창의적인 과정이지만 반복적인 작업이 많이 필요한 과정입니다. 머신러닝이 소프트웨어 개발자의 워크플로를 강화하여 더 안전하고 안정적인 코드를 생성하는 데 중요한 역할을 하기 시작할 것으로 내다보았습니다. 클라우드가 등장한 이후로 전 세계의 기업들이 그 어느 때보다 빠르게 대규모로 새로운 아이디어를 고객에게 제공하는 것을 보아 왔으나, 이러한 제품 제공의 가속화에도 불구하고 사람들은 여전히 기술의 한 영역인 소프트웨어 개발에 불균형적인 시간을 보내고 있기 때문입니다.
[사진 4 - 계속해서 업그레이드하는 AWS 머신러닝 칩과 인스턴스]AWS에서는 먼저 AI/ML 하드웨어 칩에 대해 꺼내어 들었습니다. 그래비톤3(Graviton3)으로 구동되는 EC2 인스턴스인 C7g는 ARM 기반 커스텀 실리콘 포트폴리오의 최신판이며 벌써 3세대 버전입니다. 이 인스턴스는 컴퓨팅 워크로드에서 평균 25% 더 빠르게 작동하며, 전문화된 암호화나 머신러닝 워크로드에서도 더욱 좋은 성능을 유지시켜 줍니다. 또한, Trn1은 프리뷰 버전으로 출시됐으며, 작년에 발표된 트레이늄 칩이 처음으로 사용되었습니다. Trn1은 800Gbps의 네트워크 대역폭 용량을 갖춘 컴퓨팅 집약적인 머신러닝을 사용할 수 있도록 더 높은 성능을 보장합니다.
또한, 프로그래밍 언어, 소프트웨어 개발 툴킷(SDK) 및 개발자가 보다 효율적으로 작업할 수 있도록 하는 기타 다른 도구가 완전히 개선되었지만 모두 사소한 발전에 불과했습니다. 그러므로, 지난 몇 년 동안 소프트웨어 개발의 미래가 될 기초를 마련하기 시작했습니다. 아마존 데브구루, 아마존 코드구루, 깃허브 코파일럿 및 GPT-3과 같은 도구는 머신러닝이 코드를 개발하고, 소프트웨어 운영 워크스트림에 사용되어 개발자의 효율성을 높였습니다. 한편, 기업이 온라인으로 비즈니스를 전환할 때 인공지능이 지속적으로 수용하게 되었습니다. 기업의 52%가 코로나19로 인해 인공지능 도입 계획을 가속화했습니다. 또한 이미 52%의 기업이 2020년에 인공지능 전략을 가속화했으며, 67%는 향후 전략을 더욱 가속화할 것으로 예상한다고 밝혔습니다.
[사진 5 - 세이지메이커를 통한 전체 AI/ML 워크플로를 발표하는 스와미 시바수브라마니안 박사 기조 연설]AWS AI/ML 부사장인 스와미 시바수브라마니안 박사는 AI/ML 전체 워크플로 및 프로세스를 세이지메이커로 재발명하면서, 4단계를 갖추었다고 발표했습니다. 첫 번째로, 기업들이 제일 처음 인공지능을 도입할 때, ‘레이블링 전문가’ 인력을 고용하여 고품질 훈련 데이터셋을 제공하는 동시에 회사가 자체 레이블링 애플리케이션을 관리할 필요가 없도록 하는 세이지메이커 그라운드 트루스 플러스(SageMaker GrondTruth Plus)를 추가시켰습니다. 데브옵스 실무자의 지원을 받아 워크로드 요구 사항에 맞게 컴퓨팅 클러스터를 구성 및 프로비저닝 하는 새로운 방법을 포함하여 세이지메이커 스튜디오를 한층 더 업그레이드했습니다.
둘째, 모델 빌딩 단계로 세이지메이커 스튜디오 노트북(SageMaker Studio Notebook)을 꺼내어 들었습니다. 세이지메이커를 통해 클릭 몇 번만으로 아마존 EMR에서 실행되는 아파치 스파크 데이터 처리 환경을 시간적으로 찾아보고 검색하며, 아마존 S3, 그리고 스노우 플레이크 등등에서 다양한 노트북 인스턴스를 연결하여 실행시키는 것을 노트북을 통해 연결된 후, 이제 대화형으로 데이터를 쿼리, 탐색 및 시각화하고 SQL 또는 파이썬, 스칼라와 같은 언어로 통합 관리할 수 있도록 해주며, 데이터 준비 및 검사 등을 쉽게 해 줄 수 있도록 해 줍니다. 또한 필요하다면 기존의 프레임워크나 코드들을 재활용하거나 수정할 수 있도록 종단 간 데이터 준비 및 머신러닝 워크플로를 구축할 수 있도록 제공해 줍니다.
세 번째 단계로, 모델 훈련 및 튜닝 단계로 AWS에서는 세이지 메이커 인프라스트럭처를 혁신적으로 재발명했다고 했습니다. 예를 들어, 세이지메이커 트레이닝 컴파일러(SageMaker Training Compiler)는 GPU 인스턴스의 보다 효율적인 사용을 통해 딥 러닝 모델의 훈련을 최대 50%까지 가속화할 수 있도록 해줍니다. 따라서, 자연어 처리 및 컴퓨터 비전 작업을 위한 최첨단 딥러닝 모델은 훈련하는 데, 수천 GPU 시간이 걸릴 수 있는 수십억 개의 파라미터가 있는 복잡한 다층 신경망을 가진 모델을 파인 튜닝하는 데에도 때로는 며칠이 걸리므로 높은 비용이 발생하고 혁신이 느려질 수 있습니다. 그러한 프로세스를 가속화하기 위해 이제 기존 훈련 스크립트를 최소한으로 변경하면서 사용할 수 있도록 해 줍니다.
이와 더불어, 세이지메이커 인퍼런스 레코멘더(SageMaker Inference Recommender)는 로드테스트를 자동화하고 머신 러닝 인스턴스 전체에서 모델 성능을 최적화합니다. ML 옵스 엔지니어가 시뮬레이션된 환경에서 모델에 대해 부하 테스트를 실행할 수 있도록 하여 머신러닝 모델을 개발에서 프로덕션으로 가져오는 데 걸리는 시간을 줄일 수 있도록 해줍니다.
네 번째, 모델 배포 및 관리 단계로 세이지메이커 서버리스 인퍼런스(SageMaker Serverless Inference)는 기본 AI/ML 인프라를 구성하거나 관리할 필요 없이 추론용 머신러닝 모델을 간편하게 배포할 수 있는 새로운 추론 옵션입니다. 머신러닝 모델 배포 시에 서버리스 옵션을 선택하기만 하면 아마존 세이지메이커가 추론 요청 볼륨에 기반한 컴퓨팅 용량을 자동으로 프로비저닝하고 크기를 조정하고 비활성화합니다. 세이지메이커 서버리스 인퍼런스를 사용하면 유휴 시간이 아닌 추론 코드를 실행하는 기간과 처리된 데이터양에 대해서만 비용을 지불하므로 더 이상 AI/ML 인프라 구성에 시간을 쓸 필요가 없습니다.
[사진 6 - 대학생 연구자와 데이터 과학자를 위한 무료로 사용할 수 있는 세이지메이커 스튜디오 랩]끝으로, 데이터 과학자나 연구자들을 위해 AWS 계정이나 결제 세부 정보가 필요하지 않은 무료로 사용할 수 있는 새로운 세이지메이커 스튜디오 랩(SageMaker Studio Lab)을 내놓았습니다. 사용자는 웹 브라우저를 통해 이메일 주소로 간단히 등록할 수 있으며 재정적 의무나 장기 약정 없이 머신러닝을 구축하고 훈련할 수 있습니다.
전 세계 어디에서나 활용할 수 있는 엣지 컴퓨팅
클라우드는 이제 특수 제작된 장치와 전문 솔루션을 통해 모든 위치 장소(locale)로 확장하고 있습니다. 클라우드의 모든 기능을 활용하여 창고, 레스토랑, 소매점, 농장 등을 변화시키고 있습니다. 특히, 공급망과 운송에 대한 혁신 사례로 고객 여정의 마지막 구간을 ‘라스트 마일’로 더 빠르고 안전하게 전달합니다. 따라서, 전자 상거래에서는 위치에 따라 많은 변수가 있기 때문에 여정의 어려운 부분이 존재합니다. 예를 들어, 도쿄의 혼잡한 거리에서 고객에게 소포를 배달하는 것과 미국의 시골 도로에서 배달하는 것은 다릅니다. 아마존에서는 완전 전기 자율 배송 장치인 아마존 스카우트(Amazon Scout)와 같은 혁신을 통해 이 라스트 마일 배송을 위한 전문 솔루션을 개발하고 있습니다. 따라서, 클라우드는 이러한 ‘라스트 마일’에 고유한 과제를 안고 있으며, 이를 해결하는 데 도움이 되는 여러 가지 혁신이 발전시키고 있습니다.
[사진 7 - AWS CTO 버너 보겔스 박사의 2022년 그 이후 기술 예측 (발췌:블로그)]아마존 웹 서비스는 지난 15년 동안 AWS는 245개 이상의 국가 및 지역에 서비스를 제공하는 310개 이상의 접속 지점을 통해 전 세계 25개 지리적 지역과 81개 가용 영역에 걸쳐 인상적인 글로벌 인프라를 구축했습니다. 그러나 이제 기존 AWS 리전의 경계를 넘어 네트워크 엣지 또는 전자 상거래와 같이 라스트 마일까지 클라우드 서비스를 확장하고 있습니다. 사람이 숨 쉬는 산소와 같이 이미 클라우드는 지구상의 어디서나 거의 모든 곳에서 사용되는 것을 보고 있습니다. 향후 클라우드에서 가장 크게 목격하게 될 변화는 클라우드가 네트워크 엣지에서 고도로 전문화되는 것입니다. 작업장 및 창고, 레스토랑 및 소매점 또는 원격 위치에서 클라우드의 이점을 완전히 실현하려면, 엣지에 맞춤형 솔루션을 제공해야 합니다.
아마존 모니트론(Amazon Monitron) 및 AWS 파노라마(AWS Panorama)와 같은 장치로, 특정 작업을 수행하기 위해 네트워크 엣지에 클라우드 기능을 제공하는 특수 제작된 장치들입니다. 따라서, 클라우드의 높은 보안, 고급 기능 및 제공 속도를 모두 제공할 뿐만 아니라 전 세계 거의 모든 곳에 배치할 수 있습니다. 또한 이러한 장치는 격리된 영역 어딘가에 있는 것이 아니라 모든 핵심 기능으로 다시 연결되는 링크를 통해 클라우드의 진정한 확장으로 중장 집중식과 장치 간의 엣지 간의 네트워크 커뮤니케이션을 이어 줍니다. 다시 말해, 클라우드가 기존의 중앙 집중식 인프라 모델을 넘어 전문 기술이 필요한 예상치 못한 환경으로 가속화합니다. 또한, 도로를 달리는 트럭부터 상품을 운송하는 선박과 비행기에 이르기까지 모든 곳에 포함되고, 전 세계적으로 분산되어 지구와 우주에 있는 거의 모든 디지털 장치 또는 시스템에 연결됩니다.
마치며
아마존 웹 서비스의 출시는 3,000억 달러 규모의 산업인 클라우드 컴퓨팅을 창출함으로써 웹 기반 비즈니스의 경제에 혁명을 일으켰습니다. 리서치 회사 IDG에 따르면, 거의 모든 대기업과 정부 기관이 일종의 클라우드 컴퓨팅 서비스를 사용한다고 합니다. 엔터프라이즈, 소비자 및 글로벌 인터넷 경제에 대한 아마존 웹 서비스(AWS)의 중요성은 아무리 강조해도 지나치지 않습니다. 내부적으로 아마존 웹 서비스(AWS)는 아마존의 캐시 카우로써 2020년 이자 및 세금을 제외하고 회사의 229억 달러 이익 중 59%를 차지합니다. 물론 아마존 매출의 12%에 불과하지만, AWS 인프라는 아마존 물류를 지원하여 아마존의 다른 거의 모든 작업은 말할 것도 없고, 매년 25억 개 이상의 패키지를 고객들의 올바른 주소로 보내는 데 협격한 공헌을 합니다.
또한, 클라우드 산업은 현재 변곡점에 도달했습니다. 아마존 웹 서비스(AWS)가 15년 전에 클라우드 기술을 개척한 후, 클라우드 인프라는 클라우드의 모든 부분이 지구상의 거의 모든 곳, 심지어 우주까지 도달하는 것을 볼 수 있는 곳으로 발전했습니다. 클라우드 덕분에 한때 공상과학 소설이었던 것이 과학적 사실이 되었습니다. 인공지능(AI) 및 머신러닝(ML) 영역의 모델과 알고리즘들이 점점 더 발전하면서 이전에는 영화와 만화에서만 상상했던 새로운 종류의 사용 사례가 등장하기 시작했습니다. 데이터가 풍부하고 액세스가 거의 즉각적이며 새롭고 미묘한 방식으로 데이터를 이해하는 능력이 사실상 이제는 자동화 단계에 진입하고 있습니다. 비록 장기간 코로나 전염병이 유행하고 있지만 사람들이 세상과 소통하는 방식을 강화하고 있습니다. 앞으로도 기술 분야에서 흥미진진해질 것이며, 그 과정에서 우리 인류 모두와 지구가 앞으로 한 발작 더 나아가게 될 것이라고 믿습니다.
알림
이 컬럼은 한국지능정보사회진흥원(NIA) 디지털서비스 이슈리포트 2021년 12월호에 게재된 글에 좀더 추가시켰습니다. 원본은 아래의 참고 문헌의 웹사이트 링크에서 보시고 PDF 파일로도 여기에서 다운로드 가능합니다.
