SW가 세상을 먹어치우는 시대에 맞는 반도체는?
[테크수다 기자 도안구 eyeball@techsuda.com]
"여러분 모두와 함께 이 여행을 다시 시작하고 싶습니다." 인텔의 CEO로 복귀하는 팻 갤싱어 CEO가 인텔 동료들에게 보낸 메모의 한 대목이다. 그는 18세에 인텔에 입사해 30년 동안 다니다가 CEO 경쟁에서 탈락한 후 2009년 디지털 정보 라이프 사이클 관리 SW와 서비스, 장비 업체인 EMC로 옮긴 후 12년만에 다시 '고향' 인텔로 복귀한다. 직전엔 VMware CEO였다. 그의 복귀에 대한 기대감도 있고, 그의 발자취를 따라가면서 관련 시장에 어떤 변화가 일어났는지 살펴보고, 정리하고 싶은 생각도 들었다.
그가 이전까지 CEO를 맡았던 VMware는 1999년에 워크스테이션 1.0을 선보이면서 PC에 가상 머신을 실행해 하나의 PC에서 여러 가지 운영체제를 실행할 수 있도록 지원했다. 그 후 2002년 최초의 하이퍼바이저인 ESX Server 1.5를 출시했다. 이번엔 PC가 아니라 서버에서 작동하는 제품이었다. 인터넷 역사와는 별개로 인프라 기술과 소프트웨어, 하드웨어들은 무슨 변화가 일어났는지 살짝 엿보려고 한다.
이 글은 최근 인텔이 발표한 한 사건에서 시작됐다. 고맙다고 해야 하나 아니면 내가 오버하고 있다고 해야 하나. 여튼 그렇게 됐다.
팻 겔싱어(Pat Gelsinger) is Back ···10여 년 만에 인텔 CEO로 복귀 – 테크수다 (techsuda.com)
웹스케일 진영, 세상을 바꾸다
2003년 구글은 논문 하나를 발표한다. 구글 파일 시스템(Google File System, GFS 또는 GoogleFS) 관련된 것으로 자사 검색 시스템에 활용되는 분산 파일 시스템이다. 범용 x86, x64 계열 서버를 활용할 수 있으며 동일 데이터를 3개 복제해 이곳 저곳에 저장해 놔 데이터 유실 문제도 방지하고 경제성도 있는 기술에 관련된 거였다.
논문 링크 : paper.dvi (googleusercontent.com)
파일 시스템을 갖는다는 건 운영체제의 기본을 갖는거라고 봐도 무방하다. 읽고 쓰고, 복사하고, 삭제하고 등등의 성질을 구현할 수 있다. 리눅스 계열은 오픈소스다보니 다양한 형태의 운영체제가 만들어진다. 마이크로소프트 윈도우 서버의 경우 절대 그 파일 시스템 소스를 공개하지 않는다. 애플은 FreeBSD를 잘 활용해서 iOS, iPadOS, 맥OS를 만들고 있다.
논문을 공개한다는 건 자랑질이다. 난 이렇게 쓰고 있지롱 메롱. 그래도 논문을 공개해줘서 다른 이들이 그걸 보고 새롭게 만들 수 있는 큰 틀은 공개한거다. 오픈소스 SW로 내놓기는 싫고 그래도 자랑은 하고 싶고 그랬던 게 아닐까 싶다. 그 논문을 보고 천재 한명이 나선다.
더그 커팅. 그는 스탠포드 대학에서 언어학을 전공하고 애플, 제록스 팔로알토 연구소에서 개발자로 근무도 한 실력자. 언어학을 배우고 프로그램까지 다 배워서 그런가 그는 검색엔진 루씬(Lucene)과 너치(Nutch)를 마이크 카파렐라와 함께 오픈소스로 공개했다. 루씬을 개발한 건 1999년이고 아파치 소프트에어 재단에 자카르타 프로젝트로 합류한 건 2001년 9월이다.
원래 언어 C도 잘하고 C++도 잘하던 양반이 자바를 배우면서 처음으로 만든 작품이 루씬이다. 요즘 전세계 검색 엔진 중 엘라스틱 서치가 있는데 그 시조가 루씬과 너치이다. 천재와 전세계 수많은 개발자들의 연합체가 만들어 내는 걸 상용 소프트웨어 회사 개발자 몇명이 어떻게 이겨낼 수 있을까. 그는 철저한 해커 그룹의 오픈소스 Sw 신봉자다.
루씬 : 루씬 - 위키백과, 우리 모두의 백과사전 (wikipedia.org)
더그 커팅이 궁금하다면 : 빅데이터 시대를 열다, 하둡을 창시한 더그 커팅 (brunch.co.kr)
아파치 하둡 : 아파치 하둡 - 위키백과, 우리 모두의 백과사전 (wikipedia.org)
2004년, 자신들의 검색 엔진의 분산처리를 위해 구글 파일 시스템과 동일한 구조의 오픈소스 소프트웨어 파일 시스템인 네치 분산 파일 시스템(NDFS) 프로젝트를 시작하고 2005년 12월 '노란 코끼리' 하둡(Hadoop)이라는 이름으로 공개한다. 이 양반 프로젝트 이름에 가족을 활용하는데 루씬은 자기 와이프의 미들 네임이라고 한다. 하둡은 노란 코끼리인데 자기 아이가 노란 코끼리를 무척 좋아하는데 그걸 가지고 다니면서 '하둡, 하둡' 그래서 하둡으로 지었다고 한다. 그래서 하둡 프로젝트의 다양한 생태계 오픈소스 이름들은 동물과 연관있는 것들이 많다. zookeeper 사육사가 왜 등장하겠어. ^.^ 그런 걸로 소소한 재미를 느끼다니 정말 천진난만한 개발자들이에요.
2006년 이 천재 개발자가 야후에 합류한다. 야후는 구글을 살 수 있는 기회를 발로 걷어찬 회사로 유명하지. 누구는 야후가 구글을 샀다면 야후가 세상을 호령하고 있을거라고 하던데 난 그렇게 생각하지 않는다. 야후가 구글을 샀어도 래리 페이지와 세르게이 브린이 그 안에서 버텨내지 못하고 나와서 다시 창업했을거다. 사람들은 삼성전자가 안드로이드 초기에 샀으면 세상을 호령했을거라던데 그것 또한 그렇지 않다고 본다. 그랬다면 우리는 지금 같은 안드로이드를 구경도 못했을거다. 그 때 못 알아보고 놔준 그 경영진들에게 난 오히려 감사하게 생각한다. 철저한 통신사 아래 폰을 만드는 제조 기업으로 삶을 살아온 그 분들에게 수평적이고 협력적이며 전세계를 호령하는 SW의 원대한 꿈은 처음부터 존재하지 않았을테니까. 완벽한 제조업과 너무나 이질적이고 다른 소프트웨어 산업의 차이라고나 할까. LG전자 모바일부서가 가전출신들이 다 와서 가전 제품 만들듯이 여려개
찍어내면 되는 줄 알았다가 개망하는 거 보시라. 2008년 이후 지끔까지 저렇게 오랫동안 삽질을 하기도 쉽지 않는데 그건 능력 밖의 일이라는 거다. 무능한게 아니라 아예 모르는 영역인데 와서 설치다가 폭망한거지.
인터넷 서비스 하는 기업들은 동일한 고민에 휩싸여 있었다. 전통적인 엔터프라이즈 진영이 비싼 관계형 데이터베이스와 분석을 위한 데이터웨어하우스(DW), 데이터마트(DM), EMC나 히다찌가 제공하는 비싼 스토리지 같은 걸 사용했지만 리눅스 기반 x86 인프라 활용하던 그들에게 그런 인프라로는 서비스를 제공할 수 없을 정도였다. 경제성 면에서 완전 꽝이었던 거지. 초기 국내 포털 다음 인프라가 유닉스 였었을걸.
때마침 구글이 논문도 공개했고, 검색 분야에서 활동하던 천재가 또 관련 논문을 보고 하둡도 만들고 오픈소스로도 내놨으니 야후 입장에서도 자기네 파일 시스템 구조를 바꾸고 싶었기 때문에 그를 전격 스카웃했다. 그는 그 후 나와서 하둡 전문 회사인 클라우데라 CTO로 있고, 그와 함께 하던 야후 빅데이터플랫폼 팀도 팀째 통째로 나와 호튼웍스를 차린다.
그 후 클라우데라가 호튼웍스를 인수한 후 한 몸이 되었다. 그들이 좀더 일찍 힘을 합치고 또 AWS나 마이크로소프트 애저, 구글 클라우드에 자사 서비스를 올렸으면 지금도 잘 나갈텐데 너무 엔터프라이즈 회사들에 팔다가 실기한 게 아닐까 싶다. AWS와 마이크로소프트 애저, 구글 클라우드는 다양한 오픈소스 SW를 가져다가 자사에 맞은 빅데이터 플랫폼들을 만들고 서비스하고 있다. 또 하둡 진영은 하나로 모든 데이터를 모으려고 했지만 시장은 또 통합으로 가다가 그냥 개별적인 데이터 저장소를 만들어 두고 대신 한 곳에서 퀄리를 날리면 서로 다른 곳들의 것들을 합쳐서 호출 후 분석하기를 원했다. 이건 기회가 되면 별도로 다뤄봐도 좋을 듯 싶다.
참고로 또 운이 좋게 전세계 최초로 그와 스마트폰으로 생방송 인터뷰도 했었다. 키가 2미터가 넘으셨나 그랬다. 내가 꿈꾼 미디어는 녹화가 아니라 이렇게 라이브로 내가 만날 때 댓글로 동시에 물어보는 거였다. 여전히 그런 날 인터뷰를 좋아하는데 요즘은 그냥 뒀다. 기자가 게이트키퍼 역할이 아니라 모더레이터 역할이면 좋을 거 같은데 해답을 찾지 못했다. ㅎ.ㅎ
2016년 4월 15일 도라이브. 스마트폰 하나면 내가 있는 곳이 방송국. 마이크만 좋은 거 쓰면 된다. 방한한 더그 커팅 아저씨와 함께.
DoLive interview : Doug Cutting, The creator of Hadoop https://fb.watch/33ENUhSbkm/
빅데이터(Big data)라는 말도 이 때부터 등장하고 회자되기 시작했다. 전통적인 엔터프라이즈 진영에서 처리하던 속성의 파일들이 아니었고, 또 그런 데이터베이스나 스토리지도 아니었다. 보통 빅데이터의 특징을 3V라고 정의한다.
Volum 데이터 량
Velocity 데이터의 입출력 속도
Variety 데이터의 다양성
이게 기존 오라클이나 마이크로소프트, IBM 등이 제공하는 관계형 데이터베이스나 EMC, 히다찌, 넷앱 같은 스토리지 업체가 제공하는 DB나 스토리지에 담기에는 경제성과 속성이 너무 안맞았다.
한국 빅데이터 프로젝트, 특히 공공기관과 엔터프라이즈 진영이 폭망한 이유는 웹 서비스 기업에서 등장한 기술의 등장 배경이나 활용 용도를 따져서 실펴볼 시간도 안갖고 외산 벤더들의 DW를 시스템을 빅데이터 프로젝트로 포장해서 진행했기 때문이다. 난 최근에 우연치 않게 공공 데이터 댐 관련 프로젝트 중 하나를 귀동냥 했는데 여전히 빅데이터 플랫폼이 없었다. 쓰바 2021년 백주 대낮에도 없다니. 빅데이터와 클라우드 나올 때 우리나라 권력을 쥔 양반과 그 곁에서 일을 하던 것들이 김대중 노무현 정부 시절 정보통신 성과를 말살시키기 위해 엄청난 칼질을 했으니. 청와대 근무하며 가뜩이나 정보통신이 뭔지도 모르는 양야 명박 할배에게 오판하도록 한 교수놈은 아직도 잘 나가더만. 서울대학교 쪽에서도 수백억원 가져가서 빅데이터 플랫폼 만든다고 썼는데 쓰배 내놓는 게 오픈소스 'R' 관련된 이상한 기능 하나. 그래놓고 세상이 AI로 바뀌니 이제는 AI 한다고 세금 졸라 가져가고. 하긴 뭐 그 정도는 약과일지도 몰라. 대전에 있는 한 기관에서는 한국형 파일시스템 만든다고 1천억원이 넘는 금액을 썼더라고. 근데 그게 뭔가 또 우연히 만든 양반을 만나게 되었더니 하둡이었어. 문제는 하둡 코어 가져다가 변형시키다보니 하둡 버전의 진화와는 동떨어진 방향으로 흘러간거지. 그런데 그런 프로젝트도 한 둘이 아니야. 내가 어쩌다가 오픈소스 소프트웨어 취재하다가 한국마이크로소프트 담당자로부터 "어이, 빨갱이 기자"라는 소리까지 농담조로 들었었는데 정부 사이드의 오픈소스 프로젝트를 보면서 기겁을 하게 되었지. 요즘엔 심지어 한국 소프트웨어 산업을 막은 3대 악의 축인 안, 티, 한 이 회사들 중 두 회사가 갑자기 오픈소스 운영체제 한다면서 정부 사이드에 붙어서 아주 기냥 쭉쭉 빨아대는 거 같더라고. 그놈의 한국형 아주 진절머리가 나. 근데 그거 알아? 한류나 방역 분야는 세계 톱 수준이잖아? 시행착오 엄청하고 노력한 결과지. 근데 20여년 SW나 네트워크 장비, 보안 사이드는 정부에 달라붙어 쪽쪽 빨아먹으면서도 정작 해외에서 잘나가는 회사가 하나 없다는거지. 자동차나 반도체, 선박 같은 거 봐. 특히 반도체, 그거 뭐 정부가 사줘? 아니지 공장 잘 돌게 돈 엄청 지원해주긴 하지, 이루 말할 수 없는 돈을 지원하지, 세제 혜택부터 전 국민 등치면서 싸게 전기도 공급해주고. 근데 대신 세계 톱 클래스로 성장했잖아. 근데 쓰바 SW는 왜 안 그런거냐고.
정신을 차리자. 정신을 차리자. 이번 글은 기술 흐름 쓰는거지 현실을 보면 안된다. 현실을 직시하면 안된다. 그건 내 영역이 아니다. 정신을 차리자 정신을 차리자. 관을 멀리하자, 그 놈들은 애초부터 관심도 없다.
더그 커팅이 만든 하둡은 이후 많은 인터넷 서비스 업체에 영향을 미친다. 페이스북, 트위터, 링크드인 같은 인터넷 서비스 업체들이 이 분산 파일 시스템을 활용하기 시작했다.
페이스북을 상징하는 '좋아요'의 경우 페이스북 해커톤에서 만들어진 기능 중 하나였다. 페이스북은 기업 내 개개발 이벤트로 해커톤(해커 + 마라톤)을 자주 해왔다. 약 3~5명이 오후 8시에 모여 이틑날 새벽 6시까지 한다. 이게 유행을 타고 전세계 회사로 퍼졌다. 근데 이거 그냥 따라하다가 폭망한다. 일단 체력이 안된다. 어려서부터 고기 먹고 자라고 학교를 가더라도 기초 체력을 강조하는 미국놈들 따라갈 수 없다. 우린 유치원부터 대학들어갈 때까지 기냥 학원에만 보내서 체력이 젠병들 아닌가. 나 때는 체력장 시험이라도 있었지. 앗.
페이스북 해커톤 : http://www.facebook.com/hackathon
2012년 제주 다음 해커톤 취재 : [Daum人 해커톤] "즐거운 상상의 나래를 펼치다" | Bloter.net
페이스북의 좋아요 기능이 구현된 해를 정확히 기억하지 못하겠다. 검색 실력도 딸려서 못찾았다. 근데 한국인사이트 연구소 김덕진 부소장(김덕진 (facebook.com))이 찾아줬다. 무척 감사합니다.
번역본은 이곳에 : 페이스북의 '좋아요'는 어떻게 2010년대를 강타했나? - Wishket
근데 이 좋아요가 정말 중요했다. 바로 저 분산 파일 시스템을 활용했기 때문에 구현이 가능해진 거다. 누가 클릭하고 그 관계를 분석해서 그 후에 반영할 수 있는 인프라를 드디어 구축하고 쓰고 있다는 거였으니까. 그리고 여기서 빅데이터에 대한 인터넷 서비스 회사들과 은행, 통신사 같은 엔터프라이즈와는 업무상 차이도 엿볼 수 있다.
내가 돈 보냈는데 바로 안들어가면 어쩌나. (물론 다른 나라는 실시간 잘 안되더라. ㅎ.ㅎ ) 전화 했는데 통화가 안되거면, 통화가 된다는 건 뒷단에서 빌링 시스템이 작동되고 있다는 건데 그걸 제대로 측정하지 못하면 (이 놈들은 이런 건 기막히게 만든다고. ㅎ.ㅎ ) 어찌되는가. 그런데 좋아요를 눌렀는데 그게 3초 후에 반영되던 10초 후에 반영되던 무슨 상관인가. 당연히 딜레이가 이뤄져도 괜찮다고 생각하는거다. 이 지점이 빅데이터에 대한 서비스를 적용할 때 엔터프라이즈와 웹 서비스 기업들간 차이였다.
그럼 구글 파일 시스템을 보고 해외 기업들만 움직인 걸까. ? 아니다. 구글 파일시스템 논문은 전세계 많은 엔지니어들에게 영감을 줬다. 하둡은 그 중 가장 크게 성공한 프로젝트일 뿐이다. 그럼 우리나라 엔지니어나 학계는 가만히 있었을까. 아니지. 한국에서도 이에 대해 반응했다. 바로 한국 인터넷 서비스의 산증인인 네이버가 주인공이다.
네이버의 분산 파일 시스템 'owFS'가 그것이다. 참, 이 블로는 네이버거다. (NHN이라는 이름의 게임하는 이상한 회사거 아니다. 네이버랑 NHN은 전혀 다른 회사가 되어 버렸다. NHN엔터로 헤어졌는데 지금은 NHN이라고 하는 회사는 게임쪽 하던 곳이다.)
관련 내용은 여기 : [개발,기술] 사용자를 위한 보이지 않는 노력.. : 네이버블로그 (naver.com)
그걸 활용해 엔드라이브, 지금은 MyBOX 만든 이들은 : N드라이브 개발팀을 만나다..."다양한 추가 기능 기대하세요" | Bloter.net
저 개발팀을 만나게 된 건 순전히 '김연아'와 얼마전 독일 특파원 근무를 마치고 귀국한 연합뉴스 이광빈 기자 덕이다. 이 자리를 빌어 다시 한번 감사 인사를 전한다. 이 이야기는 이곳에서는 패스. 내가 어쩌다가 저런 개발자분들의 열정에 빠졌던 건지 모르겠다. 네이버 기획자나 마케터를 주로 만났으면 졸라 잘 나갔을텐데. 괜히 개발도 잘 모르면서 저런 이들의 열정에 빠져서.
2006년. 이 블로그 자료에 따르면 네이버의 분산파일시스템은 지난 2006년부터 KAIST 전산학과 김진수 교수 연구팀과 공동 연구개발해 온 것으로 나온다. 근데 이건 확인이 필요해보인다. 왜냐하면 2017년 경에 우연치 않게 만난 연식 있는 분이 있었는데 이런 저런 이야기하다가 OWFS 이야기를 내가 했더니 아니 그걸 어떻게 하냐고 물었다. 스토리지은 제 영역이 아니었는데 그 영영까지 취재하다가 파일 시스템 취재하다가 우연치 않게 알게 되었다고 했다. 그리고 저 블로그 이야기도 했다. 그렸더니 네이버에서 그렇게 이야기 하냐고 묻더라. 그러면서 그거 제가 만든 거에요. 저희 회사에서요. 네이버가 저희 회사를 샀죠라고 했다. 아마 카이스트 교수 팀과 연구한 것도 사실이기는 할거다. 대신 인수한 걸 더 고도화한 수준일까.
엔드라이브도 그 기반에서 만들어졌다. 지금은 mybox라는 서비스로 알려져 있고, 이 서비스 주체도 네이버에서 최근 네이버 클라우드로 이관하겠다고 밝혔다. 아마 네이버 내부에서도 기존 파일 시스템을 그래도 가져갈지 아니면 오픈소스 진영에서 만들어낸 걸로 가져갈지 고민이 많을거다. 데브옵스를 위해서는 기반 인프라도 좀 다양한 표준 형태로 가져가야 인력들 뽑기도 좋고 쏟아지는 오픈소스 적용도 편한데 말이다. 그건 뭐 알아서들 잘 할거고.
저장 문제가 해결되자 전세계 많은 이들은 그걸 기반으로 더 빠르게 처리하고 싶어했다. 또 엔터프라이즈 진영에서도 이런 기술 혜택을 보고 싶어했다. 하지만 엔터프라이즈 파트에서는 SQL이라는 표준을 사용하고 있었다. 하둡 진영에서는 기업 시장을 공략하기 위해서는 SQL을 지원해야 한다고 보고 다양한 오픈소스 프로젝트가 일어났다. 일명 SQL On Hadoop 이다.
대기업의 횡포와 내부 개발자들의 부도덕한 행동, 관련 기업 CTO의 배임 혐의 등으로 이제는 사라져버린, 국내 엔지니어들이 주축이 되었던 아파치 재단 오픈소스 프로젝트 '타조', 페이스북의 프레스토를 비롯해 DW 분야 지존으로 불리는 테라데이터에 인수된 에스터데이터 회사에서도 그걸 만들었다.
에스터 데이터 출신은 나중에 구글 출신들과 함께 웹서비스에 최적화된 엔터프라이즈용 하드웨어 분야의 혁신적인 HCI(Hypercoverged Infrastructure : Combines compute, storage & networking into a single system under unified management) 기반 하드웨어를 만드는 뉴타닉스를 창업했다. 이건 좀 뒤에서 다룰 수 있으면 다루겠다.
구글이 공개한 논문 그리고 전세계 오픈소스 진영의 대응, 그리고 수많은 웹 서비스 기업들의 적용과 이후 다시 오픈소스로 공개하는 선순환 구조가 이뤄지면서 세상은 크게 요동치고 있었다.
그런데, 그런데, 그런데...... 웹 서비스 진영이 앞다퉈 이렇게 자사 서비스들을 혁신해 갈 무렵, 전혀 생각지도 않는 곳에서 전혀 생각지도 않았던 플레이어 하나가 세상에 이상한 걸 하나 던진다.
Amazon Web Service S3의 등장
2006년 3월. 아마존이라는 전세계 인터넷 전자상거래 업체가 아마존웹서비스를 통해 인프라를 빌려주는 서비스를 시작했다. 미국은 2006년 3월, 유럽은 2007년 11월이다. 데이터를 송수신할 때 사용되는 네트워크 데이터 전송과 요금, 요청당 비용 등과 함께, 최종 사용자는 매달 1GB 당 0.15 미국 달러를 지불하여 사용할 수 있었다.
IBM, 오라클, 마이크로소프트도 아니고 아마존이라니. IT와 테크는 벤더들이 제공하는 거였는데 전혀 상관없던 인터넷 전자상거래 업체, 즉 IT를 도입하던 곳에서 오히려 서비스로 내놓겠다니. 이런 와우.
그런데 처음 내놓은 서비스를 봐야 한다. 바로 Amazon S3 or Amazon Simple Storage Service 다. 오브젝트 스토리지다. 스토리지 분야에는 오브젝트 스토리지, 파일 스토리지, 블록 스토리지가 있는데 이 차이는 알리바바클라우드에서 설명한 걸 참고하면 이해하기 편하다.
스토리지 종류 설명 : 오브젝트 스토리지, 파일 스토리지 및 블록 스토리지의 차이 - Alibaba Cloud
아마존 S3 - 위키백과, 우리 모두의 백과사전 (wikipedia.org)
정보통신 역사에 길이 남을 서비스의 등장이었다. 그리고 누가 봐도 구글이나 페이스북도 개발자가 만든 회사기는 하지만 외부로 IT 서비스를 돈 받고 제공하지는 않았다. 물론 내놓은 건 메일 같은 커뮤니케이션 파트였을 뿐이다. 지메일도 2004년 4월에 등장했다.
IT 관련 인프라를 제공하는 건 전통적인 IT 기업들의 몫이었다. IBM, 오라클, 델, HP, 마이크로소프트, EMC, 넷앱, 히다찌, 후지쯔 같은 회사 말이다. 그것도 전자상거래를 하던 기업이 이렇게 인프라 서비스를 내놓다니. 세상은 저거 뭐야 라고 했다.
기자 생활을 할 때 난 운이 좋은 편이었다. 실력은 떨어져서 글도 잘 못쓰고 그냥 앞뒤 모르고 뛰어다니기는 잘했다. 명함들고 영업사원처럼 기업들 홍보팀 인사 다니면서 명함 지갑 3통을 한 달 안에 소진하기도 했다. 가끔 후배들에게도 오늘 누구 만났는지 명함 달라고 한다. 말로 하지 말고 발로 너의 행동을 증명하라는 거였다. 그러다보면 좋은 이들을 만나게 된다. AWS 국내 진출 전 관련 인물이 방한한 적이 있다. 아마존 웹서비스 보너 보겔스 CTO다. 이것도 이리 저리 뛰어다니며 글을 쓰다가 그의 방한 사실을 알게 되었고, 그가 아침부터 저녁까지 매체와 1:1 인터뷰를 할거라는 걸 알았다. 오후 5시~오후 6시까지는 테크 기자들 공동 간담호였고. 근데 운이 좋게 오후 3시~4시까지 인터뷰 기회를 잡았다. 이런 저런 질문을 하고 1시간이 훌쩍 가서(영어를 못하니 통역을 끼고 하면 시간 금세다. 영어들 잘해라. 정보 습득 시간과 폭, 범위가 상상이다. 물론 영어 잘한다고 맨정신을 갖는 게 더 중요하기는 하지만. ^.^) 라스트 질문 라스트 질문을 던져서 그의 휴식 시간 30분을 더 썼다. 4-5시는 쉬려고 했더라. 그래도 그는 계속 묻는 기자의 말에 성심성의껏 답해줬다. 2011년 7월의 일이다. 이걸 어케 아냐고, 검색했더니 기사가 나왔고 당시 회상하니 떠올랐을 뿐이다. ㅋㅋㅋ
2011년 7월, 당시 운이 좋아 국내 진출 전 방한한 보너 보겔스(Werner Vogels) 아마존웹서비스 부사장 겸 최고기술책임자를 1시간 반 인터뷰 할 기회가 있었다. 아마존은 1995년 설립되고 아마존웹서비스는 그로부터 11년이 지난 2006년 3월에 S3를 시작으로 쓴만큼 비용을 지불하는 클라우드 서비스를 내놓는다.
아마존 클라우드에 대한 오해 5가지 | Bloter.net
. (세일즈포스가 클라우드 기업이니 SaaS 기업이니 하는데 그건 나중에 포장한 거다. 세일즈포스는 1993년에 설립되었다. 아마존웹서비스나 마이크로소프트 애저가 등장하면서 자기네 인프라 구조도 바꾸고 전략도 수정하면서 지금은 대표적인 SaaS 기업이 되었지만. ^.^)
회사 설립 5년된 안된 회사가 당시 스마트폰 대표 주자 중 한 곳이 삼성전자와 협력하기 위해 방안했다는 소리가 있었다. 전세계 대상으로 단말과 서비스를 제공해야 하는 삼성전자 입장에서는 클라우드 서비스 등장이 엄청난 구원자였던 셈이었고, 아마존 웹 서비스 입장에서도 애플의 아이폰 등장으로 전세계 수많은 앱 업체들이 등장하고 그들이 전세계 고객 대상으로 언제 어디서나 앱을 배포하고 업데이트 할 수 있도록 자사 인프라를 대면서 동반 성장하게 되었기에 이런 글로벌 스마트폰과 가전 업체와의 협력을 마다할 이유가 없었다. 아마존코리아 매출의 반 이상을 삼성전자가 담당한다는 루머도 이때부터 돌았다. 그리고 삼성전자 내부에서 삼성SDS를 못믿는다는 소리도 당연히 이 때부터. 바로 쓸 수 있어야 하는데 저것들은 프로젝트만 1년 넘게 한다고 하니 어쩌란 거야 라는 거였지. 우리 총수것만 아니면 우주 기냥..ㅎ.ㅎ
전자상거래 입장에서는 다운타임 없이 서비스를 계속 하면 수익을 올릴 수 있는 기회가 많다. 보겔스 CTO는 아마존설립 이후 10년간 이를 위해 개발자들과 시스템 운영자들과 머리를 맞대왔다고 설명했다. 갑자기 늘어난 주문을 처리하기 위해 웹 애플리케이션을 무한 확장시켰다가 그런 트래픽이 사라지면 원래 상태로 다시 돌아오게 만드는 기술 같은 게 대표적이다. 오토스케일링이라고 하는데 보겔스 CTO는 확장은 쉽지만 원래 상태로 되돌아 오게 만드는 게 어려웠고 그걸 이뤄냈기 때문에 드디어 공개를 하게 된거라고 했다.
아마존이 상거래 서비스를 하면서 수많은 제조회사, 상품 유통 회사들과 거래하고, 다양한 파트너와 일하다보니 그들이 정보 인프라 상태도 확인했을거고, 자신의 혁신만으로는 한계가 있다고 판단해 전체 참여자들도 혁신할 수 있도록 전략을 구사한거다. AWS 성공의 큰 열쇠 중 하나는 아마존이 AWS 인프라 위에서 가동된다는 점이다. 이거 뭐 당연한게 아니냐고 하지만 그렇지 않다. 구글 검색 인프라는 구글 클라우드 플랫폼 기반이 아니다. 그래서 지들도 자기네 인프라 안쓰면서 고객들보고 쓰라는 거냐는 말이 나왔고, 최근에 검색 인프라를 구글 클라우드 플랫폼으로 마이그레이션 하겠다고 발표하기도 했었다.
이는 국내도 마찬가지다. 네이버가 네이버 클라우드 사업을 하면서 네이버닷컴 서비스가 모두 클라우드에서 돈다고 런칭 간담회 때 말했지만 거짓말이다. 뻑하면 춘천 각을 보여주곤 하던데 정작 네이버 클라우드로 이름을 바꾼 NBP의 인프라는 서울 강남 KT 영동전화국에 있었다. 기존에 잘 돌고 있는 걸 굳이 새로운 인프라로 바꿀 이유는 없다. 삼성전자나 하이닉스도 일본과 경제 전쟁 아니면 엔지니어들 혹사시키면서 멀쩡히 돌던 라인을 다시 조정할 이유는 없는 것처럼. 비유가 좀 잘못된 거 같다. ^.^
새로운 서비스를 만들 때는 새로운 인프라 위에서 하면 되니까.
시장 참여자 전체의 혁신이 모아지면 자신들이 가진 힘보다 더 강력한 영향력을 확보할 수 있다. 아마존 클라우드를 한마디로 정의하면 'API'다. 무조건 데이터를 서로 주고 받을 수 있게 그렇게 설계하는 거다. 너무 옆으로 샜다.
2007년 1월, AWS 가 S3 라는 클라우드 서비스를 제공한 지 1년도 안되어 애플이 첫 스마트폰인 아이폰을 선보였다. 많은 이들이 단말기 업체들이 처음부터 애플 아이폰을 무시한 줄 아는데 아니다. 막상 애플이 제공한 첫번째 제품을 보니 그닥 이었다. 2009년 6월 아이폰 3GS가 대중화에 성공하면서 그들은 아작나기 시작했지만.
그래서 가끔 그런 생각을 한다. 아마존이 클라우드 서비스를 제공하지 않았다면 애플의 앱스토어 생태계는 저렇게 성장할 수 있었을까. 혹은 애플의 스마트폰과 앱스토어가 없었다면 아마존웹서비스는 단기간 내에 테크 역사의 물줄기를 이렇게 빠르게 혁신적으로 바꿀 수 있었을까. 2003년 등장한 페이스매시, 2004년 지금의 이름으로 바꾼 페이스북은 과연 애플 등장하지 않았다면 저렇게 전세계에 널리 퍼져 나갈 수 있었을까.
내가 인생 모토로 운칠기삼, 작심삼일을 삼고 있는 이유다. 기회를 잡기 위해 졸라 노력하다보면 운이 따라오는 게 아닐까 싶어서다. 가만히 있어도 운이 차고 넘치는 이들도 많다. 그들은 넘사벽이다. 삼일 열심히 일하고 하루 쉬고 삼일 또 열심히 일하고 쉬고. 내가 원하는 건 주 4일이 필요한 이유다. ^.^
IBM이나 오라클 같은 엔터프라이즈 강자인 기업들이 왜 맥을 못추었는지 이해할 수 있다. 구글 논문 공개가 불러온 파장은 실로 어마어마하다고 볼 수 있다. 그러니 엔터프라이즈 진영에 있는 분들은 능력도 안되면서 평가할 생각 말고 그냥 받아들이면 된다. 당신이 웹과 기술을 알아?
그래도 유일하게 상용 소프트웨어 업체 중 단 한 곳은 이런 흐름에 대응한다. 바로 마이크로소프트다.
마이크로소프트는 윈도우 애저(Windows Azure)라는 이름의 클라우드 컴퓨팅 서비스를 선보였다.
당시 새벽까지 안자고 있다가 우연치 않게 발표를 봤는데 테크 분야 최강 기자 중 한 명인 황치규 기자도 그걸 보고 있었다. 날 버리고 지디넷으로 다시 돌아간 후였다. 당시 Azure 라는 이름을 어떻게 번역해서 써야 하는지 물었는데 돌아온 대답은 '아주리'였다. 이탈리아 아주리 군단 할 때 쓰는 아주리가 Azure 라고. 근데 혹시 몰라서 메신저를 보니 한국마이크로소프트 지인 한 분이 있길래 물어봤더니 자기들도 이걸 뭐로 번역해서 릴리즈 해야 하는지 고민이라고 했었다. 아주리 어때라고 했더니 그게 머야 하더니 조금 기다려보라더니 애주어 인가로 했다가 애저로 하기로 했다면서 그래서 그렇게 됐다. ^.^
이게 왜 가능했을까 생각해보니 마이크로소프트는 MSN을 통해 인터넷 서비스를 계속 해왔다. 검색 서비스와 개인 대상 핫메일 인수 등 개인용 운영체제를 만들어 팔다가 오피스를 통해 생산성 도구까지 확대하고 메일 시스템을 만들고, 그 돈으로 기업용 IT 인프라 시장을 겨냥한 윈도우 서버, IIS 서버, 마이크로소프트 SQL 서버, 마이크로소프트 익스체인지 서버 까지 제공하면서 당시 테크기업으로는 유일하게 B2B2C 형태의 기업이었다.
2009년 초 마이크로소프트 클라우드 전략에 대해서 전문가 두명과 인터뷰할 기회가 있었다. 한 기업의 제품이나 전략, 서비스에 대해서 깊이 있는 인터뷰와 사후 취재가 가능한 좋은 포맷이었다. 요즘은 그런 기획들은 거의 안하는 거 같다. 개발자들 인터뷰도 안하고, 아니지 개발자들도 인터뷰를 그닥 좋아하는거 같지는 않다. 그러니 만든 사람들보다는 기획자와 마케터 이야기 위주의 글이 많은듯. 나도 이젠 많이 읽히는 글을 쓰고 싶다. ^.^
관련 글은 여기 : [블로터포럼] SW제국 마이크로소프트의 클라우드 전략 | Bloter.net
마이크로소프트의 행보를 보면서 재미난 점은 B2C 대상으로 제공하다가 B2B 진영으로 사업 영역을 확대한 거의 유일무이한 테크 기업이라는 사실이다. 반대로 B2B 기업 중에 B2C로 나오려고 하다가 성공한 기업은 없다. 전자상거래 기업은 어떤 범주에 넣어야 할지는 모르지만 그 기업들도 기술 소비 기업이었지 기술 생산 기업은 아니었으니 단순 비교는 힘들다.
잠깐 옆으로 새면 아마존웹서비스가 내놓은 건 스토리지다. 이렇게 보면 EMC나 히다찌 같은 스토리지 기업들은 왜 이런 서비스를 내놓지 못했을까. 이들은 철저히 엔터프라이즈기업들이 요구하는 장비와 SW를 제공할 뿐이지 자신들이 서비스를 내놓지는 않았다.
2007년 10월 스토리지 강자인 EMC는 직접 내놓기 보다는 개인 대상으로 온라인 백업 서비스 '모지'를 제공하던 버클리 데이터시스템을 인수했었다. 이후 2018년 2월에 데이터 보호 업체인 카보나이트에 팔았다. 당시 고객은 600만명 이상의 개인과 10만 개의 기업고객들.
인수 후 1년이 지나 한국 블로거 대상 모지 설명회도 있었다. 라디오키즈님 블로그에 당시 관련 글이 있다. 얼굴 뵌 지 오래다. 잘 지내고 계시죠?
[블로거 간담회] 중요한 파일은 온라인 백업으로... EMC의 모지(Mozy) (neoearly.net)
한국은 하이텔에서 만든 아이디스크를 시발로 데이콤의 웹하드가 인기를 끌고 있던 시절이었다. 물론 KTH의 아이디스크는 비운의 작품이다. 내가 그걸 만든 분을 또 어 하다가 만나뵈었는데, KT는 그런 알짜를 만들어 놓고도 정작 외부 백업 서비스는 슈가싱크거 가져다가 라이선스 계약 잘못해서 수백억원 날리고 끝내 서비스를 종료한다. 그 분이 그걸 지켜보면 부르르 떨고 분노하던 걸 여전히 잊을 수 없다. 그 분과는 지금도 가끔 만난다. 차마 공개는 못하겠네. ㅎ.ㅎ
아이디스크를 가져다가 사업을 잘한 곳은 다름 아닌 더존이었다. 더존의 세무회계 프로그램을 사용하는 수많은 세무사무실이나 중소기업들은 뻑하면 데이터 유실 혹은 바이러스 걸려서 개망 하는 등 데이터 관리에 어려움을 겪고 있었다. 이 때 KTH와 더존 팀이 만나서 B2B 협력을 해서 서비스를 제공하기 시작했다. 이례적인 협력이었다.
그러고 보면 B2B 영역은 협력하기가 쉽지 않다. 특히 한국의 갑오브 갑으로 불리는 통신사들은 다 지들 아래로 보니까. KTH도 개인 대상 서비스 하는 곳이라서 B2B 에 대한 마인드도 없었다. 시장이 이렇게 큰데도 말이다. 하긴 그러니 그 알짜를 KT 내부에 쓰거나 KT 초고속 가입자 대상으로 나눠줬으면 대박났을텐데.
더존도 1년 지나서 KTH 담당자도 퇴사한다고 하니 다른 회사 SW 가져다가 온라인 백업 서비스를 제공했다. 그 후 요즘도 백업 서비스하던데 어떤걸로 하는지 모르겠다. 생각난 김에 담주에 물어봐야지.
클라우드 기업들 때문에 하드웨어 설계 구조도 바뀐다.
2009년 페이스북은 자기네 서비스를 하다보니 기존 범용 서버는 잘 안맞는 거 같아서 데이터센터 설계와 전력 이슈, 랙 설계, 서버 디자인 등 졸라 많은 IT 기기들이 들어가고 어마무시한 전기를 쓰는 걸 손보기 위해 팀을 꾸리고 연구를 시작했다.
이렇게 해서 2011년에 자기네가 디자인한 하드웨어 관련 스펙을 공개하고 여러 기업들의 동참을 이끌어낸다. 서비스를 상상할 수 없을 정도로 키운 기업들은 자기네가 쓰는 하드웨어, 데이터센터 설계까지 최적화시키는 시대다. 당연히 장비 업체들이 많이 참여하고, 아마도 중국 기업들도 이 구조를 보고 인터넷 서비스에 최적화된 설계들을 해서 쓰지 않을까 싶다. 그러고 보니 올해가 오픈 컴퓨트 프로젝트 등장 10주년이다.
Open Compute Project, OCP Home » Open Compute Project
요즘 ARM 칩 관련해서 서버 만들면서 고생하는 엑서스의 유명환 대표가 설명한 자료도 참고
오픈커뮤트 프로젝트 : PowerPoint 프레젠테이션 (krnet.or.kr)
페이스북은 자기네 고민을 공개하고 데이터센터 설계, 자기네가 쓰는 하드웨어의 디자인 등 등 오픈하고 함께 만들어가자고 했고, 구글이나 AWS 그것까지는 공개하지 않았다. 지금은 페이스북을 비롯해서 인텔, 락스페이스, 골드만삭스, 마이크로소프트, IBM, 노키아, 구글, 시게이트, 델, 시스코, 레노보, 알리바바그룹 까지 참여한다. 한국은 멤버들은 누구지? 스마일서브하고 SK텔레콤은 기억하는데.
IT월드의 2019년 3월 기사에 따르면 2022년 매출이 100억 달러, 10조원 규모로 오픈 컴퓨트 프로젝트가 성장한다고 한다.
쾌속 성장 중인 오픈 컴퓨트 프로젝트, 2022년에는 매출 100억 달러 전망 - ITWorld Korea
2009년은 하드웨어 분야에서 참 의미있는 해이기도 하다. HCI 원조 뉴타닉스가 등장했다. 서버, 스토리지, 네트워크 등이 다 따로 돌던 하드웨어 구조를 하나로 때려박아 놓고 모두 SW로 관리할수 있는 구조다. 여기 창업자들 중 구글 출신들이 있다.
하이퍼컨버지드 인프라 : 하이퍼컨버지드 인프라는 무엇인가? 역사, 이점 및 리소스 (nutanix.com)
구글에서 인터넷 서비스 졸라하는데 기존 서버 벤더들 제품을 가져다 쓰다가 안맞아서 자기네가 슈퍼마이크로 같은 회사에 주문 제작해서 사용했었다. 페이스북과 동일한 고민을 한 거지.
여기에서 근무하던 이들 중 엔터프라이즈 분야에서 오랫동안 근무했던 이들이 새로운 시대에 맞는 엔터프라이즈용 하드웨어 설계를 한 게 HCI다. 뉴타닉스 사이트 들어가서 보시면 된다. 이 회사 선풍적인 인기를 끌고 요즘은 죄다 HCI를 묻지고 따지지도 않고 클라우드 인프라 마련할 때 기본 선택지로 사용한다.
여기 창업자중 한명은 또 데이터 쪽에 오래 활동해 온 이가 있다. 오라클, 애스터데이터시스템즈(테라데이터 인수) 출신이다. 애스터데이터시스템즈는 구글 파일 시스템 논문이 나왔을 때 상용 진영에서도 그 논문을 보고 같은 구조로 만든 분석용 엔진이다.
여튼 구글에서 근무한 친구들 데이터분야에서 근무한 친구들이 의기투합해 세상을 바꾼다. 이 회사는 하드웨어도 만들고 VM웨어 졸라 까면서 그 대항마로 부각되기도 한다. 구글이 엔터프라이즈 클라우드 시장에 진입하는데 여전히 고전하고 있는데 그래서 이 회사 인수설이 심심하면 나온다. 델하고 졸라 친했는데 델이 EMC 인수한 후 VM웨어 거져 먹으면서 관계가 예전같지는 않다. 델이 HCI 구조로 만들고 거기에 소프트웨어는 VM웨어거 때려박으니까.
이 회사는 단순히 소프트웨어 회사가 아니다. 자기네 어플라이언스도 제공하고 OEM 플랫폼, 서드파티 서버 등 다양한 형태로 움직인다. OEM 어플라이언스는 HPE, 레노버, 후지쯔, 중국 인스피어, 델EMC 등이 있다. 서드 파트 서버 업체로는 시스코, 히다찌, HPE, 인스피어, 인텔 등이 있다.
빅데이터의 시작, 클라우드 사업자들의 등장, 그리고 새로운 하드웨어 설계 방식의 연합군들 등장과 새로운 엔터프라이즈용 서버, 스토리지, 네트워킹 관련 장비의 변화 등이 이렇다. 이런 격변기에 이번 글을 쓰도록 영감을 준 팻 갤싱어 아저씨가 이직한다. 쓰바 이직 전 사건도 이렇게 많은데 남은 12년을 무슨 수로 정리하나. 이건 그냥 중요하지 않으니 그냥 설렁설렁해야 할듯. 정작 CES 2021 발표 자료는 정리할 생각도 못하고 있는데. ㅠ.ㅠ
오는 2월 인텔의 새로운 CEO로 가는 팻 갤싱어 아저씨는 인텔 CEO 에 올라가지 못한 후 2009년 디지털 정보 라이프 사이클 최강 기업 EMC로 자리를 옮긴다. 인포메이션 인프라스트럭처 프로덕트 포트폴리오 부문 대표. 외계인들을 고문하면서 만든다거나 혹은 그들이 외계인이 아닐까 하는 우스게 소리를 듣던 '인텔'이라는 회사의 CEO 후보 중 한 명이 EMC로 옮겼을 때 업계도 많이 놀랐다.
이직 전 그는 인텔의 핵심 디지털 엔터프라이즈 그룹 공동 관리자이자 CTO, 연구 책임을 맡아왔었다.
근데 이 EMC는 2004년 1월 9일 지금의 클라우드 OS 의 지존급으로 불리는 VMware를 6억 3500만 달러의 헐값(?)에 인수한다. VM웨어는 1998년 2월 10일 미국 캘리포니아 주 팔로알토에서 시작되었다. 더 나은 컴퓨팅 방식을 추구하는 미래 지향적인 공학도 5명이 공동 창업했다. 그 해 말에는 20명으로 늘었다. 1999년에 워크스테이션 1.0을 선보이면서 PC에 가상 머신을 실행해 하나의 PC에서 여러 가지 운영체제를 실행할 수 있도록 지원했다. 그 후 2002년 최초의 하이퍼바이저인 ESX Server 1.5를 출시했다. 이번엔 PC가 아니라 서버에서 작동하는 제품이었다. 와우.
VM웨어의 역사 : VMware 역사 및 인터랙티브 타임라인
서버 가상화 소프트웨어 회사였고 원래 서버 업체들인 델이나 HP, 레노버, 시스코 같은 회사와 친했던 곳인데 정작 서버 업체가 인수한 게 아니라 스토리지 업체가 인수했다.
EMC는 인수를 참 기막히게 잘 하는 회사다. 2009년에는 스토리지 경쟁 회사인 넷앱이라는 회사가 데이터중복제거 분야 1위 업체인 데이터도메인을 인수합병한다고 발표했는데 데이터도메인 주주들을 향해 내가 더 쳐주겠다고 해서 그 계약을 파토내고 끝내 데이터도메인을 먹을 정도였다.
2015년 5월에 마이크로소프트웨어 편집장 할 때 EMC 초청으로 'EMC World' 행사차 미국 라스베이거스에 갔었다. 그 때 기업내부에서 운영하는 벤처캐피털 일명 CVC에 대한 전문가 섹션을 들었었다. 그는 EMC가 델이라는 회사에 매각된 이후에도 여전히 그 파트를 담당하고 있었다. 인텔캐피털 다니고 있었는데 EMC CEO가 "그만 놀고 이제는 일 좀 해"라고 해서 옮겨서 일 잘하고 있다고 농담도 던졌다.
CVC나 투자할 때 뭐가 중한지 궁금하면 : 대기업 자금으로 운용되는 Corporate VC (brunch.co.kr)
여튼, 서버 가상화가 한창 뜨고 있을 때 스토리지 업체가 이걸 왜 먹었을까. 서버에는 인텔 칩 적용이 너무나 당연했지만 스토리지 분야까지 그런 건 아니었다. 인텔이나 AMD 계열 CPU를 쓴다는 건 표준 제품을 쓴다는 말이다. 운영체제와 CPU를 제공하는 회사가 별도로 있다고 보면 이해하기 쉽다. 부품들도 모두 표준 제품들 사용해서 대량 생산해서 가격을 낮출 수 있다. 대신 장비 업체들은 유사한 회사들끼지 피튀기는 가격 경쟁을 해야 한다. 그래서 시장에서는 x86 서버 시장은 근수 달아서 파는 곳이라는 말이 있다. 경쟁사가 가격을 깎으면 서버 몇대 얹어줘서 방어한다는 농담 아닌 농담이 돌던 시장이다.
지금은 많이 쪼그라들었지만 유닉스 시장을 보면 IBM이 운영체제 AIX, CPU는 파워칩을 썬이 솔라리스에 스팍칩을 제공하는 형태랑 비교해보면 이해하기 쉽다. 서버 사이드는 윈도우 서버와 리눅스가 올라가고 서버들은 x86, x64 인텔, AMD 칩 결합해서 고객에게 제공하는 형태.
시스코가 자사 네트워크 장비에 별도 칩을 개발해서 계속 사용하는 것과 유사하게 스토리지 업체들도 그랬었다. 서버 가상화 지원 칩과 스토리지 가상화 지원 칩이 같은 계열이 아니었다. 고객들은 어느 쪽이던 좀 관리 편이성을 위해 좀 움직여 달라고 했지만 안 움직이고 있었다. 왜냐하면 인텔 칩을 쓰게되면 커머디티 상품으로 전락해서 수많은 제조 업체 중 하나로 전락하고 가격 싸움만 졸라해야 하기 때문이다. 시스코가 자사 장비에 별도 칩을 계속 넣는 이유가 뭐겠는가. ^.^
시스코 최대 경쟁자가 반도체 업체인 이유 | Bloter.net
그 후 서버와 스토리지를 엮어야 정보가 제대로 흘러다닐 수 있다고 보고 EMC는 인텔 칩을 활용해서 스토리지 장비를 바꾼다. 스토리지 1위 기업이 드디어 입장을 바꾸면서 세상은 달라지기 시작했다. EMC 만세!!!
이렇게 해서 서버와 스토리지 가상화 단계가 매끄럽게 연동되기 시작했다.
EMC가 VM웨어를 인수할 때 조투치 EMC 사장은 "고객들은 IT인프라 관리를 단순화시켜 주기를 원하고 있는 데 반해, 지금까지 서버와 스토리지 가상화는 본질적으로 다른 문제로 존재해 왔다"며 "EMC는 두 영역의 통합을 가속화하기 위해 VMware 인수를 결정했다"고 말했었다. 가상화의 역사를 쓴 IBM은 항상 "메인프레임이 짱"이라고 한다. ^.^
VM웨어가 서버와 스토리지 가상화 시장을 장악해 가면서 시장은 크게 요동쳤다. 운영체제 보다 가상화 제품이 더 큰 힘을 발휘할 수 있는 상황이 도래하기 시작했기 때문이다.
이 때 반격에 나선 건 마이크로소프트와 레드햇 같은 리눅스 진영이었다. 마이크로소프트도 가상화 SW를 내놓기 시작했고, 레드햇은 KVM을 밀면서 모든 권력이 VM웨어로 넘어가는 걸 막기 위해 발빠르게 움직이기 시작했다.
문제는 서버와 스토리지 가상화는 되어 있지만 정작 핵심인 네트워크 가상화 분야였다. 이 시장은 시스코가 워낙 강력한 힘을 발휘하고 있었다. 이 때 클라우드 사업자들은 네트워크 장비도 소프트웨어로 구현하는 소프트웨어 기반 네트워크(SDN)을 활용해 일반 서버로 네트워크 이슈를 처리하고 최대한의 대역폭을 쓸 수 있도록 개선해 나가기 시작했다.
SDN은 광범위한 개념으로 이를 현실화 해서 나타난 표준 인터페이스가 오픈플로우다. 이 분야 대표적인 스타트업이 네트워크 가상화 기업인 니시라다.
클라우드 시장은 운영단의 이슈가 굉장히 많다. 핵심은 물리적인 기계로부터 특정 기능들을 떼어내서 소프트웨어로 구현하려는 거다. 벤더들 입장에서는 열받는 일이지만 클라우드 서비스 사업자들이 자사의 인프라를 장비 락인 없이 사용하려다보니 자연스럽게 발전한 분야다.
오픈스택이라는 클라우드 운영을 위한 오픈소스 진영도 처음엔 스토리지 먼저 내놓고 그 다음에 다양한 게 나왔었다. 하지만 힘을 발휘하지 못한 게 네트워크 영역을 제대로 지원하지 못했기 때문이었다. 지금은 좀 많이 개선되었나.
여튼 VM웨어는 2012년 7월에 이 신흥 강자인 니시라를 전격 인수했다. 12억 6천만 달러였다. EMC가 VMware를 6억 3천만 달러에 인수했었는데 그 아무리 시간이 흘렀다고는 하지만 무려 두 배 정도 더 준 거다. 그 정도로 몸값이 치솟기도 했고, 네트워크 가상화는 무척 중요한 영역이었다.
2012년 7월 : 디데일리 백지영 기자 글 VM웨어, 네트워크 가상화까지 확장…SDN 업체 ‘니시라’ 인수 (ddaily.co.kr)
당시 발표한 보도자료에 따르면 폴 마리츠 VMware CEO는 "VMware는 서버 가상화 분야의 혁신을 선도해 왔으면, 이제 데이터센터와 클라우드 네트워킹 분야에서도 동일한 기회를 갖게 됐다"면서 "이번 인수로 네트워크 솔루션 포트폴리오를 크게 강화하고, SDN(Software Defined Network) 분야의 업계 리더로 자리매김 하게 됐다"고 자평했다.
이 당시에도 외신에서는 네트워크 거인 시스코가 니시라와 인수합병 협상을 벌였고 거의 완료되는 분위기였었다고 했었다. 그런데 그런 니시라를 저런 가격에 VM웨어가 품에 안은 거다. 역시 미래를 보는 안목과 과감한 결단이 필요하다. 기업에게 생존만이 유일한 선이라는 셈인가? 절친 시스코를 봐줄 이유는 없다. ㅎ.ㅎ
그 후 2012년 9월 EMC에 있던 팻 겔싱어 사장이 VM웨어의 CEO로 부임한다. 앞서 살펴본 바대로 정보통신 분야의 큰 헤게모니가 웹 서비스 회사로 넘어가고 있던 큰 시점이었고 개별적인 컴포넌트들이 모여서 큰 성을 이루는 데이터센터 또한 소프트웨어 정의 데이터센터로 (SDDC: Software Defined Data Center)로 탈바꿈해야 한다는 목소리가 나오던 시기였다. 클라우드 사업자들, 인터넷 사업자들의 데이터센터 운영 방식을 엔터프라이즈가 차용하기 위한 큰 그림이었다. 이제는 그들에게서 배워야 할 정도로 엔터프라이즈 파트 벤더나 사업자들은 혁신과는 거리가 멀었다고 해도 과언이 아니었다.
Software-defined data center - Wikipedia
EMC는 미국 동부에 있었고, VM웨어는 서부 실리콘밸리에 본사를 두고 있다. 팻 갤싱어 아저씨도 본고장이 서부였기도 했고, 기술과 학력 관련 인맥들도 그쪽에 많았으니까 그리고 돌아간 게 맞을지도 모르겠다.
그가 부임한 후 이번 인텔로 옮기기까지 VM웨어의 기업 가치는 두 배 이상 올랐고, 지난해 말 미국 투자 관련된 회사들이 마이크로소프트가 만약 살 수 있는 기업 리스트에 VM웨어가 있었는데 대략 추정 금액만 100조원이었다. 상상이 안가지만 그렇다. 아래 기업들이 MS가 살 수 있는 기업리스트들이다.
Mmhmm
LoopUp
Superhuman
Automation Anywhere
Dropbox
UiPath
Crowdstrike
Twilio
DocuSign
Workday
AutoDesk
VMware
Salesforce
가상화 시장을 모두 평정해 가는 VM웨어였지만 시장은 다시 한번 요동친다. 도커라는 컨테이너 기반 이슈가 등장했기 때문이다. Docker는 애플리케이션을 신속하게 구축, 테스트, 배포할 수 있는 소프트웨어 플랫폼이다. Docker는 소프트웨어를 컨테이너라는 표준화된 유닛으로 패키징하며, 이 컨테이너는 라이브러리, 시스템 도구, 코드, 런타임 등 소프트웨어를 실행하는 데 필요한 모든 것이 포함되어 있다.
설명 : Docker란 무엇입니까? | AWS (amazon.com)
클라우드 환경으로 인프라가 바뀌면서 앱을 개발하고 배포하고 바로 바로 수정하고 서비스를 지속적으로 변모시켜야 하는데 기존 구조로는 이게 무척 힘들었다. 그래서 우리가 제품을 해외에 수출할 때 컨테이너에 넣어서 량도 늘리고 배에 엄청 많이 선적할 수 있게 하듯이 테크 영역에서도 개별 모듈별로 잘게 찢어내서 재사용성도 늘리고 손쉽게 왔다갔다 하는 형태로 바뀌었다.
관련 링크 : Kubernetes
자신들의 서비스 운영 노하우가 들어간 형태라서 전세계 엔지니어들이 환호하고 사실상의 이 분야 표준으로 자리잡았다.
하지만 구글이 간과한 게 하나 있었다.
구글은 엔터프라이즈 영역에서는 젬병이었다. (이 대목에 대해서 구글 관계자들이 너무 서운한 듯 해서 그 후 구글은 달라지고 안토스(컨테이너 관리 서비스)를 내놓고 엔터프라이즈 시장 열심히 하고 있다고 추가합니다. 2019년 4월이 일이다. ^.^)
Making hybrid- and multi-cloud computing a reality | Google Cloud Blog
(이 발표를 듣고 구글코리아 클라우드 하는 분에게 연락해서 이것 좀 설명해 달라고 했다. 뭔가 재미난 거 같고, 엔터르라이즈 영역으로 들어오는 핵심 같았기 때문이다. 그 분은 흔쾌히 좋다고 했고, 자기 말고 내부에서 설명할 수 있는 이가 또 있는지 찾겠다고 했다. 다만 그들은 홍보팀의 허락을 받지 않고 미디어 만났다가는 짤리거나 불이익이 있어서 홍보라인을 통해서 정식 절차를 밟겠다고 했다. 하지만 홍보팀에서 돌아온 답변은 이 건에 대해 이야기해줄 사람이 없다는 거였다. 내가 그 다음부터는 구글이 뭘 발표하던 관심을 가지고 보기는 하지만 그냥 쌩까기로 했다. 뭐 피차 아쉬울 게 없으니까. 그래서 난 구글이 엔터프라이즈에서 죽을 쑨다는 소식을 들을 때면 괜히 신난다. 쌤통이다 이놈들아 이러면서. ㅎ.ㅎ 물론 그들은 오라클 출신을 클라우드 수장으로 뽑아서 엔터프라이즈 시장으로 들어가기 위해 있고, 한국도 엔터프라이즈 분야 경험 많은 분을 뽑아서 대표로 앉히고 일하고 있다. 이 자리를 빌어 미안하지만 저 문구는 빼기는 싫다. ^.^. 다만 구글 GA 데이터를 활용해서 세상에 없는 멋진 분석 서비스를 만들고 있으니 퉁치면 좋을 거 같다. 물론 기반 인프라는 아마존웹서비스지만. ㅎ.ㅎ )
이걸 노칠리 없는 회사가 바로 레드햇이었다. 레드햇은 쿠베네티스 오픈소스 재단 프로젝트에 구글 다음으로 많은 인력을 때려 박으며 힘을 싣는다. 엔터프라이즈 고객의 요구에 대응할 제품과 서비스 지원 체계가 구글에는 없었다. 가뜩이나 쿠버네티스는 오픈소스 였고, 이미 제이보스를 비롯해서 오픈시피트를 통해 엔터프라이즈 개발과 운영 환경에서 강력한 팬층을 두고 있었기에 많은 기업들과 협력을 이어나갔다.
레드햇은 오픈시프트를 통해서 이런 영역에 대응하면서 동시에 2018년 레드햇은 쿠버네티스와 컨테이너 기반 네이티브 솔루션 개발 플랫폼 리더 회사인 코어OS를 전격 인수했다. 그리고 2019년 레드햇 엔터프라이즈 리눅스 버전 8을 코어OS의 운영체제로 탑재시키면서 완전한 통합을 이뤄냈다.
[Redhat Summit 2019] ② 클라우드 시대 최강 OS, 5년간 진화···레드햇 엔터프라이즈 리눅스 8 출시 – 테크수다 (techsuda.com)
[Redhat Summit 2019] ⑦ 오픈하이브리드 클라우드 핵심 키 ‘오픈시프트 4’ – 테크수다 (techsuda.com)
[Redhat Summit 2019] ③ 짐 화이트허스트 CEO, “당신의 가능성을 확장하라” – 테크수다 (techsuda.com)
[테크수다] MS 사티아 나델라 CEO가 레드햇 서밋에 참석한 까닭은 (donga.com)
엔터프라이즈 시장은 가상화 이슈에서 갑자기 컨테이너 이슈로 확 넘어갔다. VM웨어 입장에서는 가상화 시장에 만족하다가 한방에 갈 수 있었다. 그래서 2018년 11월, 구글의 쿠버네티스 개발팀 출신들이 나와서 만든 햅티오를 인수한다. 그리고 1년간 쿠버네티스 인수 기업만 9개가 될 정도로 이 분야에 막대한 투자를 단행하고 있다.
바이라인네트워크 심재석 기자 글 : VM웨어가 최근 1년간 인수한 9개의 기술기업 - Byline Network
참, 2015년 델은 70조원에 EMC를 인수하는 승부수를 던졌다. 거기에 따려온 기업이 바로 VM웨어였다. 이렇게 큰 금액의 배팅이 가능한 이유는 2013년 2월에 델은 상장을 자진 폐지했다.
B2B 기업으로 사업 영역을 변모시켜야 하는데 기존 주주들의 태클 때문에 할 수 없다는 판단을 내렸다. 당시 돈이 필요했던 델에 2조원 넘게 돈을 빌려준 게 마이크로소프트다. 마이크로소프트 입장에서 델 같은 하드웨어 업체가 망하는 건 그다지 좋은 일이 아니다.
마이클 델의 승부수는 통했고, 자신들의 전략에 따라 과감하게 EMC도 인수했고, EMC가 인수해서 가지고 있었던 VM웨어까지 품에 안았다. 지금 그 빚 갚느라 졸라 고생중이긴 할텐데 클라우드 시장이 뜨면서 한시름 놓고 있는지 모르겠다. 그래서 VM웨어 상장 혹은 매각을 검토하는지도 모르겠다.
델의 EMC 인수에 가장 충격을 받은 기업은 레드햇이었다. 델은 서버 업체로 레드햇과 경쟁 관계인 VM웨어 모두에게 엄청난 고객이었다. 델 장비에 미리 최적화해서 기업들에게 전달되기 때문이었는데 델이 EMC를 사면서 VM웨어를 품었으니 당연히 그쪽으로 기울지 않겠느냐는 거였다. 당시 레드햇 내부에서는 상당히 충격을 받았는데 직원들이 레드햇도 HPE 같은 기업에 팔면 안되는냐는 이야기가 돌았다고 한다. 하지만 지금 IBM에 사장을 하는 분이 레드햇 제품들이 죄다 오픈소스라서 팔려도 유사한 회사가 똑같은 전략을 펼치면 또 다른 레드햇이 나온다면서 누가 사겠느냐는 이야기를 했다고 한다.
근데 IBM에 그 회사를 팔았다. 대단하다. ^.^
옆으로 살짝 빠져서 VM웨어는 원래 상용 소프트웨어 기업이다. 이런 회사는 소프트웨어 소스를 공개하지 않는다. 하지만 시장이 오픈소스 생태계를 강력히 지지하고 있었기에 VM웨어도 이 대열에 합류하기 시작한다. 어차피 기업들은 사용할 애플리케이션을 개발하고 배포하고 수정하고 삭제하고 관리하는 일을 반복적으로 진행한다.
이런 개발 영역을 PaaS(Platform as a Service) 라고 하는데 VM웨어와 레드햇은 이곳에서 경쟁 관계다. VM웨어는 클라우드 파운드리라는 오픈소스 PaaS 프로젝트를 2011년부터 진행하면서 오픈소스 문화를 받아들이기 시작했다. 레드햇의 브랜드가 오픈시프트.
VM웨어는 모 회사인 EMC가 인수한 피보탈도 품에 안으면서 이 영역을 강화했고 앞서 밝힌 쿠버네티스와 컨테이너 기반 기술 기업들을 대거 인수합병하면서 최근에는 ‘탄주’라는 브랜드로 밀고 있다.
국내는 클라우드 전쟁이 여전히 서버나 스토리지를 대는 인프라 영역이라고 생각들을 많이 하지만 진정한 싸움은 PaaS 영역이다. 마이크로소프트가 썩어도 준치였다가 지금은 미운 오리 새끼인 백조가 된 것도 강력한 개발 플랫폼을 가지고 있기 떼문이다. 그 위에 오피스부터 죄다 만들어서 배포를 하니 날라다닌다.
팻 갤릿어 CEO은 올해 온라인으로 진행된 VM웨어 월드 행사에서 5G 분야 인프라를 만들 때 삼성전자와 협력하고 싶다는 말도 했었다. 이제 통신 인프라 장비에도 모두 저런 플랫폼을 활용해 서비스를 올리고 제어하고 관리한다. 엣지 컴퓨팅 이슈인데 거기에 킬러앱들을 얼마나 빨리 배포하고 수정하고 관리해야 하니까 IT 진영 기술이 텔코에 다 녹아들어가는 거다.
통신사들의 5G 인프라 설계에 삼성전자나 노키아, 에릭슨, 화웨이 같은 장비 업체들이 함께하는데 이 영역에 레드햇이나 VM웨어 같은 기업들의 진출도 활발하다.
그렇기 때문에 IBM이 레드햇을 340억 달러 우리돈으로 거의 40조원에 인수하면서 부활을 꿈꾸고 있는 거고, 레드햇의 가장 강력한 경쟁자는 VM웨어였다.
한 페친은 팻 갤싱어 전 VM웨어 CEO에 대해 ‘자동차 부품 회사에 부임했다가 완전한 완성차 업체로 탈바꿈시킨 분’이라고 평했다.
클라우드 사업자들은 전세계 테크 영역 전반에 영항을 미치고 있다. 앞선 내용들은 일단 빅데이터 이슈, 그리고 데이터센터 운영 이슈, 서비스 개발과 배포, 삭제와 관련한 이슈, 그리고 이제는 반도체 설계 쪽까지 뛰어들었다.
클라우드 사업자들이 ARM 칩 설계를 하고 별도 서버 상품을 내놓고 있다. 구글은 CPU계 오픈소스인 RISC-V 프로젝트에 뛰어드는 것도 특정 벤더에 휘들리지 않고 협상력을 높이기 위해서다. 그리고 수많은 업종별로 특화된 반도체 칩을 써서 운영 효율을 극대화하고 가격 경쟁력을 지속적으로 가져가기 위해서다.
2011년 10월에 삼성전자의 서버 칩 시장도전을 응원한적이 있다. 난 반도체 담당 기자는 아니었다. 기업용 소프트웨어 쪽 취재를 하다가 스토리지 소프트웨어 하다가 서버 사이드까지 넘어갔을 뿐 잘 모른다. 물론 인텔 서버 담당자 분과는 친하다. 이게 뭐야. ^.^ 아, 난 메모리는 줸병이고 CPU는 어깨너머로 살짝 배운 정도라고 하는 게 좋겠다.
[IT수다떨기] 삼성의 서버 재도전을 기대하며 | Bloter.net
엑시노스를 활용해 서버 시장에 도전장을 내밀어 달라는 거였다. 메모리를 잘하니까 그 돈으로 저 파트도 지원 좀 해달라는 거였는데 그들의 노력이 성과로 이어지지는 않은 거 같다. 며칠 전 엑시노스 is back 행사를 보는데 좀 짠했다. 삼성전자는 구글 압력에 다양한 서비스를 포기하면서 AI 칩 설계도 상당히 늦었다. 폰에 AI 칩이 들어가면 왜 좋은지는 저 아래에 붙여 놓겠다. 끝까지 읽어주기 바랍니다. ㅋㅋㅋ
당시 취재할 때 모바일 기기 600대 마다 웹서버 1 대가 필요했다고 했다.
ARM 서버는 들어오더라도 웹서버나 CDN 용, 빅데이터 관련 분야에 우선 적용될 확율이 높고 고객들의 비용을 상당 부분 낮출 수 있을 것으로 봤다. 2020년 12월에 진행된 AWS의 리인벤트에서 이 회사는 다양한 ARM 기반 칩 탑재한 컴퓨팅 서비스를 선보였다.
AWS는 2015년 안나푸르나랩스라는 ARM 기반 칩 업체를 인수했고 이를 통해 그래비톤 프로세서를 만들었고, 그래비톤 2도 내놨다. 인텔 기반 장비에서 돌아가는 서비스들과 비교해서 40% 이상 성능이 높다고 강조했다. 올해는 머신러닝 모델 학습에 특화된 프로세서도 트레이니엄이라는 이름으로 출시한다. 이건 GPU 인스턴스 대비 45% 낮은 비용으로 30% 높은 처리량을 보장한다고 한다. 그렇다고 해서 엔비디아 GPU 망한다는 소리는 안나온다. ^.^
클라우드 업체들은 다양한 업무와 서비스를 제공하고 해당 고객들도 다양하니 이런 애플리케이션 특성에 맞는 전용 칩을 탑재한 컴퓨팅 인프라를 만들어서 제공하기에 유리하다. 시간이 지나면 이 성능들은 계속해서 진화할 거고 최고 성능 파트는 기술적인 한계로 인해서 도망가지 못하고 정체될 때 따라잡을 수 있을 거 같은 상상을 할 수 있다.
인텔이 2014년 3월에 더그 커팅이 있는 클라우데라에 투자를 했다. 칩 업체가 왜? 인텔의 x86 프로세서에 맞춰 하둡 소프트웨어를 튜닝하기 위해서였다. 특정 용도의 애플리케이션에 최적화된 시스템을 만들기 위해 미리 투자를 하는거다. 삼성전자나 SK하이닉스 같은 회사들도 빅데이터 머신을 만들고 싶어한다. 여기 메모리 만드는 귀신들이 있는 곳인데 정작 이런 애플리케이션은 잘 모르는거지. 이곳 저곳 스타트업에 투자를 하기도 하는데 큰 성과를 냈다는 소리는 못들었다.
예전에 SK텔레콤 을지로 빌딩에 별동 부대팀이 만들어져서 뭔가 뚝딱뚝딱한다고 했었는데 잘 되었나 모르겠다. 국내 기업 그루터가 메인 스폰인 '타조'는 자바로 만들어졌는데 삼성전자 종기원 인력과 함께 C로 포팅해서 삼성전자 메모리 기반으로 빅데이터 머신 만드는 논문까지 냈고 해외 학회에도 실렸었는데 삼성전자 반도체 하는 분들은 자신들이 너무 잘나가는 이들이다보니 한국엔 잘나가는 소프트웨어 인력들이 없는걸로 생각하고 더 이상 협력을 하지 않았다. 해외 가서는 그런 기업에 엄청 쏟아넣었으면서. 무척 아쉬운 일이다.
여튼 그렇다.
클라우드 기업들이 반도체에 욕심을 내는 건 특정 벤더에 휘둘리기 싫기 때문이다. 하지만 인텔과의 협력은 가장 디폴트다.
AWS가 새로운 ARM 서버 칩을 활용한 다양한 서버 스토리지 인스턴스를 제공하고 있지만 인텔과의 협력도 항상 잘하고 있다.
관련 회사 협력 내용. : AWS와 인텔 (amazon.com)
요즘 목에 기부스를 하고 절대 고개를 숙이지 않는 기업이 있는데 바로 엔비디아다. 여기 GPU 클라우드 사업자들이 엄청 사서 서비스 한다. 엔비디아는 쿠다라는 핵심 전략을 통해 AI가 세상의 중심에 서도록 했다. AI 파트는 내가 잘 모르는 분야니 전문가들의 글을 참고하시기 바란다. 쿠다는 2007년 2월 15일 처음 공개되었다. CUDA는 그래픽 처리 장치에서 수행하는 병렬 처리 알고리즘을 산업용 표준언어를 사용해 작성하도록 하는 GPGPU 기술이다. 한마디로 인텔이나 AMD CPU가 병렬 처리가능하도록 프로그래밍 할 수 있듯이 그래픽 카드에서도 외부 개발자들이 이런 병렬처리 할 수 있도록 한거라고 보면 된다. 이게 신경망 연구하던 AI 연구자들을 만나서 세상을 바꾸고 있다.
CUDA - 위키백과, 우리 모두의 백과사전 (wikipedia.org)
그런데 인공지능 파트 중 추론 파트는 굳이 이런 비싼 GPU 인스턴스를 쓸 이유가 없다는 걸 알게된 구글은 TPU라는 별도 ASIC을 만든다. 이거 활용해서 화려하게 세상에 등장했는데 우리가 다 잘아는 이세돌 9단과 바둑 대결을 펼쳤던 알파고다. 구글이 인수했던 영국 딥마인드의 알파고는 저 TPU 톻해 계산해서 둔다. 지금은 버전 3까지 나왔다.
마이크로소프트도 2010년부터 인텔 알테라 FPGA 사용해서 칩을 만들어 사용하고 있다. 프로젝트 명 '캐터펄트'. 빙 검색엔진 랭킹 알고리즘부터 이미지인식, 네트워크 병목 처리 등 다양한 용도로 활용한다. 구글이 TPU 들어간 알파고로 세상을 떠들썩하게 하니 자기네 고객 행사에서 우리도 있어 라고 하던데 진작에 자랑 좀 하지. ^.^
이제 더 이상 쓸 수가 없다. 여기에 중국 알리바바클라우드 이야기까지 하면 정말 ㅎ.ㅎ 중국도 텐센트, 알리바바클라우드, 바이두 있고 저 회사들 중국 칭화대학과 베이징 대학 천재들이 만든 FPGA 칩 회사랑 졸라 같이 일하고 자체 칩도 만들고 서버도 하고 그런다. 미국이 자일링스나 인텔 알테라의 중국 수출 금지 시키지 않는 거 보면 신기하다. ㅎ.ㅎ
한국엔 이런 회사들 손에 꼽는다. 아마 대학교 교수들이 준비도 안하고 있다가 이거 뜬다고 졸라 연구자금 가져다가 쓰고 있을거다. ETRI도 하지 않을까 싶다. 문제는 이들 연구가 성과를 낼지는 잘 모르겠지만 한국에서 성공하려면 네이버나 카카오랑 졸라 긴밀히 협력해야 한다. 네이버나 카카오 안에도 반도체 선수들이 많아야 한다. 웹 서비스 없는 저런 칩 연구는 허당이다.
이렇게 조금 과하다 할 정도로 긴 글을 쓰는 이유는 나도 모처럼 정리가 필요했기 때문이기도 하지만 또 한편, 지금은 소프트웨어가 다 먹는 시대이고 이런 소프트웨어의 변화들은 자연스럽게 칩의 디자인 혹은 미래 쏟아질 다양한 칩들과 긴밀히 연계될 수밖에 없는데 이 양쪽을 가장 잘 아는 인물이 팻 갤싱어이고 그가 다시 인텔 CEO로 돌아가서 천재들과 함께 전열을 정비하고 돌진하면 지금처럼 넋놓고 당하지는 않을 거라는 생각이 들었기 때문이다.
반도체 칩을 설계하고 만드는 이들 중 이렇게 클라우드가 가지고 온 변화, 그 속에서 소프트웨어가 모든 걸 다 집어 삼키는 걸 아는 이들은 많지 않다. 양쪽을 모두 경험하기가 쉽지는 않다.
그가 복귀 인사말에서 밝힌대로 CPU와 다양한 xPU 들이 쏟아지는 시대, 그는 인텔의 부활 신호탄을 쏘아올릴까?
1. 마이크로소프트 빌게이츠가 반독점 이슈로 CEO에서 물러나면서 스카웃하기 위해 통째로 회사를 산 곳이 있다. 바로 8살 때부터 소프트웨어 개발했었다는 레이오지라는 분이었다. 그는 오픈소스를 사랑하는 이였기에 당시 많은 이들이 놀랐다. 발머가 CEO를 하고 그가 기술총괄을하고.
그는 마이크로소프트 총기술책임으로 있으면서 마이크로소프트 천재 개발자들에게 오픈소스 문화를 받아들이라고 강제하지 않았다. 다만 마이크로소프트 개발자들이 지속적으로 제품을 혁신해 오면서 기업내 핵심 업무 시스템으로 만들었는데 고객들은 리눅스나 유닉스 같은 환경과 상호 운영성 측면에서 지원을 요구하고 있는데 이걸 해야할까 말아야 할까라고 접근했다.
당연히 지원해야 하는거지. 그 때부터 마이크로소프트가 미친 소리들으면서 리눅스지원부터 오픈소스 지원에 엄청나게 투자를 하고 움직였다. 2005년 경이다. 방향이 정해지자 그들은 무섭게 변하기 시작했다. 마이크로소프트가 애저 클라우드 사업을 시작한 건 2008년이다. 마이크로소프트 내부에서 인터넷 서비스 운영 시스템 파트를 담당했던 이가 지금의 MS CEO다. 그가 하루 아침에 모든 걸 다 바꾼 것처럼 포장하지만 거대한 방향을 바꾸고 물줄기를 내는 이들은 그 전부터 존재한다.
마이크로소프트 팀즈가 잘나가는 거보니가 갑자기 레이오지 아저씨가 생각났다. 로터스노츠 만든 분이고, MS 인수 당시에는 그루브 네트워크에 있었다. 그러고 보면 SW의 무덤으로 불리는 IBM은 로터스 노츠 인수하고 통합 커뮤니케잇녀과 협업 시장을 호령하는 듯 하다가 망가뜨리고 끝내 인도 회사에 모두 넘긴거 보면 참 신기하기도 하다. 역시 SW의 무덤 ^.^
아, 왜 이야기를 하냐고? 인텔의 전설이 그간 힘겹게 인텔을 끌고 온 동료들에게 비전을 제시하고 뛰겠다고 말했다. 함께 그 여정에 나서보자고 인사말을 했다. 자신의 고향에 왔다면서. 조롱당하던 그 천재들이 전의를 불태우고 있을거다. 그래 우리의 전설과 함께 다시 한번 전설을 만들어보자.
우리나라 반도체 분야 종사자들도 그렇게 해서 그 어려운 역경을 이겨내고 지금 반열에 오른 거 아닌가. 엔지니어들에게 열정을 불어넣으면 끝이지 뭐. ㅎ.ㅎ
2. 인텔도 고급형 GPU 시장에 투자를 하기 시작했다. 엔비디아의 쿠다 생태계가 AI 시장에서 독보적인 지위를 확보하고 있고, 그 여세를 몰아 GPU 장착된 별도 장비까지 만들어서 뛰어들고 있는데 이 분이 가면 그 전쟁 또한 멋지게 벌어질 거 같다. AMD가 경쟁자가 아니라 엔비디아를 어케 누를지가 관전 포인트가 아닐까 싶다. 엔비디아 이야기를 넣으려고 했지만 아주 예전에 쓴 글이 있어서 패스하기로 했다. ARM 인수 시점에 쓴 글이었다.
링크 : [테크] GPU + AI + 네트워킹 (멜라녹스) + ARM = 엔비디아?
https://www.facebook.com/eyeball91/posts/10223763674145299
NVIDIA Korea 엔비디아가 Arm 을 소뱅 품에서 가져오나 보다. 무려 47조원 매각 협상. 약 35조 1800억원에 인수했었으니 무려 4년여 만에 12조원을 더 받고 넘기는. 이 금액으로 결정되면 소뱅은 정말 남는 장사하는 셈이다.
소뱅 손정의 회장은 '기술'에 투자하는 사람이 아니다. 그는 서비스 업에 투자를 했지 기술에 투자히지 않았다. 소뱅이 연구개발에 별 관심이 없다는 건 알 사람은 다 아는 사실이다. IBM 왓슨이 인공지능인 줄 알고 투자한 걸 보면서 난 그가 정말 모른다고 생각했다. ^.^ 초기 왓슨이니 지금은 좀 바뀌었나. ㅎ.ㅎ
그런 그가 처음으로 기술에 투자했는데 매각 금액으로만 본다면 성공한 거지만 그가 ARM을 인수하고 어떤 세상이 도래할 거라고 꿈을 이야기했던 과거의 말을 보면 그닥 성공하지 않은 건지도 모를 일이다.
아시안인으로 테크 역사에 이만큼 기여하고 관여한 이가 있나 싶기도 하다.
아시아계 인사로 이제 새로운 테크 역사의 중심에 젠슨 황 엔비디아 회장이 있다. 이 양반이 꿈꾸는 테크 세상 이야기는 아래 엔비디아 코리아 기술 블로그를 읽어보시면 된다.
CPU도 GPU도 아닌 DPU가 뭔지 아시나요?
https://blogs.nvidia.co.kr/.../whats-a-dpu-data.../
여튼 엔비디아 젠슨 황 회장은 2019년 3월 멜라녹스를 8조 5000억원 (70억 달러)에 인수한다고 밝혔고 2020년 4월 전세계 모든 정부 승인을 받고 완전히 품에 안았다.
이 회사를 산 건 신의 한 수이면서 동시에 미래를 산거라고 볼 수 있다. 마이크로소프트나 인텔 모두가 탐내던 회사였다.
고성능컴퓨팅(HPC) 클러스터용 네트워크 규격인 '인피니밴드(InfiniBand)' 및 초고속 이더넷용 어댑터, 스위치, 소프트웨어 및 케이블 등을 제공하는 이스라엘 기반 네트워크 칩 전문기업이다.
데이터나 정보를 찾을 때 인피니밴드라고 서버나 스토리지간 연결 지점에서 엄청난 병목현상이 일어나는데 이 분야에서 이걸 해결하겠다고 나온 기술이다. 초당 100GB를 보내는 건 우습고 200G까지 가능하고 요즘은 더 빨라졌을거다.
오라클이 HP와 친할 때 데이터머신(DB + HW) 인 엑사데이터를 만들 때 인피니밴드로 서버 스토리지 연결하면서 졸라 빠르다고 자랑했고 썬을 인수하면서 엔터프라이즈 분야 '아이폰'을 만들겠다면서 통합형 장비를 만들어내고 있다.
자기네 클라우드에 들어가는 것들을 이렇게 일체형으로 만들어서 쓰고 이런 장비를 고객 사이드에도 가져다 놓는다. 또 올플래시 장비와 인프라에도 인피니밴드로 무장해놨다. 역시 DB를 하는 회사니 물리적인 문제가 어디에 있는지 정확히 알고 해결했다. ^.^ 그래도 클라우드 늦은 건 용서가 안됩니다용.
마이크로소프트가 1년에 한번 행사할 때마다 FPGA 통해서 네트워크 병목 이슈를 해결하는 칩을 만들었고 이런 추론 칩이 구글의 TPU를 훨씬 능가한다고 주장하고 있을 정도로 클라우드 사업자들도 네트워크 병목 현상을 해결하려고 반도체 분야에 졸라 투자하고 있다. 마이크로소프트는 전세계 데이터센터 연결을 위해 광장비 회사에 투자하고 있고, 센터 내 장비간 연결은 멜라녹스 통해서 해결하려고 했는데 엔비디아에 뺐겨 버렸다.
이 말을 뒤집어 보면 이제 전세계 클라우드 시장을 호령하고 절대로 이제 후발주자에게 그 자리를 넘겨주지 않을 AWS, MS Azure, GCP, 알리바바클라우드 가 반도체 칩 설계와 새로운 장비의 진화까지 주도할거라는 사실이다.
엔비디아 입장에서는 이걸 통해서 개인용에서 AI 회사로 탈바꿈하는데 성공한 데 이어 이제는 데이터센터 시장 자체로 더 깊숙히 들어갈 수 있게 되었다.
여기서 이제 반도체 설계 회사의 주인까지 꿈꾼다. 전기자동차에 들어가는 칩을 설계하면서 자기네 그래픽 카드 기술과 초기부터 협력해 나갈 수 있다. ARM과 협력해 일하는 애플 같은 회사가 어떤 대응을 할지도 궁금하다.
삼성전자 시스템 반도체 입장에서는 어쩌면 호재가 될지도 모르겠다. 얼마 전 엔비디아 새로운 게이밍용 제품 제조를 수주하면서 엔비디아와 친해졌으니 향후 엔비디아와 관계 여부에 따라서 스마트자동차던 뭐던 협력을 하면서 관련 칩을 생산해줄 수도 있기 때문이다.
그래서 비메모리를 포기한 건가? 그래서 퀄텀도 삼성전자에 맡기고?
여튼, 엔비디아는 이거 사면 정말 멋지긴 한데. 금액이 47조원이나 들어가기 때문에 초기에는 승자의 저주 이야기가 나오지 말라는 법이 없다. 장기적으로는 괜찮은 거 같기도 하고. 삼성전자도 살짝 엔비디아 살 때 자금 좀 지원하면서 걸쳐주면 좋지 않을까 싶다.
애플이 가져가서 혼자 갖고 공개 안하는 것보다는 좋은 건 확실한거 같다. 그러나 저러나 애플은 언제 엔비디아 그래픽 카드 써줄건지 궁금하다. ^.^ 엔비디아 주식은 더 올라갈텐데.
3. CES 2021에서 인텔은 이스라엘 모빌아이 CEO가 나와서 신제품과 토론에 나섰다. 지금 보니 왜 그런지 알겠다.
4. 많은 이들이 지난 2년 담당한 CFO를 욕하던데 이해불가다. 그는 인텔을 이렇게 망까뜨린 주범인 이전 CEO가 내부 직원과 불륜 때문에 갑자기 낙마하면서 임시 방편으로 회사를 맡아왔었다. 그는 그의 역할을 잘 했고, 투자도 제대로 단행한 거 같다. 그가 망가뜨린 게 아니라 그 전 CEO가 망가뜨렸다. ^.^ 그러니 재무담당이 뭔 반도체 회사 CEO야 라는 소리를 말자. 정작 반도체 회사 망가뜨린 건 CFO가 아니었고 엔지니어 출신이었다. ^.^ 브라이언 그리자니크다.
5. 한 페친에 따르면 팻 갤싱어 CEO는 메모리 사업부서를 SK하이닉스에 판 걸 후회할지 모른다고 했다. 그가 만약 CEO였다면 안팔았을거라는 건데. 5% 점유율을 25%까지 끌어올렸는데 그 알짜를 넘기다니 라는 소리를 했다. 인텔은 기업용 SSD 시장에서 확실한 기반을 다지고 있었고, 마이크론과 새로운 구조로 최고사양 서버에 들어가는 메모리인듯 아닌듯한 걸 만들어서 제공한다. SK하이닉스가 제대로 잘 인수해서 대박을 내주길 응원해보자. ^.^
6.
[테크] 아자르 서비스를 제공하는 하이퍼커넥트 정강식 (Jung Kangsik) CTO를 태깅했다. 애플 아이폰 11 시리즈에 들어가는 반도체 분야 중 AI/ML 관련 글들이 많이 없었기 때문입니다.
바쁘신 와중에도 댓글을 달아줬는데 그 내용이 좋아서 별도로 다시 빼서 이렇게 공유합니다.
https://developer.apple.com/kr/machine-learning/core-ml/
아래는 정 CTO의 글. ......
하하 애플 발표 보고 아이폰11의 A13 프로세서와 CoreML3 관련해 찾아본걸 어떻게 아시고 태그를..
짤게 댓글로 설명을 남겨보면,
- ML전용 프로세서인 Neural Engine의 경우 A11(아이폰X)에서 A12(아이폰Xs)로 넘어오면서 8배 성능향상이 있었던 반면, 이번에 A13의 경우 A12에 비해서 2배도 아니고 겨우 20%만 성능이 향상되었습니다.
- 애플이 AI/ML에 올인하고 있는 상황에서 20%의 성능향상만 있다면 실망스러울 수 있는데요. 다행히도 Neural Engine 성능향상이 미미한 반면, AMX라는 이름의 matrix 연산 전용 co-processor를 도입하여 matrix 연산 성능이 기존대비 6배(!) 향상되었다고 합니다.
- 그런데 Neural Engine을 비롯한 NPU 들이 하는게 matrix 연산 가속인데 왜 별도의 co-processor까지 필요할까요? 조사해보니 Neural Engine은 8-bit 정수 연산에 최적화 되어 있는 반면, AMX는 32-bit 등의 실수 연산에 최적화 되어 있기 때문에 모바일에서도 복잡한 ML 모델을 성능타협 없이 구동할 수 있게 됩니다.
(전문적인 설명을 하자면 quantization 하지 않은 ML모델도 모바일에서 빠르게 돌릴 수 있게 되는거죠)
- ML연산에 쓰일 수 있는 자원이 CPU, AMX, GPU, Neural Engine 4가지나 되다보니 개발자 입장에서는 무얼 써야 하는지 결정하는게 참어려운데, CoreML3은 자동으로 최적인 자원을 판단해서 최고의 속도가 나올 수 있도록 한다고 합니다. 특히 소프트웨어 적으로만 동작하는게 아니라 A13 자체에 ML Controller가 하드웨어 수준에서 구현되어 있습니다.
- 결과적으로 아이폰11은 (모바일에선) 전례없는 수준의 ML 경험을 제공할 수 있을 것입니다. 하이퍼커넥트는 이런 기회를 최대한 이용하는 ML 기반 제품을 개발하고 있으니 기대해 주세요!
부록 1. 마이크로소프트웨어 편집장으로 있을 때 한국 미디어 최초로 앤디 제시 (Andy Jassy) AWS CEO 서면 인터뷰를 진행한 적이 있다. 당시 뒷이야기를 하면 클라우드 특집 기사를 마련하면서 매년 가을 열리는 re:invent 행사 발표 내용을 정리하고 앤디 제시 AWS CEO의 서면 인터뷰 혹은 기고라도 받기 위해 노력했다. AWS코리아 홍보팀에서 상당히 많이 애써 준 덕분이기도 했고, 역사 30년이 된 마이크로소프트웨어라는 개발자 대상 잡지이며 이미 자바 20주년 특집에 제임스고슬링 인터뷰도 했고 ( 그는 지금은 AWS에서 일한다. 이 멋진 일을 해냈던 장혜림 기자. 그 기자는 파이썬 만든 귀도 반 로썸 아저씨도 만났다. 원래 영상 인터뷰하자고 했는데 부끄럽다며 이메일 인터뷰로 진행, 그는 지금은 마이크로소프트에 들어갔다. 장 기자는 또 딥러닝 for JAVA (DL4J)를 만든 아담 깁슨도 영상 인터뷰로 만났고 그가 방한했을 때 다시 또 만났다. 요즘은 슬로우워크에서 착하게 사는 거 같다. ^.^)
지금 AWS코리아 에반젤리스트로 활약중인 윤석찬님 도움을 받아 한국 웹 20주년 기념 방한한 자바스크립트와 CSS의 아버지인 브렌단 아이크와 하콘 비움리 인터뷰도 진행했던 내용들도 정리해서 보냈고, AWS코리아 홍보팀이 백방으로 노력해줘서 성사될 수 있었다. 다들 안될거라고 했었다. 그래도 못 먹는 감 찔러나 본다고 우리는 우리의 일을 다 하고 기다려보면 될 일이었다. 운이 좋았고, 도움을 준 분들 덕분이었던 거 같다. 그 도움을 주신 분은 여전히 그곳에서 근무하고 계시다. '버럭' 유정님 생유 ^.^ (나중에 삭제해야 할지도 모름.)
석찬님 블로그 :
http://channy.creation.net/blog/1004
예전 자료를 찾다보니 당시 받았던 이메일 인터뷰 원본이 있어서 이곳에 옮겨놓는다. 시간은 흘렀어도 AWS가 클라우드로 무엇을 하려고 하는지 최고 수장의 견해를 들어보는 것도 클라우드 사업을 이해하는 데 도움이 되지 않을까 싶어서다. 당시 그의 re:invent 키노츠는 아래 유튜브를 통해 들을 수 있다.
2020년 re:Invent 기조 연설 관련해서는 아래 링크를 참고하면 된다.
https://aws.amazon.com/ko/blogs/aws/reinvent-2020-liveblog-andy-jassy-keynote/
앤디 재시 AWS 수석부사장과의 인터뷰
우선, AWS 리인벤트 사용자 컨퍼런스는 어떤 행사인지 설명해 달라.
AWS 리인벤트는 미국 네바다 주 라스베이거스에서 AWS가 매해 개최하는 사용자 컨퍼런스로, 기존의 IT 기술 컨퍼런스와는 확연히 다르다. 이 행사는 세일즈 및 마케팅을 위한 행사가 아닌 실질적인 교육을 위한 컨퍼런스로 기획되어 세션의 50%가 파트너 혹은 고객에 의해 제공한다.
따라서 고객들은 이 행사를 통해 클라우드에 대해 보다 자세히 배울 수 있을 뿐 아니라, 다른 AWS 고객으로부터 어떻게 AWS를 사용하는지, 그리고 AWS 사용에 관한 유용한 팁과 주의사항에 대해 배울 수 있다.
지난 몇 년간, 리인벤트 행사를 개최하며 클라우드가 새로운 애플리케이션을 구축하고자 하는 모든 규모의 기업들에게 뉴노멀(New Normal)이 되었다는 것과 다수의 기업들이 기존의 애플리케이션을 클라우드로 서둘러 이전하고 있다는 것을 알게 되었다. 이러한 변화는 매우 다양하고, 폭넓고, 방대한 AWS 고객 기반을 통해 확인할 수 있다. 핀터레스트(Pinterest), 에어비앤비(Airbnb), 스트라이프(Stripe), 슬랙(Slack), 페리스코프(Periscope), 애드롤(AdRoll), 틴더(Tinder) 등 업계에서 가장 큰 성공을 거두고 있는 다수의 스타트업들이 오래 전부터 AWS를 사용해 오고 있다. 또한 거의 모든 분야의 글로벌 기업들이 AWS를 이용하고 있다. 석유 기업으로는 헤스(Hess), BP, 쉘(Shell), 금융 분야에는 FINRA, 인튜이트(Intuit), 호주의 코먼웰스 뱅크(Commonwealth Bank of Australia), 선콥(Suncorp)이 있으며, 의료 보건 분야에는 존슨앤드존슨(Johnson & Johnson), 머크(Merck), 화이자제약(Pfizer), 브리스톨 마이어스 스퀴브(Bristol-Myers Squibb)가 있다. 또한 제조 분야에는 GE, 필립스(Philips), 슈나이더 일렉트릭(Schneider Electric), 기술 분야는 넷플릭스(Netflix), 삼성(Samsung), 어도비(Adobe), 미디어 분야에는 뉴스 코퍼레이션(News Corp), 콘데 나스트(Conde Nast), 다우 존스(Dow Jones)가 AWS를 사용한다. 상상할 수 있는 모든 수직 산업 부문에서 AWS를 매우 의미 있는 방식으로 사용하고 있는 것이다. 또한 공공 분야에서도 상당한 고객군을 구축하고 있어, 전 세계 공공기관 2,000여곳, 교육기관 5,000여곳, 그리고 비영리기구 18,000여곳에서 AWS를 사용하고 있다. 이는 우리의 성과를 통해 다시 한 번 확인할 수 있다. AWS는 2015년도 3분기 전년 동기 대비 78% 성장하며 연 80억 달러 이상 규모의 사업이 되었으며, 빠른 성장 속도를 기록하고 있다.
AWS는 최근 한국에 AWS 리전을 “2016년 초에” 구축할 것이라고 발표한 바 있다. 이는 고객으로 하여금 데이터를 국내에 저장해 두도록 함으로써 데이터 프라이버시 문제를 해결하기 위함인가?
우리는 AWS 고객들이 자신들의 콘텐츠에 대해 완전한 통제권을 가져야 한다고 항상 생각해 왔다. 이것은 고객의 데이터가 저장되고 정보가 처리되는 장소를 포함한다. AWS의 고객들은 데이터의 저장 위치를 선택하게 되며, 고객이 데이터를 이동하지 않는 이상 데이터는 이동되지 않는다. 따라서 데이터를 현지에 저장하고자 했던 고객들의 경우, 머지 않아 그렇게 할 수 있게 될 것이다.
현재 AWS는 전 세계적으로 11개의 리전을 운영하고 있다. 리전은 복수의 데이터센터가 위치한 장소를 의미하며, 가용 영역(Availability Zones)은 각 분산된 데이터센터를 가리킨다. AWS가 리전을 구축하는 방법은 다른 인프라 공급자들과는 차이가 있다. 우리는 단 하나의 데이터센터를 구축한 후, “이 지역은 리전이다”라고 말하지 않는다. 지난 9년 반 동안 클라우드 사업을 운영하면서 우리는 제대로 된 애플리케이션을 구축하고자 하는 기업들은 내결함성(fault tolerance)과 높은 신뢰도를 구현하기 위해 모두 복수의 데이터센터에 분산하여 이를 배치하고자 한다는 것을 알게 됐기 때문이다. 현재 11 개의 리전을 운영하고 있으며, 내년을 전후하여 한국, 인도, 영국, 오하이오는 물론 중국 내 또 하나의 리전을 설립해 총 5 개의 리전을 추가로 구축하게 된다. 전 세계적으로 클라우드 컴퓨팅을 할 수 있는 많은 기회가 존재하며, 앞으로도 이러한 리전은 계속해서 추가적으로 설립될 것이라고 생각해도 좋다.
한국에 리전을 설립하는 이유는, 한국에 AWS의 고객이 상당수 존재하기 때문이다. 데브시스터즈(Devisisters), 아이지에이웍스(IGAWorks), 비트패킹 컴퍼니(Beatpacking Company)와 같은 스타트업을 비롯하여, 넥슨(Nexon), 게임빌(Gamevil), 위메이드(Wemade) 같은 우수 게임 업체, 그리고 삼성, SK 플래닛, SM 엔터테인먼트와 같은 대기업들이 AWS를 사용하고 있다. 새롭게 구축되는 AWS 리전은 한국이 전 세계적으로 자랑하는 빠른 인터넷 속도와 맞물려, 고객들에게 빠르고, 신속하게 웹사이트 및 모바일 애플리케이션, 게임, SaaS 애플리케이션 등에 접속할 수 있도록 해 줄 것이다. 한국 밖에 위치한 기업들 또한 한국의 엔드 유저들에게 빠른 반응속도로 서비스를 제공할 수 있을 것이다. 뿐만 아니라, 모바일 앱, 빅데이터, 사물인터넷(IoT) 등의 분야에서 혁신을 가속화 할 것으로도 기대하고 있다. 따라서 우리는 2016년 한국의 클라우드 산업 성장에 기대를 가지고 있으며, 이에 기여하게 되어 매우 기쁘게 생각하고 있다.
기업들이 이렇게 빠른 속도로 클라우드를 도입하는 이유는 무엇인가?
가장 많이 제시되고 있는 이유로 6 가지가 있다. 첫 번째, 자본 비용을 가변 비용으로 전환할 수 있다는 것은 기업들에게 매우 매력적으로 다가온다. 또한 이러한 가변 비용은 기업들이 자체적으로 부담해야 하는 비용에 비해 낮은 수준이다. 그 이유는 AWS가 매우 큰 규모로 운영함으로써 절감되는 비용을 고객들에게 낮은 가격의 형태로 되돌려주기 때문이다. 세 번째로, 기업들은 더 이상 얼마나 많은 용량을 갖추어야 하는지를 놓고 고민하지 않아도 된다. 수요가 상승하면 바로 보유 용량을 확장할 수가 있으며, 용량이 최고치로 필요할 때에 맞춰 운영하지 않아도 된다. AWS에 필요하지 않는 용량을 반납하고, 그에 따른 비용 지출을 줄임으로써 진정한 의미의 탄력적 운영을 가능케 한다. 네 번째 이유는 뛰어난 민첩성으로 클라우드로 이전하는 이유로 가장 많이 언급된다. 과거에는 특정 프로젝트에 사용할 서버가 도착하기까지 10~18주를 기다려야 했지만 AWS를 사용함으로써 수천 개의 인스턴스 또는 서버를 단 몇 분이면 투입할 수가 있게 되었다는 점이다. 그리고 과거 이러한 인프라 관리에 투입되어야 했던 귀중한 자원, 즉 소프트웨어 엔지니어들을 기업의 차별적 경쟁력을 강화하는 데에 활용할 수 있게 됐다.
또한 기업은 전 세계에 위치한 인프라에 걸쳐 애플리케이션을 구축함으로써 빠른 반응속도를 구현하고 고객 경험을 향상시킬 수 있다. 또한 자신들이 원하는 곳에서 데이터 주권을 얻을 수 있다. 바로 이러한 것들이 클라우드 도입의 이유로 가장 빈번하게 언급된다. 그렇지만 사람들이 클라우드에 환호하고, 이토록 적극적으로 도입하는 진정한 이유는 따로 있다.
그렇다면 사람들이 클라우드에 환호하는 진짜 이유는 무엇인가?
AWS가 개발자, 개발 총괄자, 영업부문 총괄자, CIO 등으로부터 알게 된 사실은 이들이 AWS로 전환한 가장 큰 이유는 바로 자유와 통제력이라는 것이다. AWS 클라우드가 등장하기 이전에 오랜 세월 동안 개발자들은 제약을 받아 왔다. 많은 개발자들은 새로운 아이디어를 제시하더라도 돌아오는 답변은 “그럴 여유가 없다” 또는 “그건 어렵다”, “올해는 어려우니 내년에 하자” 등이었다. 또는 관리형 서비스 공급자(managed services provider)로부터 서비스를 사용하는 기업의 개발자인 경우, “그런 제안은 계약 수정을 필요로 한다”는 등의 질책을 받아야 했을 것이다. 이러한 말들의 의미는 돈이 많이 들거나, 시간이 많이 든다, 절대로 안 된다 등이라고 보면 된다.
이것은 개발자들의 사기를 크게 해치며, 여유 시간이 있더라도 새로운 혁신에 대해, 또는 사업에 어떠한 변화를 가할지에 대해 생각해 볼 마음이 사라져버리도록 하는 원인이 된다. 대부분의 개발자들은 같은 작업만 반복적으로 계속 수행하기 위해 컴퓨터 공학을 전공한 것이 아니다. 이들은 새로운 것을 만들고, 기존의 것을 뒤틀며, 무언가를 창조하는 사람들이다. 개발자들의 머릿속에는 최고의 아이디어가 많이 들어 있다. 그리고 올바르고 이를 지원해 주는 인프라가 개발자들에게 주어지는 경우 이러한 아이디어들은 언제든 밖으로 튀어 나올 준비가 되어 있을 것이다.
이것은 CIO에게 있어서도 마찬가지이다. CIO들은 이들의 기업들이 안전하고, 안정적으로 인프라를 사용할 수 있도록 해야 한다. 그러나 이를 같은 일을 반복하거나 천천히 진행해야 하는 업무로 받아들이지 않는다. CIO 또한 개발자들에게 “안 된다”라 말하는 것을 즐길 리는 없다. 개발자들이 사업의 방향을 바꾸어 줄 만한 새로운 아이디어를 가지고 있을지도 모르는 상황에서 말이다.
AWS 클라우드의 행보는 이러한 개발자들의 자유도를 높이고 그들 자신의 운명을 제어할 수 있도록 하고자 한다. AWS는 개인 혹은 그룹이 사업을 변화시킬 수 있는 아이디어를 가지고 있으면 이를 실제로 실현할 수 있다는 희망을 가져다 준다. 사람들이 AWS 클라우드에 열광하는 이유를 설명하는 7 가지의 자유가 있다고 우리는 보고 있다. 그리고 개발자들이 이러한 자유의 맛을 보게 되면, 기존의 방식으로 돌아가기는 힘들 것이다.
AWS가 가져다 주는 첫 번째 자유는 무엇인가?
첫 번째 자유는 구속을 받지 않고 개발할 수 있는 자유이다. 오늘날은 민첩하고 빠르게 움직이지 못하는 자는 경쟁에서 살아남기 힘들다. 클라우드는 이러한 민첩성을 가질 수 있도록 해준다. 전통적인 업계를 완전히 뒤바꾸어 놓은 스타트업들의 행보들이 이를 잘 보여준다. AWS는 기업이 빠르게 움직일 수 있도록 해 줄 뿐 아니라, 개발자의 앞길을 막는 수 많은 장애물들을 제거해 준다.
민첩성은 빠른 프로비저닝과 몇 번의 클릭으로도 사용할 수 있는 광범위하고 견고한 기술 플랫폼으로 구성된다. AWS 클라우드의 경우 수천 개의 서버를 추가로 프로비저닝 할 수 있다. 또한, 폭넓은 견고한 기술 인프라 플랫폼에 접근할 수 있어, 개발자들이 아이디어를 시장에 내 놓기 위해 필요한 인프라 서비스를 일일이 각자 개발하지 않아도 된다. AWS 기술 플랫폼은 다양한 코어 블록으로 구성되어 있는 폭넓은 플랫폼으로 다른 그 어떠한 인프라 공급업체보다도 다양한 기능을 지원한다.
AWS의 컴퓨트 서비스 역시 다양한 종류의 연산을 지원한다. 우리는 오브젝트 저장, 블록 저장, 아카이브 및 백업 저장 기능 등 다양한 스토리지 기능을 제공하며, 관계형 데이터베이스 서비스 제공을 위해 6 가지의 서로 다른 데이터베이스 엔진을 보유하고 있다. 또한 비 관계형 데이터베이스 서비스도 제공한다. 우리는 전 세계 50개 지점망을 갖춘 콘텐츠 유통망도 운영하고 있으며, 코어 빌딩 블록 위에 추가할 수 있는 네트워크 기능을 가지고 있다. 또한 배치(batch) 애널리틱스, 스트리밍 애널리틱스, 데이터웨어하우스 등 다양한 애널리틱스 기능도 보유하고 있다. 모바일 서비스도 다양하여, 신원 확인 및 동기화, 애널리틱스, 모바일 푸쉬 및 API 게이트웨이 등의 기능을 제공한다. 개발 옵션도 다양하여, 컨테이너, 템플릿, GUI 등을 지원한다. 고객을 위한 이벤트 기반 연산 서비스, AWS Lambda도 운영 중이다.
AWS는 이뿐 아니라 다양한 앱 서비스, 검색, 통지, 큐잉(queuing), 트랜스코딩(transcoding) 기능도 제공한다. 클라우드 기반 가상 데스크톱 서비스인 Amazon WorkSpaces를 비롯하여, 기업 스토리지 및 협업 도구인 WorkDocs, 그리고 보안 호스팅 이메일 서비스인 WorkMail 서비스도 제공한다.
한국에서는 큰 규모의 팀을 통해 인적 서비스도 제공하고 있다. 그러므로 AWS는 계정 관리(Account Management) 이외에도 프리미엄 지원(Premium Support) 서비스를 제공하여, 고객의 환경과 솔루션 아키텍처, 전문 서비스를 알고 있는 일대일 기술 계정 관리자를 배치한다. 이뿐 아니라 수 많은 직원을 통해 교육 훈련 및 각종 인증을 진행한다. AWS는 그 어느 인프라 기술 공급자보다 많은 기능성을 갖춘 견고하고 완전한 기능 제공 기술 인프라 플랫폼이다.
따라서 IT 자원을 빠르게 제공할 수 있는 광범위하고도 심층적인 플랫폼인 AWS 클라우드는 기업들에게 과거 어느 때보다 더 빠른 속도로 아이디어를 시장으로 내 놓을 수 있는 새로운 방법을 제공한다.
AWS 클라우드가 가져다 주는 또 다른 기본적 자유는 무엇인가?
AWS 클라우드는 거대한 양의 데이터로부터 진정한 가치를 얻을 수 있는 자유를 준다. 클라우드 도래 이전에는 기업들이 자신들이 보존하고자 하는 데이터가 있어도 그렇게 할 수가 없었다. 비용을 감당할 방도가 없었기 때문이다. 그러나 클라우드의 등장 이후, 오늘날 데이터를 수집, 저장, 분석, 공유하는 과정은 과거 그 어느 때보다도 쉽고 저렴해졌다.
이는 AWS가 고객들에게 제공하고 있는 서비스를 통해 실현되고 있다. Amazon S3의 경우 대규모의 오브젝트 스토리지를 보유하고 있으며, AWS는 다수의 고성능 데이터베이스를 제공하고 있기도 하다. 또한 Amazon Elastic MapReduce 서비스를 제공해, 고객이 하둡이나 Spark 에서 애널리틱스 기능을 사용할 수 있도록 지원한다. 최근 관리형 엘라스틱 검색 서비스(managed elastic search service)를 선보였고, 스트리밍 데이터 애널리틱스 서비스인 Kinesis Streams를 제공하고 있다. 지난해에는 머신 러닝 서비스도 출시했으며, Amazon Redshift라는 대용량의 데이터웨어하우스 또한 지원하고 있다. Redshift는 지난 2~3년의 기간을 통틀어, AWS의 모든 서비스 중에서도 가장 빠르게 성장하는 서비스였다.
바로 이것이, 오늘날 수 많은 기업들이 AWS를 기반으로 하여 대용량의 애널리틱스를 구축하고 있는 이유 중의 하나이다. 예를 들어, NTT DOCOMO의 경우는 4 페타 바이트 급의 데이터웨어하우스를 Amazon Redshift를 통해 운영하고 있으며, 최대의 광고 및 미디어 기업인 VivaKi는 투자수익률의 최적화를 위해 AWS를 통하여 자사의 미디어 캠페인에 대한 분석을 진행함으로써 운영 비용을 75% 줄였다. 과거에는 이러한 분석 작업에 통상 20일이 소요되었지만, 이제는 단 6 시간이면 충분하다.
오늘날 기업 내에서 실제로 애널리틱스 업무를 수행할 수 있는 사람의 수는 결코 많지 않다. 이러한 애널리틱스 업무에 접근할 수 있는 사람들은 극히 소수이다. 기업들은 자사의 기술 전문 관리자가 아닌 인력들 또한 데이터를 통해 추세를 파악하고, 실제 행동 가능한 지식을 빠르게 얻을 수 있도록 하고자 한다. 그러나 오늘날, 이러한 지식을 얻어내는 일은 결코 쉽지 않다. 구식의 비즈니스 인텔리전스(BI) 툴은 사용과 조작이 어려우며, 매우 비싸다. 고객들은 조직 내부적으로 더 많은 부서에서 데이터를 통해 추세를 파악하고, 또한 이러한 데이터 활용 작업이 더 빠르게, 더 저렴한 비용으로, 더 간편하게 이루어지기를 희망하고 있다.
그래서 출시한 서비스가 바로 Amazon QuickSight 이다. Amazon QuickSight는 매우 빠른 속도와 사용 편의성, 그리고 클라우드 기반의 BI 서비스다. QuickSight가 AWS 고객을 인식하면, 여러 AWS 데이터 저장소에 저장되어 있는 고객의 데이터를 취해, 이것을 쿼리 엔진으로 보내고, 이를 통해 고객이 최초로 시각화된 결과를 보게 되는 시간까지 소요되는 시간이 60초를 넘지 않는다. 이것은 엔지니어가 데이터를 시각화하기 전 일일이 모델링부터 진행해야 했던 과거 몇 주일, 경우에 따라서는 몇 달이나 걸리던 방식과 비교하면 크게 달라진 것이다. Amazon QuickSight는 아주 매력적인 시각화를 제공하는 한 편, 그래프, 표, 스토리 등을 포착하고, 이를 내외부적으로 공유할 수 있도록 한다.
뿐만 아니라 우리는 고속의 병렬 인메모리 최적화된 연산 엔진인 SPICE를 개발했는데, 이것은 실로 혁명적이고 혁신적인 기술이다. SPICE는 고객으로 하여금 과거에 비해 훨씬 더 빠른 쿼리 응답 속도를 제공하는데, 우리의 BI 파트너사들은 SPICE를 사용하여 자체 BI 툴을 강화하고, 고객을 위한 쿼리 시간을 늘이고 있다. SPICE는 모든 비즈니스 데이터 저장소와 통합이 가능하며, 이러한 서비스를 기존 BI 공급업체들이 부과하던 비용의 1/10 수준에 제공하고 있다.
대단한 기술이기는 한데, 기존에 AWS 내에 데이터를 저장하지 않는 고객사들은 어떻게 하는가? 이런 고객들이 처음 AWS 클라우드에 데이터를 이전하기 위해서는 어떻게 해야 하나?
세 번째의 기본적 자유 항목이 바로 이 부분에 관한 것이다. 바로 AWS 클라우드 내외부로 데이터를 마음대로 옮길 수 있는 자유가 여기에 해당한다. AWS는 초창기부터 고객들로 하여금 인터넷을 통해 데이터를 클라우드로 업로드 하도록 해 왔다. 몇 년 전, 우리는 Direct Connect라는 기능을 구축하였는데, 이것은 AWS와 고객의 데이터센터 간 직접적인 통신 연결망을 구축하는 것을 의미한다. 이러한 Direct Connect는 현재 수 천 개의 고객사가 매우 성공리에 사용하고 있다.
지난 1 년여의 기간 동안, 새롭게 대두되고 있는 사용 방식에 따라 고객의 요구 사항 역시 새롭게 나타나고 있다. 가정, 직장은 물론, 유전에 이르기까지 매우 다양한 장소에서 끊임없이 데이터를 전송하는 수 백만 개의 장치가 존재하며, 이러한 데이터 전송량은 때에 따라 시간 당 테라바이트 급에 이르기도 한다. 이렇게 엄청난 데이터의 흐름은 관리하기가 결코 쉽지가 않다. 바로 이것이 Kinesis Streams라는 서비스를 개발한 배경이다. Kinesis Streams는 고객으로 하여금 실시간 스트리밍 데이터의 분석이 가능하도록 해 준다. 고객사들은 Kinesis Streams를 기반으로, 다양한 종류의 실로 흥미로운 커스텀 애플리케이션을 개발할 수가 있다.
그러나, 많은 고객들은 스트리밍 데이터를 정말 단순한 방식으로 AWS 상에 올릴 수 있기를 원한다. 그래서, 우리는 Amazon Kinesis Firehose라는 서비스를 구축하여, AWS에 스트리밍 데이터를 로딩하는 작업을 API 콜만큼 간편하게 만들었다. Firehose는 웹 애플리케이션, 모바일 앱, 연결 기기 등 수 천 개의 각기 다른 자원으로부터 데이터를 포착하여 이를 실시간으로 AWS에 로드한다. 이러한 서비스는 탄력적인 확장이 가능하여, 데이터 분량에 관계 없이 고객으로 하여금 특정한 시간 간격이나 데이터 덩어리에 집중할 수 있도록 해 주고, 표준적 방법론을 통해 데이터를 압축할 수 있는 능력도 제공한다. 고객의 선택에 따라서는 데이터가 유입되는 즉시 암호화하고, 이것을 사용할 때에만 해독할 수 있다. 뿐만 아니라 키의 저장 및 순환 역시 손쉽게 이루어진다.
테라바이트나 페타바이트 급으로 대용량 데이터를 지닌 고객이 빠르게 AWS로 데이터를 옮기고 싶을 때에는 어떻게 해야 하는가?
많은 양의 데이터를 한 지점에서 다른 지점으로 옮기는 일은 쉽지 않다. 이것은 아무리 초당 기가 비트 대로 인터넷 속도가 빠른 고객이라도 마찬가지이다. 회사가 가진 대역폭을 오직 AWS로 데이터를 옮기는 데에만 사용할 수는 없기 때문이다. 따라서 이러한 대역폭의 10% 만을 할당한다고 한다면, 또는 초당 100 메가 비트 정도의 속도가 AWS로 데이터를 옮기는 데에 사용할 수 있는 최대의 속도라고 한다면, 100 테라의 데이터를 AWS 클라우드로 옮기는 데에는 총 100일이 소요된다. 이것은 실로 매우 긴 시간이다.
이러한 문제를 해결하기 위해 아마존은 AWS Snowball을 개발했다. 이것은 고도의 보안성을 갖춘 이동식 저장 장비로, 초기 버전의 경우 50 테라바이트까지 고객의 데이터를 안전하게 저장할 수 있다. 사용법도 매우 간단해, 고객들이 일반적으로 데이터를 로딩하는 데에 사용하는 디스크와 사용상에 큰 차이가 없다. 또한 Snowball은 최초 수집 과정에서부터 전 과정에 걸쳐 데이터의 암호화를 지원한다. 따라서 데이터의 안전성에 대해서 고객은 확신을 얻을 수가 있는 것이다. 또한 무단으로 조작을 가할 수 없도록 특수 케이스에 내장되어 있다. 이것을 어떻게 운반할 것인지에 대해서도 걱정할 필요가 없다. 컨테이너는 간단하게 밀폐가 가능하며, 이를 쉽게 운송할 수 있다. 외부에는 Kindle 기기가 부착되어 있어, 이 장치의 화면에 반송 라벨이 자동으로 표시된다. 따라서 언제나 예정된 장소로 배송이 이루어지며, 고객은 운송과정뿐 아니라, 장치로부터 AWS로 데이터를 다운로드 하는 과정의 진행도 추적할 수가 있다. 이것은 실로 차별화된, 독특한 모델이다. 앞서 언급된 사례에서 100 테라의 데이터를 AWS로 옮기고자 한다면, Snowball을 사용할 시 기존에는 100일이 소요되던 것을 일주일 내로 전달 하는 것이 가능한 것이다. 이것은 고객이 데이터를 클라우드로 옮길 수 있도록 하는 모델 중에서도 매우 색다른 종류에 속한다.
그렇다면 4 번째의 자유는 무엇인가?
여러 우리 고객들이 실증하고 있는 바와 같이, 클라우드는 기술 공급업체와 고객사와의 관계에 변화를 준다. 고객들은 훨씬 더 많은 통제권을 손에 쥐게 되며, 지난 30년간 기술 기업들로부터 받아 왔던 대우와는 다른 대우를 받을 수 있다. 여러 고객사들을 만나 보았는데, 기존의 데이터베이스 공급자로부터 벗어나고 싶어 하지 않는 고객은 찾아보기 어려웠다. 이들 고객들은 올바른 대접을 받지 못하고 있거나, 적어도 새로운 시대에 걸맞은 대접을 받지는 못하고 있다고 생각하고 있었다. 따라서, 네 번째의 자유는 바람직한 데이터베이스 공급업체 관계를 위한 자유가 될 것이다.
과거의 데이터베이스 솔루션들은 매우 비싸며, 수 많은 잠금 기능이 설정된 유료 프로그램이었다. 이들 판매 업체들은 고객에 대한 감사를 실시하고 무엇이든 위반 사항을 발견하면 벌금을 매겼다. 그렇다 보니 수 많은 고객사들이 앞다투어 오픈소스 데이터베이스 엔진으로 갈아타게 되었다. 이러한 오픈소스 데이터베이스로 MySQL, PostgreSQL, MariaDB 등을 들 수 있는데, Amazon Relational Database Service (RDS)는 이러한 데이터베이스 엔진을 모두 지원한다.
하지만 이러한 오픈 소스 솔루션으로 최상의 성능을 끌어 내는 데에 많은 어려움이 따른다. 그래서 지난 해 우리는 Amazon Aurora를 출시하였다. 이것은 새로운 데이터베이스 엔진으로, 고객에게 상용 데이터베이스와 동등한 수준의 성능을 제공하나, 그 가격은 오픈 소스 데이터베이스의 가격 정책을 따른 것이다. Amazon Aurora는 MySQL과 완전 호환이 되며, 고성능 MySQL 시스템에 비해서도 5 배나 높은 성능을 자랑한다. 상용 데이터베이스급 성능과 내구성을 구현하는 한편, 1/10 비용으로 제공된다. Amazon Aurora는 2015년 7월에 정식 출시된 후, AWS 역사상 가장 빠른 속도로 성장하는 솔루션으로써, Expedia, GE, PG & E, NBC Universal 등의 고객들이 사용하고 있다.
기존의 “종속적인 데이터베이스 관계”에 묶여 있는 고객들이 Amazon Aurora로 갈아타는 데에는 어려움이 따르지 않나? 이전을 위한 절차는 무엇이며, AWS는 이를 위해 어떤 지원을 제공하는가?
실제로 이와 같은 데이터 이전은 많은 비용과 시간을 요하는 어려운 과정이다. 바로 이것이 최근 우리가 AWS Database Migration Service(데이터베이스 마이그레이션 서비스)를 채택한 이유이다. 이 서비스는 고객으로 하여금 데이터의 규모에 관계없이 최소한의 운영 정시 시간 내에, 모든 데이터를 AWS로 손쉽게 옮길 수 있도록 해 주는 서비스이다. 기업은 자신들의 소스에서 AWS 내의 새로운 대상으로 지속적으로 데이터를 복제해 보낼 수가 있으며, 그 진행 상황을 실시간으로 모니터링 할 수 있다. 이전 작업을 준비하는 데 소요되는 시간은 10 ~ 15분 남짓이므로, 기존의 툴에 비해 빠르고, 저렴한 비용으로 마이그레이션이 가능하다. 예를 들어, 1 테라의 데이터를 온프레미스에서 AWS로 이전한다고 할 경우, AWS Database Migration Service를 사용하면 비용은 3달러에 그친다.
기존의 구식 유료 데이터베이스에서 AWS 내 오픈소스 엔진 데이터 베이스로의 전환을 희망하는 고객을 위해서는 AWS Schema Conversion Tool을 마련하였다. 이 툴은 무료로 제공되며, 고객으로 하여금 하나의 데이터베이스 형식을 다른 형식으로 쉽고, 안정적으로 변환해 준다. 또한 테이블, 파티션, 시퀀스 등의 요소도 자동으로 변환한다. 고객의 데이터베이스 변환 요구사항 중 80%는 자동화 할 수 있을 것으로 전망하고 있다. 따라서 Database Migration Service와 AWS Schema Conversion Tool의 조합은 비용 구조를 광범위하게 변화시키는 한 편, 기업이 데이터베이스를 과거의 세계에서 새로운 클라우드 세계로 이전하는 속도를 향상시키게 된다. 마이그레이션의 자유가 바로 클라우드 컴퓨팅의 다섯 번째 자유다.
클라우드 환경에서의 보안은 어떠한가? 특히 외부에서 유입되는 데이터의 보안은 어찌되는가? 고객들이 클라우드의 민첩성을 확보하는 대신 데이터 보안에 대해서는 위험을 감수해야 하는 것은 아닌가?
여섯 번째 자유가 바로 두 마리 토끼를 모두 잡을 수 있다는 점이다. 클라우드를 도입하기 전, 기업의 CIO들은 개발자들을 기민하게 움직이도록 할 것인지, 아니면 보안을 담보할 수 있도록 속도를 조절할 것인지에 대해 고심해왔다. 클라우드의 장점 중 하나는 더 이상 이러한 의사결정을 내리지 않아도 된다는 점이다.
AWS는 다른 그 어떤 공급자보다도 다양하고 많은 서비스와 보안 역량들을 구축해왔다. 다양한 인증들을 획득했고, 고객들은 이를 기반으로 사업상 가장 중요하게 여기는 애플리케이션들도 자신 있게 우리의 플랫폼 상에서 운용하고 있다. AWS는 SOC-1, SOC-2, SOC-3는 물론 ISO 27001과 ISO 9001 인증을 받았다. AWS 상에서는 고객들이 HIPAA와 PCI에 준수할 수 있다.
언급한 AWS의 보안 역량에 대해 보다 자세히 설명해달라.
AWS와 파트너사들은 고객들이 자사의 보안 목표에 도달할 수 있도록 수 백 개의 도구와 기능들을 제공하고 있다. 한 예로 Amazon Virtual Private Cloud(VPC)는 고객이 AWS 네트워크의 일부를 할애하여 VPN을 통해 직접 데이터센터 토폴로지에 연결할 수 있도록 한다. 따라서 Amazon VPC는 고객의 데이터센터의 연장선이 된다. Amazon Direct Connect는 고객이 자사 데이터센터, 사무실, 혹은 코로케이션 환경으로부터 AWS로 바로 전용 네트워크 채널을 구축하도록 하여 인터넷 서버 공급자를 거치지 않을 뿐 아니라 네트워크 체증을 제거하도록 한다. 또한 AWS에서 새롭게 발표된 웹 애플리케이션 방화벽인 AWS WAF와 접목하면 고객은 프라이빗 네트워크를 구현할 수 있으며, AWS 상의 인스턴스 및 애플리케이션에 대한 접근을 완벽히 제어할 수 있다.
AWS는 기업이 빠른 성장을 지속하면서 클라우드 자원이 조직 기준과 모범 사례에 준수할 수 있도록 하기 위해 새로운 보안 평가 서비스인 Amazon Inspector를 발표했다. 이 서비스는 애플리케이션의 취약성 또는 모범 사례와 비교한 차이점을 자동으로 평가하며, 영향을 받는 네트워크, OS 및 연결된 스토리지 평가도 포함한다. Inspector는 취약점 혹은 결점이 있을 수 있는 곳에 대한 상세한 보고서를 제공하고, 수정 조치에 대한 가이드를 준다.
자료가 수집되고 문제가 해결되면, 이에 대한 상세 내용이 AWS CloudTrail에 저장된다. AWS CloudTrail은 AWS의 API 로깅 서비스로, API 콜을 호출한 사람, 내용, 장소까지 API 콜에 대한 모든 정보에 대해 심도 있는 가시성을 제공한다. 고객은 AWS의 Fine-Grained Identity Access Management를 사용하여 개인별, 위치별, 시간별로 신원을 부여하거나 어떠한 API 콜을 걸 수 있는지에 대해 설정을 함으로써 언제든 기업 내 누가 무엇을 할 수 있는지 통제 할 수 있다.
또한 AWS는 인벤토리와 구성 관리 도구들을 제공한다. 이 중 AWS Config는 AWS 자원을 파악한 후 그 자원들에 대한 변화를 추적 및 관리한다. AWS Config Rules는 새롭게 발표된 기능으로, 고객이 설정에 관한 규칙을 설정하고, 이어서 규칙에 위배되는 상황이 발생하는 경우 이를 고객에게 알리는 한 편 미리 지정해 둔 조치를 취하도록 한다. 고객은 AWS가 사전에 구축해 놓은 규칙을 사용하거나 자체적으로 규칙을 만들 수 있다.
우리는 확장 가능한 효율적인 암호화 기능을 제공하여 고객이 클라우드 상에 있는 데이터에 한 층 더 보안을 강화할 수 있도록 한다. 데이터 암호화 역량은 EBS, S3, Glacier, Oracle RDS, SQL Server RDS, Redshift 등 AWS 스토리지 및 데이터베이스 서비스에서 제공된다. AWS Key Management Service와 같은 유연한 암호화 키 관리 서비스도 제공하는데, 암호화 키를 고객이 통제하거나 AWS가 관리하도록 할 수 있다. AWS CloudHSM는 하드웨어 기반의 암호화 키 전용 스토리지로, 고객이 규제 준수 요구 사항을 충족할 수 있도록 지원한다.
따라서, 이렇게 AWS가 제공하고 있는 여러 가지 인증 및 보안 기능을 종합해 보면, 결국 더 이상 고객들이 “보안”과 “속도” 사이에서 어려운 결단을 내리지 않아도 되며, 둘 중 하나가 아니라 모두를 누릴 수 있다는 AWS 클라우드의 장점이 드러난다. AWS는 이미 지속적으로 다양한 역량을 추가함으로써 이를 오랜 기간 동안 실현시켜 왔고, 이제는 보다 많은 고객들이 과거 클라우드 상에서의 보안 상태가 온프레미스와 비교했을 때 더욱 강화되고 있다는 것을 실감하고 있다.
그렇다면 AWS 클라우드가 가져다 주는 마지막 자유는 무엇인가?
“YES”라 말할 수 있는 자유다. 기업의 규모가 커지게 되면 조직이 점점 보수적으로 바뀌고, 경영진 역시 새로운 아이디어에 대한 회의에서 “NO”라고 말하는 성향을 보이게 된다. 이것은 임원들이 위험을 기피하는 성향을 지니기 때문일 수도 있지만, 실제로는 이에 대해 “YES”라고 말할 수 있는 인프라 자원이나, 민첩성이 부족하기 때문인 경우가 많다. 임원들은 ‘이것 아니면 저것’ 이라는 선택을 강요하는 결정을 많이 내리지 않으면 안 된다.
Amazon에서 일하게 되면서 가장 마음에 드는 부분은 단지 아마존이 AWS를 통해 인프라를 확보함으로써 여러 아이디어에 대해 ‘YES”라 말할 수 있도록 해준다는 점뿐 아니라, 수 많은 아이디어에 대해 “YES”라 할 수 있어 창의적인 사람들이 이 회사를 위해 일하고자 한다. Amazon의 직원들은 기업이 “YES”라 답해 줄 것을 알기 때문에, 고객을 대신해 혁신할 수 있는 방안들을 생각한다.
스타트업 기업들의 경우는 사업 초기부터 이러한 성향을 보이는데, 왜냐하면 이들이 ‘YES’라는 말을 통해 새로운 것을 발명하지 않을 시에는 사업 자체가 존재를 하지 않게 되기 때문이다. 호텔 업계에서 Airbnb가 하고 있는 것을 보라. 아니면 Stripe가 결제 솔루션 분야에서 벌이고 있는 사업이나, 단체 메시징 분야에서 Slack이 가지고 온 변화, 소개팅 앱 부문에서 Tinder가 몰고 온 변화를 살펴 보라. 이들 분야는 혁신을 이룬 산업 분야임에도 불구하고, 오랜 동안 정체되어 있던 부분들이다.
기업들 역시 자신들도 발 빠르게 움직이지 않는다면 도태되고 만다는 사실을 깨달았다. “YES”를 포용하고 있는 기업들의 수는 매우 많다.
Qantas Airlines는 좋은 예시가 된다. 이들의 경우는 호텔 예약 웹사이트를 개설하자는 생각을 가지게 되었는데, 과거와 같은 사업 방식을 고수하는 경우, 몇 년이 걸려야만 구축할 수 있는 사업이었다. 아마 이들은 매년 “NO”라 말했을 것이다. 그러나 AWS 클라우드 덕분에 이들도 Yes라고 말하게 되었다. 그리고 이들은 원하던 새로운 웹사이트를 단 2 개월 만에 구축 완료했다. 그 결과 회사의 사업 구성이 완전히 바뀌게 되었는데, 이들이 AWS 클라우드가 제공하는 능력을 활용할 수 있게 된 덕택이었다. 아태지역에서 가장 큰 규모를 자랑하는 Singapore Post가 또 다른 예다. Singapore Post는 AWS를 기반으로 새로운 전자상거래 기반 신 사업을 단 3 개월 만에, 기존의 온프레미스에 비해 50% 저렴한 비용으로 구축해 내었다.
Ticketmaster의 CTO인 Jody Mulkey는 최근 AWS에 ‘올인’하게 된 여정에 대해 발표하며 내가 지금 전하고자 하는 말의 정수를 단 한마디로 이렇게 요약하였다. 그는, “우리 고객에게 더 나은 경험을 제공하기 위해 피와 땀과 눈물을 흘려온 우리 직원들에게 있어 (AWS는) 믿을 수 없을 정도의 자유를 선사하여, 이들은 권한을 부여 받음으로써 사이트에 대한 주인 의식을 지니게 되었다. 내가 엔지니어의 입에서 ‘이것은 나의 웹사이트다’라는 말을 처음으로 들은 것도 AWS의 덕분이다. 직원들이 사이트가 자신의 것인 듯 권한을 부여 받았다는 느낌을 얻게 되면 아주 놀라운 일이 벌어진다”고 말했다.
우리는 모두 기업에 쓸모 있는 존재가 되기를 원하고, 무언가 공헌을 하고 싶어한다. 우리들 중 상당수는 기업의 사업 혹은 고객 경험을 강화할 수 있는 아이디어를 품고 있다. 만일 이러한 아이디어를 실제로 적용하고, 자신의 생각이 옳았는지를 확인해 볼 수 있는 자유가 주어진다면 매우 흥분되는 일일 것이다. 그리고 만일 여러분의 생각이 틀렸다면, 이것을 다시 수정하고, 성공을 위해 다시 한 번 시도해 볼 수 있는 자유도 마찬가지일 것이다.
사람들은 자신의 운명을 스스로 개척하고 싶어 한다. 바로 그것이 직원들로 하여금 그들이 속한 회사를 위해 정성을 들이고, 고객의 문제를 해결하기 위해 노력하는 이유이다. 심지어 퇴근 후에도 말이다. 바로 이러한 자유가 AWS 클라우드로의 전환이 지니고 있는 진정한 의미라고 할 것이다.
[인물 소개]
앤디 재시, 아마존웹서비스 및 아마존 인프라 수석부사장(Andy Jassy, Senior Vice President, Amazon Web Services and Amazon Infrastructure)
앤디 재시 수석 부사장은 아마존웹서비스(AWS)의 대표로서 아마존닷컴(Amazon.com)의 기술 인프라 부문을 총괄하고 있다. AWS는 아마존닷컴의 자회사로, 개발자 및 기업들에게 클라우드 기반의 각종 인프라 서비스를 제공한다. AWS 클라우드 서비스는 경제성과 신뢰성, 확장성, 유연성을 갖추었으며 포괄적인 서비스 규모를 자랑한다. AWS는 지난 2006년 출범 이후 괄목할 만한 성장을 거듭해 왔으며, 스타트업부터 대기업, 공공 기관에 이르기까지 전세계 100만 이상의 고객사를 대상으로 기본 인프라를 제공하고 있다.
지난 2002년부터 아마존닷컴의 임원으로 근무해 온 재시 수석 부사장은 회사 전반의 운영 방향 수립에 관여하고 있다. 지난 1997년 입사 이래 요직을 두루 거치며, 아마존의 음악 산업 진출 사업 계획을 입안하였고, 해당 부문 제품 관리 담당 이사 및 제너럴 매니저 직을 겸직했다. 또한, 고객관계관리(CRM)팀을 구축했으며, 마케팅 담당 이사로도 재직했다. 아마존 창업주이자 CEO인 제프 베조스(Jeff Bezos)의 기술 보좌 역을 수행하기도 했다. 가장 최근에는 아마존웹서비스 사업부를 출범하고 현재까지 이끌고 있다.
앤디 재시 부사장은 하버드대학교에서 학사 학위를, 하버드경영대학원(Harvard Business School)에서 석사 학위를 취득했다.