brunch

You can make anything
by writing

- C.S.Lewis -

by Diligitis Aug 31. 2019

다시 빅데이터

GPU로 그리는 데이터 베이스

데이터 프로세싱 변천사를 소개하는 Nvidia 상무님 © Lisay G.

 몇 년 전까지만 해도 데이터베이스 전문가들의 몸값이 상한가였을 때가 있었습니다. 기업들이 앞다투어 인재를 영입하고 개발자 전공 선호도 1순위이기도 했습니다. 그런데 블록체인과 AI 열풍이 불더니 인재 쏠림현상이 발생했습니다. 요즘 각광받는 퍼포먼스 마케팅의 기본이 데이터를 가공하는 것인데 고수들은 어디에 숨어있는 것일까요? 데이터베이스가 무엇이냐 물으신다면 무관한 듯 보이는 데이터를 손쉽게 분류할 수 있도록 태깅을 해놓은 자료입니다. 낯선 용어에 대한 개념을 잡기 어려울 때 검색을 하면 편리합니다. 내가 아는 것과 공통점과 차이점을 찾다 보면 막연하던 개념이 선명하게 다가오니까요. 데이터는 파일과 달리 검색, 추출, 입력과 정렬이 수월합니다. 하지만 아무나 접근하지 못하도록 보안 기능을 추가했습니다. 수정과 삭제가 불가능한 블록체인의 분산 원장 같은 데이터베이스도 있습니다.

 데이터베이스의 기본이라면 남녀노소 누구나 한 번씩은 사용해 본 엑셀이 있습니다. 빅데이터가 등장하면서 엑셀에 입력할 수 있는 데이터 용량을 훌쩍 넘어섭니다. 1,048,576이 행의 최대이고 XFD 열이 마지막이네요. A-Z가 26개, AA-ZZ가 676개, AAA-WZZ가 15548개, XAA-XEZ가 130개, XFA-XFD가 4개이니, 열의 최대는 16,384입니다. 셀의 최대는 1,048,576 ×16,384=17,179,869,184입니다. 커 보이지만 회계를 하다 보면 이 정도로 용량이 모자랍니다. 그래서 나온 것이 관계형 DB로 알려진 오라클이고 높은 시장점유율을 자랑하면서 가격도 억대로 연매출 10억 원 이하의 자영업자에게는 부담스럽습니다. 그래서 사용한 만큼 가격을 지불하는 클라우드형 DB가 등장했습니다. AWS, MS 등 우리가 알고 있는 글로벌 기업입니다. MySQL은 관계형 DB로 다른 시스템과도 호환이 됩니다. 그런데 sns와 더불어 관계형 DB로 처리할 수 없는 데이터가 생겨나면서 NoSQL (Not Only SQL)이라는 개념이 등장합니다. 어디선가 혜성같이 MongoDB가 등장합니다. MySQL과 호환이 되어 편리합니다. 그런데 오라클이 MySQL을 인수해버리면서 독점 체재로 되돌아갑니다. 결국 MySQL의 창립자가 오픈소스 기반의 MariaDB를 다시 만듭니다. MySQL과 완벽하게 호환되고 로고를 보면 돌고래와 물개가 묘하게 거울 대칭으로 닮았습니다.

 역사의 변증법과 같습니다. 인상주의에 반대해 후기 인상주의가 일어나듯 모더니즘이 지루해지며 등장한 것이 포스트 모더니즘입니다. 우리의 하루하루 삶이 역사와 무관한 듯싶지만 한 세대를 지나 보면 패턴이 반복되는 모습이 눈에 들어오기 시작합니다. 한 달 남짓 삶을 사는 초파리에게 일 년 사계절의 변화가 낯설듯, 직접 겪어보지 못한 사람들에게 역사는 픽션에 불과할 수 있습니다. '아는 것이 힘'이라는 대명제는 당신만의 착각일 수 있습니다. 무언가에 대해 제대로 안다는 것은 학위도 업력도 아닙니다. 지식으로만 알고 실천을 못한다면 진정 무언가를 안다고 할 수 없으며, 오래 살았다고 모든 사람이 존경받는 아닙니다. 코딩을 하면서 데이터베이스에 대해서 기본은 안다고 생각했는데, 부끄럽게도 제대로 된 아키텍처 하나 구축할 수 없었습니다. 연암 박지원은 <허생전>에서 말합니다. "도대체 글만 읽으면 밥이 나옵니까? 쌀이 나옵니까?" 예나 지금이나 사농공상의 선비정신을 숭상하는 한국에서 MBA와 박사 학위를 위한 공부는 자기만족일 수 있습니다. 새로운 것을 배우는 것이 즐거워 결과물을 냈지만 사브작 거리에 불과했습니다. 페이스북 같은 제국 하나 만들지 못했으니까요. 그래도 다행인 것은 꿈이 있고 세상에 대한 호기심 가득하며 창의적인 사람들과 소통을 즐깁니다.

 영원한 제국은 없습니다. CPU 성능이 중요했던 시대는 가고 AI가 부상하면서 GPU가 중심에 등장하였습니다. 빅데이터는 더 이상 관계형 표로 저장하고 꺼내 쓰기가 어려워졌습니다. 마인드맵을 그리거나 친구의 친구가 당신을 보여주는 시대가 되었기 때문이죠. 10년 전 등장했던 비트코인은 반감기를 맞으며 화폐로서의 기능은 분리하고 스마트 컨트랙트를 민주주의와 기본 소득이라는 하이퍼 레저로 활용하기에 이릅니다. 매일 로그인하면 받을 수 있는 포인트부터 당신의 모든 행동이 데이터를 생성합니다. 어디에 가고, 무엇을 사고, 무엇을 먹는지 등 하루하루 데이터가 쌓이고 이를 가공하면 거국적인 정책이 나올 수 있습니다. 과거에는 책을 통해 지식이 전파되었지만 이제는 뉴 미디어와 기술로 데이터를 읽어낼 수 있어야 미래를 예측하고 인사이트를 얻습니다. 세상이 바뀌었는데 엑셀을 못한다고 청년을 괴롭히는 꼰대를 마주할 때면 청년들의 피땀 눈물이 아깝게 느껴지는 것은 혼자만의 착각이 아니겠지요. © Lisay G.

이전 14화 마르쉘 뒤샹과의 조우
brunch book

현재 글은 이 브런치북에
소속되어 있습니다.

인생은 한 편의 멋진 게임일 뿐

매거진 선택

키워드 선택 0 / 3 0
브런치는 최신 브라우저에 최적화 되어있습니다. IE chrome safari
;