회사에서의 빅데이터 vs 학교에서의 빅데이터
1) 주어진 시스템에 적응하기
회사에서의 빅데이터 vs 학교에서의 빅데이터
최근 많은 대학교들이 빅데이터, 데이터 사이언스, 데이터 분석, 인공지능 등의 이름을 내걸고 학과를 창설해나가고 있습니다. 그에 따라 많은 학생들이 데이터 사이언스에 관련된 지식을 학교에서부터 배워나가고 있습니다. 이러한 추세는 비단 학교뿐 아니라 산업에서도 마찬가지입니다. 정말 많은 회사들이 이제는 빅데이터, 데이터 사이언스, 인공지능 인재 끌어모으기에 집중하고 있으며, 조직 안에서도 연관된 부서들을 지속적으로 만들어나가고 있습니다. 데이터 사이언스 인재를 집중적으로 육성하고 이를 활용하고자 하는 움직임은 학교와 산업을 가리지 않는다고 볼 수 있습니다.
하지만 실제로 학교에서 데이터 사이언스를 공부하던 학생들이 관련된 직종에 종사하게 되고 업무를 맡으면 생각보다 놀랄 수 있습니다. 학교에서 다루던 빅데이터와 직장에서 다루는 빅데이터가 다소 다른 성격을 지니고 있기 때문입니다. 최근 산학협력 등 학교와 산업 간의 연계를 매우 강조하고 있는 추세이기는 하지만 이 둘의 성격이 근본적으로 다름은 분명 무시할 수 없는 부분입니다. 이번 회사에서의 빅데이터 vs 학교에서의 빅데이터에서는 학교와 회사에서 빅데이터를 다루는데 구체적으로 어떤 차이가 있는지를 살펴보도록 하겠습니다. 그 첫 번째로는 회사에서 빅데이터를 다룰 때 중요한 특징에 대해 먼저 알아보겠습니다.
회사 시스템 안에서 데이터를 분석한다.
학교와는 차별적인, 회사에서 빅데이터를 다루는데 가장 큰 특징이라고 한다면 단연코 회사 시스템 안에서 데이터를 분석해야 한다는 점을 들 수 있습니다. 많은 회사들은, 특히 대기업이라고 불리는 회사들은 대부분 사내 시스템을 구축하고 있습니다. 이는 데이터 사이언스뿐 아니라 일반적인 회사의 특징이라고 볼 수 있습니다. 이렇듯 사내 시스템을 이용하는 것은 보안이나 편리성을 위해 불가피한 것으로 직장인들은 모든 업무를 사내 시스템 안에서 해결하곤 합니다. 그리고 데이터 사이언스 분야 역시 마찬가지입니다. 회사 안에서 독립적인 PC 환경을 사용하는 것이 아예 불가능한 것은 아니지만 기본적으로는 모든 일을 사내 시스템 안에서 처리해야 합니다.
사내 시스템을 이용하는 것의 의미
단순히 생각했을 때, 데이터 사이언스 분야에 종사를 원하는 학생들이 왜 사내 시스템에 대해 불편함을 느낄 수 있는지 의문을 가질 수도 있습니다. 비단 데이터 사이언스 분야뿐 아니라 모든 직장인들이 처음 입사를 하면 공통적으로 사내 시스템에 적응하는 시간을 가져야 하기 때문입니다. 하지만 데이터를 다루는 사람에게 새로운 시스템을 사용해야 한다는 것은 매우 치명적으로 작용할 수 있습니다. 데이터를 조작하고 분석하는 모든 업무는 반드시 프로그래밍 시스템을 이용해야 합니다. 이때 사내 시스템이라는 제한이 생겨버리면 새롭게 사용해야 하는 시스템 자체가 원래 익숙한 방식과 다를 수 있습니다.
단적인 예를 들면, 대부분의 회사는 사내 데이터 베이스 시스템을 보유하고 있습니다. 흔히 하둡, 맵리듀스라고 부르는 데이터 베이스 관련 시스템은 학생 입장에서 겪어보기 힘든 시스템입니다. 학생이 독자적인 데이터를 확보하고 있을 일이 없기 때문입니다. 그래서 갓 졸업을 한 학생은 이 시스템에 접근하여 데이터를 추출하는 방식부터 배워야 합니다. 이 과정에서 원래는 잘 쓰지 않던 SQL과 같은 언어도 새롭게 학습해야 할 수도 있습니다. 항상 데이터 분석을 연습할 때면 CSV나 엑셀 파일을 다운로드하여 이를 본인의 노트북에서 자유롭게 분석하던 환경과는 많은 차이점이 있습니다.
사내 시스템이 가져다주는 한계점
물론 데이터 베이스 시스템이 존재하고 이에 접근하는 방법을 배우는 것은 무조건 나쁘다고만은 볼 수 없습니다. 이는 실제 현장에서의 빅데이터를 다루기 위해서는 반드시 필요한 영역 중 하나입니다. 하지만 사내 시스템을 이용해야 하기 때문에 겪게 되는 분명히 나쁜 측면들이 존재하기도 합니다. 그 대표적인 예가 외부 모델을 자연스럽게 불러오는 것이 어렵다는 점입니다. 학생 신분이라면 오픈소스로 공유된 데이터나 모델을 자유롭게 다운로드하여 사용할 수 있습니다. 하지만 회사에서 이를 사용하는 것은 이야기가 다릅니다. 모델 배포자가 상업적 목적의 이용을 금지했을 수도 있으며, 사내 시스템이 외부 웹 시스템과 연동이 불가능한 구조라면 애초에 자유롭게 모델을 다운로드하고 이용하는 것에 큰 제한이 따릅니다.
이는 특히 최근 많은 인기를 끌고 있는 인공지능 모델을 사용할 때 치명적일 수 있습니다. 대부분의 최근 알고리즘은 Github과 같은 공유 플랫폼을 통해 모델이 공유되고 있는데 사내 시스템에 따라서 아예 해당 플랫폼과 연결이 불가능한 경우도 있습니다. 그리고 비단 사내 시스템을 이용한다는 것의 한계는 외부 모델이나 데이터 이용에만 제한되어 있지는 않습니다. 가끔씩은 주어진 하드웨어 장치로만 일을 하는 것 역시 매우 큰 제한이 될 수 있습니다. 데이터 양이 방대하거나 복잡한 인공지능 모델을 사용할 때면 가급적 좋은 하드웨어 자원을 사용하는 것이 좋습니다. 하지만 아직 많은 회사들이 관련 기반이 부족한 경우가 많은 것이 사실이며, 학생이라면 간단히 외부 클라우드 시스템을 이용해 해결할 것도 이용하지 못하는 상황이 발생합니다.
(https://brunch.co.kr/@8d1b089f514b4d5/9)
사내 시스템을 보완하기 위해 생각해보아야 할 것
데이터베이스 및 SQL에 대한 공부
이렇듯 사내 시스템을 이용하다 보면 자연스레 많은 문제점에 부딪히게 됩니다. 하지만 이 모든 문제점들을 해결 불가능한 난제라고 할 수는 없습니다. 사회 초년생으로의 활동을 시작하게 될 학생이나 그런 학생들을 새로운 조직원으로 받아들일 회사나 모두 분명히 이를 대비할 방법이 있습니다. 학생 입장에서 사내 시스템에 대비하는 대표적인 방법은 바로 데이터베이스와 SQL에 대한 지속적인 학습을 하는 것입니다. 학생들이 데이터베이스에 대한 이해도가 높지 않거나 SQL에 익숙지 않은 것은 이를 가르쳐 주는 곳이 없기 때문이 아닙니다. 아무래도 실제로 데이터베이스를 경험할 일이 없다 보니 자연스럽게 숙련도가 떨어진다고 보는 것이 맞습니다.
이때 학생이 의도적으로 데이터베이스 및 SQL에 대한 공부를 진행한다면 추후 회사 생활에 적응해나가는 데 있어 큰 도움이 될 수 있습니다. 사실 파이썬, R 등 각종 프로그래밍 언어에 익숙해져 있는 학생이라면 이를 공부하는 것에 그리 큰 시간이 들지도 않습니다. 단언컨대, 데이터 사이언스를 공부한 학생이라면 금방 해당 내용에 적응을 할 수 있습니다. 이를 위해 강의를 들어도 좋고, 개인 PC에 데이터베이스를 구축하여 연습을 하는 것도 좋고, 관련 자격증을 취득하는 것도 좋습니다. 해당 공부에 대한 필요성을 인식하고 이와 관련한 노력을 이어나가는 것이 바로 학생 입장에서 가장 중요한 점입니다.
각종 클라우드 시스템 이용
추가적으로 회사 입장에서도 단순히 새로운 입사자들이 적응을 하기를 바라기만 하는 것은 바람직하지 않습니다. 원활한 조직에 대한 적응과 더 효율적인 업무 생산성을 위해 회사 입장에서도 많은 노력을 기울여야 합니다. 그리고 회사 입장에서의 노력의 일환으로 대표적인 것이 바로 각종 클라우드 시스템을 적용하는 것입니다. 사실 클라우드 시스템이라는 것은 과거 회사가 아닌 개인이 사용하는 대표적인 제품 중 하나였습니다. 좋은 하드웨어를 보유하기 힘든 학생이나 일반 개인이 간단하면서도 편리하게 좋은 시스템을 빌려 사용할 수 있기 때문입니다. 하지만 최근에는 많은 회사들 역시 데이터 사이언스 발전을 위해 클라우드 시스템을 도입하고 있습니다. 이는 분명 다양한 측면에서 장점을 가져다줄 수 있습니다.
그 대표적인 예로 클라우드 시스템을 이용하며 데이터 시스템을 유지하고 관리하는데 드는 비용을 절감시키거나, 실제 공간 측면에서도 장점을 가져다줍니다. 하지만 클라우드 시스템을 도입하는 것은 그 이상의 의미를 지니고 있습니다. 바로 신규 입사자와 같이 새로운 구성원이 들어왔을 때 데이터 시스템에 적응하는 시간을 단축시킬 수 있다는 점입니다. 이는 최근 대부분의 학생들이 클라우드 시스템을 이용하는데서 그 원인이 비롯됩니다. 많은 학생들이 개인 PC 구비에 제한을 느끼고 구글이나 아마존 등의 업체에서 제공하는 클라우드 시스템을 이용하고 있습니다. 그리고 이 시스템은 개인이 이용하던 회사가 이용하던 UI나 프로그래밍 언어 차원에서 큰 차이를 보이지 않고 있습니다. 이는 사내 시스템에 적응을 어려워하는 학생들에게는 큰 도움이 될 수 있는 영역입니다.
로마에 가면 로마법을 따라야 한다?
로마에 가면 로마법을 따라야 한다는 격언이 있습니다. 로마를 회사로 로마에 가는 사람을 사회초년생이라 비유한다면 분명 맞는 말입니다. 만약 본인이 분석하던 환경과 회사의 시스템이 다른 점이 있다고 하더라도 이는 분명히 그 학생이 노력을 동반해 극복해야 할 문제입니다. 하지만 그 로마법이란 것이 기본적으로 악법이 아닌지 역시도 잘 고민해보아야 합니다. 회사 입장에서는 이 법(시스템)을 유지한다고 할 때 그것이 새롭게 유입되는 구성원에게 불편함을 유발하지는 않을지 고민해보고 만약 그렇다면 과감히 바꿀 줄도 알아야 합니다. 다음 회사에서의 빅데이터 vs 학교에서의 빅데이터 2편에서는 회사에서의 데이터 사이언스의 또 다른 법에 대해서 알아보도록 하겠습니다.
