엑셀을 쓰세요
모든 데이터를 다 빅데이터처럼 갖고 놀 이유는 없다
요즘 빅데이터라는 말이 하나의 유행 혹은 기존 것과 새로운 것의 경계가 모호해진 데이터를 다루는 것의 모든 대명사처럼 쓰이는 경우가 많습니다. 기존에 해 오던 것을 '빅데이터'라는 이름만 붙여서 주목 받으려 하거나 그냥 그렇게 쓰는 것이죠. 하지만 빅데이터를 제대로 쓰기 위해서는 빅데이터가 기존에 못하던 무얼 우리 비지니스에 해 줄 수 있는 것인지 알아야 합니다. 기존에 할 수 있었는데 안 한 것을 빅데이터라는 이름으로 포장할, 혹은 정치적으로 활용할 필요는 없습니다.
1. 비지니스 인텔리전스로 충분히 할 수 있는 범위와 크기의 데이터
2. 시스템 설계의 로직이 귀납적인 데이터 분석보다는 연역적 로직 중심인 것
위에서 제시한 두 가지에 해당하면 사실 빅데이터라는 이름을 굳이 붙힐 필요가 없는 일이 많습니다. 얼마든지 엑셀을 써서 만들 수 있는 것들이죠. 사실 속도도 그렇게 느리지 않을 것입니다. 무엇보다 핵심적인 시스템 로직을 가정에 의해 상수를 쓰는 경우는 더 그렇습니다. 실컷 데이터는 외부에서 어렵게 모아서 복잡하게 마이닝을 해도 시스템의 두뇌에 해당되는 연산 과정에서 핵심적인 것이 임의로 붙인 숫자가 수식에 포함되어 쓰이면 어렵게 불러들인 데이터를 토대로 제대로 된 결과가 나오기 어려운 상황이 되는 일이 많습니다.
빅데이터라는 말을 쓰면서 안 쓰던 프로그래밍 언어를 말하고 서버를 말하면서 학부 때 배운 MIS를 여기서 활용하는구나 싶겠지만 이미 깔려 있는 시스템을 잘 활용하는 방법도 얼마든지 있습니다. 특히 사무실에서 많이 사용하는 엑셀은 저평가 받고 있는 툴입니다. 특히 위에서 언급한 두 가지 유형에 해당하면 엑셀로 프로그램을 얼마든지 만들어 실무에 잘 활용할 수 있습니다.
엑셀은 비지니스 인텔리전스가 구축되어 있는 회사에서는 이를 활용해서 프로그램을 만들기 쉽습니다. 서버에서 값을 추출해서 쓰는 것이 데이터웨어 하우스에서 가공해서 쓰는 것보다 속도는 느리지만 기본적인 원리는 비슷하기 때문입니다. 결국 데이터를 모아서 로직을 걸고 솔루션을 사용해서 유저에게 보여주는 것인데 다만 솔루션을 엑셀로 하고 로직도 엑셀에서 걸고 데이터는 한 단계 걸친 비지니스 인텔리전스를 사용한다는 차이가 있을 뿐입니다. 적은 분량의 데이터는 얼마든지 할 수 있습니다.
엑셀은 함수를 통해 프로그램을 걸면서 동시에 결과를 볼 수 있다는 장점이 있습니다. 간단한 로직을 걸어서 만들어야 하는 내용이라면 복잡하게 서버에서 작업하고 솔루션을 이용해 결과가 나올 때 까지 기다릴 필요가 없습니다. 엑셀은 많이 알기 때문에 많은 사람들이 프로그램을 알고 피드백을 해 줄 수 있다는 지식의 공유와 집단지성을 활용할 수 있는 보편적 장점도 갖고 있습니다.
엑셀은 유저에게 익숙한 디스플레이 방식을 갖고 있다는 장점이 있습니다. 비교적 저렴한 가격에 시각화 할 수 있는 유용한 솔루션입니다. 차트부터 서식까지 엑셀이 발전될수록 유저가 볼 수 있는 디스플레이 수준은 나아지고 있습니다. 간단한 프로그램을 유저가 보아 온 익숙한 방식으로 볼 수 있습니다. 엑셀에서 복잡한 것은 시스템에 구축해도 복잡한 것입니다. 엑셀에서도 얼마든지 취사선택을 해서 내용을 보여줄 수 있습니다.
엑셀은 유저가 입력해야 하는 부분을 시스템으로 구현하는 게 상대적으로 간단합니다. 특정 셀을 목록으로 만든다든지 하는 방법으로 화면을 구축하면서 유저의 입력, 유저가 입력할 수 있는 데이터의 후보를 커뮤니케이션 하는 방식이 간단합니다. 물론 간단한 데이터의 경우입니다. 실제로 솔루션에서 유저가 입력하고 그것을 관리하는 것을 만드는 것은 어려울 때가 있습니다.
물론 엑셀은 개방성이 너무 큰 프로그램이어서 애써 만든 게 왜곡될 수 있고 데이터와 로직의 삽입과 변형에 섬세하게 원안을 따르지 않으면 오류가 많이 나기도 합니다. 계산을 주 목적으로 하는 프로그램이니까 포기하는 부분이죠.
빅데이터를 쓰려면 처음부터 끝까지 빅데이터에 기초한 로직 설계와 검증, 학습의 체계를 만드는 게 중요합니다. 전에 연역적으로 만들고 임의로 만들고 고정 불변하다고 했던 것들이 과연 그런지 의문을 하는 것부터 빅데이터를 빅데이터처럼 쓸 수 있는 관점을 만들어 줍니다. 통계적 방법에 관심을 기울이면 할 수 있는 것들이 많습니다. 빅데이터를 잘 활용하는 회사와 그렇지 않은 회사는 이렇게 빅데이터를 정의하는 것부터 데이터를 어떤 시각에서 조립할 것이냐의 관점 차이가 존재합니다. 그 조립의 방향은 어디까지나 회사의 전략적 가정에 있는 것이지만요. 데이터의 활용방안과 크기와 로직이 정의되지 않은 상태에서 유행한다고 이것만 찾으면 안됩니다. 경제적 선택을 할 때 비용대비 거둘 수 있는 효과나 의도에 맞는 최적화된 방법인가를 검토하는 것이 필요합니다.
