데이터 분석에 대한 궁금증 여덟 가지 #1
With 한빛 미디어
이 글은 지난봄 한빛 미디어와의 인터뷰 기사를 옮긴 것입니다. 원문은 아래 링크에서 확인할 수 있습니다.
http://www.hanbit.co.kr/media/channel/view.html?cms_code=CMS2654159433&cate_cd=005
Q1 데이터는 컴퓨터 속에만 있나요?
A 대답은 ‘아니요’입니다. IT 공간에서 생산된 것만이 데이터가 아닙니다. 데이터는 우리 주변에 있는 모든 것을 포함하는 광의의 개념입니다. 다만 컴퓨터라는 도구가 데이터를 다루는 데 유용할 뿐인 겁니다. 세상의 모든 정보가 IT 공간으로 모이고 있습니다. 개인의 사생활까지도 분석 대상이 되는 환경이죠. 데이터를 확보하고 정리하고 활용하고 분석하는 공간으로서 컴퓨터는 현존하는 최고의 도구이자 저장공간임은 부인할 수 없습니다.
그러나 컴퓨터 없는 과거에도 데이터는 존재했습니다. 제갈량이 적벽에서 조조의 대군을 물리치는 데 공헌한 동남풍은 제갈량의 주술로 일으킨 게 아닙니다. 날씨 정보를 분석해 알아낸 자연현상이죠. 우리가 일상에서 의사결정을 위해 고민하고 생각하는 모든 과정이 데이터 분석인 것입니다.
내가 원하는 가치를 제공하는 모든 것이 바로 데이터 저장 공간입니다. 무엇인가 궁금할 때 유용한 지식을 알려주는 인터넷 역시 좋은 정보가 담긴 저장소입니다. 책은 두말하면 잔소리죠. 빅데이터 시대에 우리는 IT 공간에 너무 얽매이고 구속돼 그 속의 정보에만 집중하는 건 아닌가 하는 생각이 듭니다. 데이터 분석의 블루오션은 오히려 IT 공간 이외의 곳에 있지 않을까요?
Q2 데이터 과학자는 어떤 일을 하는 사람인가요?
A 참고로 저는 데이터 과학자가 아닙니다. 학자라는 호칭에서 오는 위화감이 싫고 역량도 안 됩니다. 굳이 데이터와 연결해 나를 소개한다면 스스로를 ‘데이터 플레이어 data player’라고 칭하고 싶습니다. 21세기 가장 섹시한 직업이라는 데이터 과학자가 어떤 사람을 지칭하는지는 솔직히 잘 모르겠습니다.
데이터 과학자가 어떤 사람인지 정확히 잘 모르지만, 이런 질문을 받으면 뛰어난 통계 분석 능력을 기반으로 적절한 알고리즘을 이용해 대용량 데이터를 분석할 능력이 있고, 새로운 가치를 창출하며 이를 유연하게 해석할 수 있는 사람이라고 말해야 할 거 같습니다.
너무 교과서적인 답변이긴 합니다. 그럼 다른 시각에서 바라보기로 합시다. 데이터 과학자의 주된 업무가 데이터 분석이라면 수리 통계는 데이터 과학자에게 절대적으로 중요한 소양입니다. 비판적 사고도 중요할 것입니다. 이 말은 호기심을 포괄하는 의미인데, 매우 중요한 덕목입니다. 결론을 정하고 데이터를 대입하는 것이 아니라 데이터를 보고 유추되는 결론을 상상하는 능력을 말합니다. 이것은 제가 반복적으로 연습하고 훈련하는 주된 역량입니다. 어떤 데이터라도 그것에 활용할 만한 가치를 연결하는 능력은 데이터 분석을 주된 직업으로 하는 사람들에게 큰 도움이 됩니다.
이러한 훈련과 습관은 창의력과도 연결됩니다. 데이터로 보는 세상은 쳇바퀴처럼 돌고 도는 현실과 많이 다릅니다. 어떤 관점으로 현상을 보느냐에 따라 데이터는 완전히 새로운 방향을 제시할 수 있습니다. 매번 반복적인 업무와 생활 습관을 가진 사람은 그것이 당연하다고 생각하지만, 데이터로 보면 이런 생각과 흐름이 잘못됐다는 것을 알 수 있습니다.
데이터를 다루는 주변 사람들을 보면 대체로 개혁적인 성향을 가진 사람이 많습니다. 모두는 아니지만 조직의 혁신과 관련된 업무에 투입되는 경우가 많은 이유일 것입니다. 의식적으로 다르게 보는 시각을 가져봅시다. 남들과 시각이 똑같다면 데이터 과학자라는 가장 섹시한 직업을 갖기에는 부족하지 않을까요? 데이터 과학자가 되고자 한다면 많은 분야의 서적을 읽고 생각의 폭과 시야를 충분히 넓히는 훈련을 게을리해서는 안 됩니다.
Q3 데이터 분석가나 데이터 과학자가 되려면 무엇을 공부해야 하나요?
A 최근 가장 많이 듣는 질문입니다. 데이터 분석을 하는데 가장 중요한 것은 수학도 통계 기법도 알고리즘도 아닌 비즈니스에 대한 이해입니다. 유통, 제조, 마케팅, 서비스 등 산업 분야의 형태를 알아야 하고, 그 회사만이 가진 특성도 이해해야 합니다. 이런 비즈니스 특성을 충분히 이해해야 분석 내용이 설득력을 얻게 됩니다.
비즈니스 이해는 데이터 분석 업무에만 필요한 것은 아닙니다. 외부 업체에 어떤 문제 해결을 요청했지만, 결과가 도무지 이해되지 않고 무용지물인 경우가 더러 있습니다. 그 이유가 무엇일까요? 아마 외부업체가 고객의 비즈니스를 충분히 이해하지 못했기 때문일 것입니다.
비즈니스를 이해하는 데는 시간이 걸릴 수밖에 없습니다. 이 시간을 줄이고 싶다면 여러 비즈니스 환경에 대해 사전에 공부하면 것이 도움이 됩니다. 유통, 제조, 마케팅, 서비스 등 우리 사회에 보편적인 산업 형태를 공부하고 관련 서적을 두루 읽는 것이 좋습니다. 이런 관점에서 독서는 정말 중요한 덕목입니다.
기초 지식을 탄탄히 하는 노력도 필요합니다. 학창 시절에 수학을 못했다고 걱정할 건 없습니다. 저 역시 수학 성적이 그리 좋지는 않았습니다. 물론 수학은 통계를 넘어 데이터 분석의 기본이며 알고리즘을 이해하는 데 필수 불가결한 요소입니다. 새로운 통계 기법이나 데이터 분석 기법을 개발하고자 한다면 아마도 엄청난 양의 수학을 다시 공부해야 할 것입니다. 하지만 세상에는 이미 수많은 분석 기법이 공개돼 있습니다. 이 기법들을 다 사용하기도 힘들뿐더러 한 가지라도 완벽하게 구사할 줄 안다면 그것으로도 충분할 것입니다.
여기서 말하는 기초는 정말 기본적인 것을 말합니다. 먼저 평균(편차, 확률)을 완벽히 이해해야 합니다. 평균이 없는 데이터 분석은 없기 때문입니다. 모든 출발은 평균에서 시작한다고 해도 과언이 아닙니다. 앞서 데이터 분석은 확률이라고 했습니다. 확률의 이해도 필수입니다. 수학적으로 접근하지 않아도 괜찮습니다. 평균과 확률에 대한 책은 많습니다. 책이 아니더라도 평균과 확률 관련 글을 검색해 읽고 이해해 봅시다. 알고리즘 공부도 소홀히 해서는 안 되겠죠.
최근 데이터 분석 분야에서 컴퓨터 전공자가 우대받는 것은 알고리즘에 대한 이해가 빠르기 때문입니다. 알고리즘에 강하면 문제 해결 능력도 함께 상승합니다. 틈틈이 챙기기 바랍니다.
데이터 분석을 공부하는 학과는 많습니다. 통계학과를 비롯해 컴퓨터공학, 경영, 경제, 산업공학, 수학, 문헌 정보 등 많은 학과에서 데이터 분석을 연구하고 공부합니다. 단지 학과마다 접근 방식이 조금 다를 뿐이죠.
SQL이 뭐죠? R은 어떻게 써요? 알고리즘을 잘못 짜요! 인공신경망 분석을 해본 적이 없어요.
그렇더라도 걱정하지 마세요. 이건 경험이고 충분한 학습과 반복으로 극복할 수 있습니다. 이보다 더 중요한 것은 어떤 경우에 어떤 기법을 써야 하는지를 아는 것입니다. 그전에 비즈니스 환경과 데이터 분석의 기본 원리를 이해하는 게 필요합니다.
마지막으로 한 가지만 더 당부하면, 사람들과의 원만한 커뮤니케이션 능력을 키우세요. 데이터는 때로 누군가에게 원치 않는 결과를 알려줍니다. 데이터가 누군가에게는 꿀처럼 달콤하지만 다른 누군가에게는 독이 될 수 있습니다. 현업에서는 이를 극복하는 능력이 어쩌면 가장 중요하다고 할 수 있습니다. 이는 저의 경험에서 나온 말입니다.
Q4 회사에 빅데이터 담당자를 채용하려고 합니다만?
A 다음은 얼마 전 만난 대학 선배와의 대화입니다.
“이번에 회사에서 빅데이터 담당자를 채용한다고 하는데 좋은 사람 있으면 추천 좀 해봐.”
“내가 하는 데이터 분석도 빅데이터의 한 분야인데, 빅데이터 담당자라면 어떤 분야를 말하는 거야?”
“분야? 너처럼 데이터 분석하는 사람 찾는 거지 뭐.”
고민 끝에 나는 선배에게 이렇게 말했습니다.
“선배, 그냥 시대 흐름이 그러니까 구색 맞추기로 채용하는 거면 포기해. 분석 잘하는 사람만 뽑지 마. 그건 아니야. 자고로 빅데이터 전문가라면 자원 관리, 기술 관리, 분석 능력 등이 두루 겸비돼야 하는데 그런 사람은 많지 않아.”
단편적인 대화지만, 이 이야기는 각 기업의 인사 담당자가 깊이 생각해 볼 문제입니다. 빅데이터 분야는 기술과 자원, 분석 인력이 적절한 조화를 이루어야 그 힘을 충분히 발휘할 수 있습니다. 그래도 굳이 담당자를 한 사람 채용해야 한다면 비즈니스 이해력이 뛰어나고 분석 결과를 올바르게 해석할 수 있는 해박한 지식이 있는 사람을 뽑는 것이 낫습니다. 그게 아니라면 그냥 훌륭한 업체 찾아서 좋은 파트너십을 유지하기 바랍니다. 단, 그들이 가진 분석 기술만큼 비즈니스에 대한 이해도 높아야겠죠.
빅데이터를 활용한 기업의 가치와 미래에 대비하기를 원한다면 충분한 투자가 뒷받침돼야 합니다. 빅데이터를 통한 기업의 가치 상승은 투자입니다. 단순히 인력만 투입한다고 기업 가치가 상승한다면 정체를 겪는 회사는 없을 것입니다. 미국의 전기 자동차 회사 테슬라의 자산가치가 GM을 넘었다는 보도(2017년 4월)가 있었습니다. GM보다 자동차를 많이 팔지 못하는 테슬라가 어떻게 GM보다 자산 가치가 더 높은 것일까요? 구글은 왜 그토록 빅데이터에 많은 투자를 하는 것일까요? 미래는 언제나 준비된 자에게 기회를 줌을 기억해야 할 것입니다.
