빅데이터 공부하려면 수학잘해야 돼?
빅데이터와 수학, 통계학
이 세상에 존재하는 대부분의 데이터는 숫자 형태이다. 이미지나 텍스트처럼 숫자 형식이 아닌 데이터 역시 그 양은 굉장히 방대하지만 결국 우리가 분석을 할 때는 해당 데이터를 결국 숫자의 집합 형태로 변환을 해준다. 그래서 빅데이터를 다루거나 인공지능을 구현함에 있어서 숫자와 친해지는 것은 매우 중요한 부분 중에 하나이다. 이렇게 빅데이터와 숫자의 연관성이 어느 정도 있다 보니 처음 빅데이터를 공부하는 사람 입장에서는 숫자를 다루는 데 있어서 자연스러운 고민을 하게 된다.
나 문과 출신인데, 빅데이터 공부하려면 수학 잘해야 하나?
데이터 분석과 인공지능이 워낙에 많은 인기를 끌고 있다 보니 그동안 숫자를 다루는 것에 익숙하지 않은 사람들 역시 공부를 시작하려는 경우가 많다. 여기서 말하는 숫자를 다루는 것에 익숙하지 않은 것은 곧 수학을 잘하지 못한다는 걸 의미한다. 특히 고등학교와 대학교에서 인문계열 관련 전공을 한 사람이 수학에 있어 많은 콤플렉스를 가지기 마련이다. 나는 문과 출신인데 빅데이터 공부하려면 수학은 필요해 보이고.. 나도 할 수 있을까?라는 고민부터 시작해서 심지어 문과 출신이 아니더라도 수학을 해 본 지 오래된 사람이라면 같은 고민을 할 수 있다.
세부 분야에 따라서 수학의 필요성이 달라집니다.
하지만 데이터 분석을 한다고 모두 다 수학을 잘해야 하는 것은 아니다. 우리는 빅데이터와 인공지능을 뭉뚱그려서 이 분야를 공부하고 싶다곤 말은 하지만 사실 데이터 분석과 인공지능 분야 안에도 굉장히 많은 영역이 있다. 데이터 분석 전략을 짜거나 기획을 하는 것, 데이터 수집 및 관리에 초점을 맞추는 것, 통계적 분석 자체에 집중하는 것, 시각화를 통해 데이터에서 인사이트를 뽑고자 하는 것, 머신러닝을 통한 예측 분석을 진행하고자 하는 것 등 일일이 나열하자면 끝도 없이 나올 수 있다.
그리고 우리의 일반적인 생각과는 달리 이 분야 중 대부분이 수학적 능력을 직접적으로 요구하지는 않는다. 물론 가장 밑바탕의 대전제로 수학을 잘하면 어떤 분석을 하던 배움에 있어 유리하게 작용할 수 있다. 하지만 수학을 못한다고 할지라도 데이터 분석 분야를 아예 도전하면 안되는 수준은 아니다. 수학적으로 이해하지 못하더라도 그 원리 자체를 이미지화해서 이해하고 활용하는 경우도 매우 많다. 물론 어떤 분야에 있어서는 수학이 가히 필수라고 말을 할 수 있기에 이번 시간에는 분석에 다소 구분을 지어 이야기를 해보려고 한다.
인공지능을 구현하는 경우가 아니라면 사실 수학보단 통계학이 더 필요합니다.
먼저, 인공지능 분야를 콕 집어서 제외하고 난 이후에 빅데이터 분야를 생각하면 사실 수학이 그렇게 필수적이지 않다. 앞서 말한 분석의 사례 중 데이터 분석 전략을 짜거나 기획을 하는 것, 데이터 수집 및 관리에 초점을 맞추는 것, 통계적 분석 자체에 집중하는 것, 시각화를 통해 데이터에서 인사이트를 뽑고자 하는 것 등이 이에 해당한다. 물론 이러한 분야 역시 아무래도 데이터를 만지는 것이기 때문에 수학은 어느 정도 피할 수 있으나 숫자는 절대 피할 수 없다.
이렇게 서술적 수준의 분석을 할 때 숫자를 다룸에 있어서는 사실 수학보다는 통계학 개념을 더 잘 알고 있어야 한다. 수학은 필수가 아니라고 어찌어찌 말해볼 수 있겠지만 통계학은 필수다. 물론 통계학과 수학이 아예 구분지어서 설명할 수 있는 개념들은 아니다. 그래도 우리가 흔히 수학하면 떠오르는 각종 기호들이나 미적분 등의 개념은 상대적으로 서술적 분석을 할 때 필요성이 줄어든다. 그리고 통계학은 꼭 앞서 언급한 분야가 아니더라도 빅데이터와 인공지능을 다루는 대부분의 영역에서 등장한다. 만약 본인이 통계학을 정말 싫어하고 공부를 하고 싶은 생각이 하나도 없다면 그때는 빅데이터 공부를 시도하지 않는 것이 맞다.
머신러닝, 딥러닝, AI 분야에서는 수학에 대한 이해가 중요한 역량입니다.
다음으로 수학에 대한 이해가 정말 중요하게 작동하는 분야가 있다. 머신러닝, 딥러닝을 필두로 하여 AI 분야에서는 사실 수학에 대한 이해가 매우 중요하다. 이전까지 설명했던 분야는 모두 데이터에 직접적으로 수학적 처리를 하는 경우가 드물다. 해봤자 데이터에 로그를 씌우거나 지수 함수를 덧씌우는 정도다. 하지만 인공지능 분야에서는 데이터를 처리하는 방식이 조금 다르다. 가지고 있는 숫자 데이터를 그대로 통계적 분석 기법 안에 집어넣는 것이 아니라 무언가 수학적인 처리를 해주는 경우가 많다.
그래서 인공지능 분야를 공부함에 있어서 수학적 역량은 상당히 중요한 부분 중에 하나이다. 주어진 데이터를 벡터라는 개념으로 변환하거나 행렬, 텐서의 개념으로 이해할 줄 아는 것, 그리고 그렇게 변환된 데이터를 다시 재가공할 줄 아는 역량이 매우 중요하기 때문이다. 이때 일반적인 문과 출신 사람들이 한 번에 이해하기는 힘든 정도로 수학적인 개념이 자주 등장한다. AI 전문가라고 불리는 사람들 중에 수학과 관련된 박사 학위를 받은 사람들이 생각보다 더러 보이는 이유다.
수학이 필요할 경우 선형대수학, 미적분 정도가 많이 요구됩니다.
그렇다고 인공지능 분야에 관심 있는 사람이 수학의 전반적인 모든 부분을 수학자 수준으로 이해할 필요는 없다. 수학 안에서도 인공지능 구현을 위해 자주 사용되는 개념이 따로 존재한다. 일반적으로 선형대수학과 미적분이 AI에 있어 중요한 수학적인 역량으로 뽑힌다. 선형대수학과 미적분 정도를 잘 알고 있으면 사실 수학에 대해서 굳이 스트레스를 받을 필요는 없다. 물론 확률, 통계 분야 역시 엄밀히 따지면 수학의 한 분야이기 때문에 이 부분도 추가적으로 공부가 필요하기는 하다.
한 가지 아쉬운 점은 교육과정이 바뀌어 감에 있어서 요즘 대학에 입학하는 학생들은 선형대수학에 대해 잘 모른다는 점이다. 개인적으로 행과 열로 데이터 즉, 숫자를 나누어 이해하는 행렬 개념을 안 배운다는 것에 많은 충격을 받았다. 선형대수학에 있어 가장 기본이 되는 것이 행렬 개념이고 사실 그렇게 어려운 내용도 아닌데 아쉬울 따름이다. 그래도 최근 문과 학생들이 미적분의 기본 개념 정도는 고등학교에서 배운다는 점은 다행이라고 생각한다. 교육과정마다 수학을 새로 공부함에 있어 다소 유불리가 존재하는 듯하다.
코딩과 마찬가지로 수학도 내가 못 넘는 산이라고 생각하지는 마세요!
앞서 빅데이터를 공부함에 있어 코딩을 반드시 잘 알아야 하는가에 대한 문제로 글을 쓴 적이 있다. (https://brunch.co.kr/@8d1b089f514b4d5/4) 이번 시간에도 그때와 유사한 결론을 말하고 싶다. 분야를 나누어서 따져보면 생각보다 수학이 요구되지 않는 경우도 많고 수학이 필요하다 할지라도 드넓은 수학의 모든 분야를 다 잘 알고 있을 필요는 없다. 사실 이 글을 쓰는 나 역시도 문과 출신에 수학에 있어서는 자신감이 높지 않다. 그래도 수학을 공부하는 것이 불가능하다 내지는 나는 절대 수학을 공부하지 않을 거야 라는 생각을 하고 있지는 않다. 노력이 전제된다면 충분히 정복 가능한 영역이라고 보고 있다.
