생성형 AI의 시대, 데이터 분석가에게 중요한 것
AI와의 경쟁에서 데이터 분석가로 살아남으려면
생성형 AI의 시대가 오면서 회사에서 필요로 하는 직군별 역량에도 큰 변화가 생기고 있습니다. 과거에는 큰 회사일수록 데이터 분석 조직을 따로 두고 회사에서 필요로 하는 모든 분석 업무를 데이터 분석가들이 전담하도록 하는 경우가 많았는데요. 이제 사회는 점점 '데이터 분석의 보편화'를 향해 달려가는 것 같습니다.
이전에는 Python, SQL 등 데이터 분석을 위해 배워두어야 하는 기술이 많다 보니 데이터 분석가 직군을 별도로 두는 게 효율적이었지만, 이제는 생성형 AI가 복잡한 데이터 처리나 계산을 모두 쉽게 처리해 주니 꼭 그럴 필요가 없어졌죠. 그렇기 때문에 이제 '단순 코드만 짜는 개발자'처럼 '데이터 계산만 하는 데이터 분석가'는 점점 회사에서 설 자리를 잃게 될 것입니다.
하지만 생성형 AI가 등장하면서 데이터 분석 업무의 진입 장벽이 낮아진 만큼, 반대로 '제대로 분석할 줄 아는' 분석가는 점점 희귀해질 수 있습니다. 모두가 데이터 분석을 시도할 수 있게 된다는 건 한편으로는 분석 역량이 전체적으로 하향 평준화된다는 말일 수 있죠. 그러니 저는 생성형 AI로 '딸깍'하는 지금의 시대 흐름 속에서 오히려 시간을 들여 제대로 된 분석 역량을 쌓는 게 결국 장기적으로 살아남는 길이라고 생각합니다.
그렇다면 빠르게 변화하는 시대의 흐름 속에서 데이터 분석가는 무엇에 집중해야 할까요?
Gemini Generated1. 코딩 실력보다는 사고력
데이터 분석 분야의 가장 중요한 3대 역량이 코딩, 통계, 도메인 지식이라는 건 예전부터 유명한 말입니다. 이 중에서 생성형 AI 이전 시대에는 Python 등의 코딩 역량이 굉장히 중요했는데요. 데이터를 처리할 수 있는 기술이 없으면 아예 데이터를 건드릴 수조차 없으니 업무가 불가능했기 때문입니다. 하지만 이제는 생성형 AI에게 필요한 코드를 대신 써달라고 부탁할 수도 있고, 아예 데이터 계산을 맡길 수도 있습니다. 그렇기 때문에 저는 이제 분석 툴을 다양하게, 그리고 완벽하게 익히는 것보다는 '사고력'을 기르는 게 훨씬 중요해졌다고 생각합니다.
제가 '사고력'이라는 단어를 쓸 때 염두에 둔 건 나머지 두 개 역량인 '통계'와 '도메인 지식'인데요. 도메인 지식은 보통 해당 산업군에서 업무를 하다 보면 자연히 습득하게 되기 때문에 데이터 분석가 혹은 지망생이 개인적으로 공부를 한다고 할 때 집중해야 할 영역은 통계학이라고 생각합니다.
사실 데이터 분석을 처음 시작할 때에는 통계학의 중요성을 간과하기 쉽기 때문에 제가 이렇게 말한다고 해도 와닿지 않는 분들도 많으실 겁니다. 저도 처음 데이터 분석가가 되기 위해 공부할 때만 해도 통계학의 중요성을 몰랐으니까요. 하지만 시간이 지날수록 통계적 기본기를 갖추고 분석을 하는 것과 그냥 눈에 보이는 대로 데이터를 계산하고 해석하는 것 사이에 차이가 많이 난다는 걸 느꼈고, 그래서 이 글을 읽으시는 모든 분들께서는 통계학을 조금이나마 꼭 익히시는 편을 추천드리고 싶습니다.
특히 제가 중요하다고 생각하는 내용은 '통계적 가설 검정'과 '인과 추론'인데요. 통계적 가설 검정을 배우면 "왜 두 그룹을 비교할 때 눈앞에 보이는 단순 평균값만 비교하고 결론을 내면 안 되는지"에 대한 답을 알 수 있고, 인과 추론을 배우면 "X가 Y에게 영향을 준다는 걸 어떻게 밝힐 수 있는지"를 알 수 있습니다. 만약 이런 지식을 갖추지 않는다면 "이번 A/B 테스트 결과 A그룹의 평균이 높으니까 A그룹을 선택하자"라고 쉽게 결론을 내거나, "광고비를 많이 쓴 날에 대체로 매출도 높았다. 그러니 매출을 높이기 위해 광고비를 더 많이 쓰자"라는 단순한 결론을 내고도 이 결정에 어떤 문제가 있는지 끝내 알 수 없을 거예요.
2. 그럼에도 코딩 기본기는 여전히 필요하다
제가 위에서 사고력의 중요성에 대해 길게 강조하다 보니, "그러면 이제 Python이나 SQL 같은 건 안 배워도 되나?"라고 생각하신 분들도 계실 텐데요. 저는 그건 또 아니라고 생각합니다. 물론 예전에 비해 코드를 쓰는 능력이 훨씬 덜 중요해진 건 맞지만, 코딩 기본기를 갖추는 건 여전히 중요합니다.
그 이유는 크게 세 가지인데요. 첫 번째는 코딩을 직접 해봐야 생성형 AI에게 적절한 명령을 내릴 수 있기 때문입니다. 생성형 AI는 분명 우리의 작업 효율성에 큰 날개를 달아주는 도구가 맞지만, 그건 프롬프트를 제대로 쓸 수 있다는 전제 하에서 입니다. Python 등의 툴로 데이터 분석을 직접 해본 적 없는 분들은 생각보다 생성형 AI에게 어떤 명령을 내려야 제대로 분석을 할 수 있는지 감을 잡기가 쉽지 않아요. 한 번씩 직접 손으로 분석을 해봐야 '지금 어떤 전처리가 필요한지', '계산식을 어떻게 짜라고 해야 할지', 그리고 '어떻게 분석하고 시각화하라고 해야 할지' 알 수 있죠.
그리고 두 번째는 생성형 AI의 작업을 검증할 수 있어야 하기 때문입니다. 저도 생성형 AI를 많이 사용해 봤지만, 생성형 AI가 작성한 코드가 언제나 정확한 건 아니라고 느꼈습니다. 특히 질문이 막연할수록 생성형 AI의 작업물이 의도와 멀어질 때가 많은 것 같은데요. 예를 들어, '이탈률을 계산해 줘'와 같은 명령을 내렸을 때 '이탈률'이라는 지표의 계산식이 제 의도와 다르거나 하는 경우가 있습니다. 생성형 AI는 대부분 내부에서 Python으로 분석 코드를 짜기 때문에, 이럴 때 코딩 기본기가 있다면 '어떤 코드로 계산했는지 보여줘'와 같은 명령을 통해 계산식을 금방 확인할 수 있어서 편리합니다. 만약 작업자가 코드를 전혀 모르는 상황에서 생성형 AI에만 의존해 분석을 한다면 결과물이 의도와 다르게 나오더라도 무엇이 잘못되었는지 알아채기 어렵겠죠.
마지막 세 번째는 직접 손으로 코드를 쓰는 게 더 빠를 때도 있다는 이유인데요. 솔직히 분석가들이 자주 쓰게 되는 Python이나 SQL 기본 코드들은 생성형 AI에게 부탁하는 것보다 그 시간에 직접 쓰는 게 더 빠릅니다. 만약 간단한 SQL SELECT문조차 생성형 AI에게 써달라고 해야 한다면 작업 효율은 오히려 저해될 거예요. 그러니 생산성을 위해서라도 어느 정도의 코드는 직접 쓸 수 있는 역량을 확보해 두는 게 좋습니다.
결론적으로, 코딩 실력이 예전보다 분명 덜 중요해진 건 맞지만 여전히 기본기를 탄탄히 다지는 데에는 시간 투자가 필요하다고 할 수 있습니다. 대신 고급 수준의 코드까지 다 꼼꼼히 공부할 필요는 적어졌으니 이전에 비해 코딩 공부의 부담이 덜해진 것도 맞죠.
3. 확장성이라는 기회의 파도에 올라타기
이제까지는 '생성형 AI의 시대에서 살아남기 위해 필요한 것'을 이야기하는 데에 집중했는데, 생성형 AI의 발달이 분석가에게 꼭 위기이기만 한 건 아닙니다. 오히려 기회가 되는 부분도 있죠. 특히, 다양한 데이터를 다룰 수 있는 '확장성'을 갖추는 데에는 생성형 AI가 큰 도움이 된다고 생각합니다.
생성형 AI 없이 분석가가 혼자 모든 코드를 짜야했던 시절에는 어쩔 수 없이 한 명이 커버할 수 있는 범위에 한계가 있었습니다. 한 명이 일반적인 숫자 형태의 횡단면 데이터와 텍스트 데이터, 시계열 데이터 등을 모두 분석하게 되는 경우는 거의 없고, 웹에서 데이터를 가져올 수 있는 웹스크레이핑 역량을 갖춘 분석가도 많지는 않았죠. 하지만 생성형 AI의 시대가 오면서 누구나 더 적은 노력으로 더 많은 범위의 분석을 할 수 있게 되었습니다. 텍스트 데이터 처리 방법을 따로 공부한 적 없는 사람이라도 생성형 AI의 도움을 받으면 쉽게 텍스트 데이터에서 의미를 찾아낼 수 있고, 웹스크레이핑을 배운 적 없는 사람이라도 온라인상의 데이터를 쉽게 가져와 분석할 수 있게 되었으니까요.
그리고 정형화된 숫자 데이터만 분석할 수 있는 사람과, 회사에 없는 웹 상의 데이터를 끌어오거나 텍스트 데이터 등 다른 형태의 데이터까지 분석해 의미를 더할 수 있는 사람 사이에는 분명 창출할 수 있는 비즈니스 가치 면에서 큰 차이가 있을 겁니다. 또, 주어진 숫자 데이터만 분석할 때보다 훨씬 깊은 인사이트를 찾아낼 수 있게 될 테니 개인적인 성취감과 만족도도 높아지겠죠.
그렇기 때문에 생성형 AI는 어떤 면에서는 이전보다 더 높은 가치를 지닌 데이터 분석가가 될 수 있는 길을 열어주는 고마운 존재라고도 할 수 있습니다.
이상으로 생성형 AI의 시대에 데이터 분석가에게 중요한 게 무엇일지에 대한 제 생각을 적어보았는데요. 정리하자면, (1) 코딩 기본기를 갖추는 건 중요하지만 예전만큼 고급 코딩 실력을 갖추기 위해 노력할 필요는 없으며, (2) 축소된 코딩 공부 시간을 통계학 공부에 투자하는 걸 추천하고, (3) 다양한 데이터를 종합적으로 분석할 수 있는 확장성 있는 분석가가 되기 위해 생성형 AI를 사용하면 좋겠다는 말이었습니다.
대부분의 회사에서 데이터 분석가를 채용하는 핵심 이유는 '보다 효율적인 비즈니스 결정에 도움이 되는 인사이트를 찾기 위해서'이니, 회사에서 투자하는 비용 이상으로 더 많은 가치를 창출할 수 있는 분석가라면 시대가 변한다 해도 언제나 설 자리가 있을 거라 생각합니다. 물론 저도 여러분과 마찬가지로 이 시대가 요구하는 인재가 되기 위해 무엇이 필요한지 계속해서 깊게 고민을 해봐야 할 것 같지만요.
저를 포함한 모든 분들의 성장을 응원하며, 다음에도 좋은 글로 찾아뵙겠습니다:)