1. Trend Savvy
2019~2020년쯤으로 기억한다. 당시 회사에서 월 1회 정도 임원회의 전 1시간 정도 특강을 진행했다. 임원들이 친분 있는 분들을 모시고 왔기 때문에 전문가 셀럽들이 강연자였다. 나는 영상을 촬영, 편집하여 직원들에게 공유하는 역할을 했기 때문에 운 좋게도 셀럽들의 특강을 직접 볼 수 있었다.
여러 강연자 중 당시 구글에서 근무 중이셨던 조용민님의 강연은 재미와 인사이트를 모두 얻을 수 있어서 특히 기억에 남았다.
당시 강연 내용은 성장을 위하여 필요한 요소들이었는데 이 중 ‘Trend Savvy’가 있었다.
새로운 기술들에 대하여 촉각을 세우고 계속 접해봐야 한다는 내용이었다.
그 예로 4K TV의 사례를 들었다. 4K TV는 우수한 기술이긴 하지만 한가지 단점이 있었는데 그것은 4K로 제작된 콘텐츠여야만 고화질로 영상을 시청할 수 있다는 것이었다. 4K로 즐길 수 있는 콘텐츠는 그렇게 많지 않았고 구매자들은 4K TV의 가치를 체감할 수 없었기에 판매도 주춤하게 되었다.
그렇게 4K TV가 아쉬운 약간의 성공으로 마무리되고 있던 중, 새로운 기술이 등장했다.
AI 업스케일링 기술이었다. 이 기술은 AI가 주변의 픽셀 정보를 통하여 패턴을 인식하고 노이즈와 저해상도 이미지를 고해상도가 될 수 있게 픽셀로 보완해주는 것이다.
이 기술 덕분에 원본 콘텐츠가 화질이 떨어져도 고해상도로 영상을 변환할 수 있게 되었고 4K TV가 본격적으로 대중화되는 데 중요한 역할을 했다.
업스케일링 기술은 4K TV를 위하여 만들어진 기술은 아니었다. 영상의 복원, 위성사진, 감시영상의 분석 등을 위하여 개발된 기술이었다. 현재 시점에서 4K TV를 이야기하면서 업스케일링을 언급하니 당연히 연상되지만 업스케일링 기술을 4K TV에 접목하는 아이디어는 쉽게 나올 수 있는 것은 아니었다.
이 기술을 4K TV에도 활용해보면 어떨까? 하는 과정은 아마 누군가가 새로운 기술이 나올 때마다 관심을 갖고 꾸준히 공부하였기 때문이었을 것이다
조용민 강연자님은 결국 중요한 것은 새로운 기술이 나올 때마다 관심을 갖고 공부하는 행위가 중요한 것이고 그것이 우리의 시야와 성과를 넓혀준다는 인사이트를 전달해줬다.
직접적인 경험이 없었기에 막연하게 그렇구나 하는 정도로 수긍하는데 그쳤다.
2. 빅데이터 교육
비슷한 시점인 2020~2021년 정도부터 회사에는 빅데이터에 대한 바람이 불었다. 정확히는 당시 대표이사님에게 빅데이터 바람이 불었다. 대표님이 빅데이터에 관심이 많아지면서 빅데이터 교육을 개발 및 운영하라고 지시하셨다. CRM팀과 HR팀이 협업하여 과정을 개발하고 운영하게 되었다. 나는 운영을 위하여 함께 교육에 참석할 수 있었고 어깨 너머로 빅데이터를 배우게 되었다.
빅데이터 교육은 각 직무의 인재를 선발하여 회귀분석, 디시젼 트리, 크롤링, 시각화, 머신러닝 등 실무교육을 받고 현안을 교육받은 내용들로 해결해보는 과정으로 진행되었다.
당시 프로젝트 결과물 중
가축사육 통계, 날씨 등의 정보를 회귀분석하여 원유 생산량을 예측하는 모델,
현재의 공장 위치, 이동거리, 인구 등의 정보를 토대로 적정 공장의 위치를 찾는 모델 등
꽤 괜찮은 결과물들이 나왔다.
그러나 교육 이후에 실제 현업에서의 활용으로 이어지지는 않았다.
먼저 데이터가 체계적으로 정리되지 않아 빅데이터 분석보다 기본적인 데이터 정의와 관리가 우선적으로 필요했다. 공장에서는 체크되는 온도들이 수기로 작성되는 경우도 있었고, 다른 직무에서도 데이터를 개인별로 다르게 정의하고 정리하기도 하고 어떤 데이터는 휘발되고 있었다.
또 데이터의 양적이 측면에서 회사에서 보유한 데이터 중 빅데이터라고 할 만한 것이 많지 않았다. 가령 HR의 데이터는 엑셀로 관리가 가능했다.
교육 중에 강사님이 이런 이야기를 하셨다. ‘엑셀 행이 백만개 넘게 저장이 된다, 데이터가 백만개 이하라면 엑셀로 분석하는 것도 나쁘지 않다.’ 이 문장은 우리가 어려운 빅데이터 공부를 회피하는 핑계로 너무나도 적당했다.
그리고 결정적으로 활용이 어려웠던 것은 112시간의 교육 정도로는 오류 없이 코딩을 완성할 수 없다는 것이었다. 코딩이라는 것은 오타 하나, 점 하나만 잘 못 찍어도 오류가 발생했다. 프로젝트 결과물들은 강사가 함께 도와주었기에(거의 다 만들어주었기에) 나올 수 있었다.
강사님들 도움없이는 코딩 한 줄 완성하기가 어려웠다.
내가 함께 만든 교육이지만 현업에 활용하기에는 시기상조인 실패한 교육이라 생각했다.
강연을 들은지 1년도 되지 않았음에도 막상 새로운 기술을 학습할 기회가 있을 때 Trend Savvy는 생각나지 않았다. 힘든 공부를 회피하기 위한 핑계들이 대단한 근거인냥 생각났다. 경영진이 외부의 멋진 우수 사례를 보고 와서 현장에 맞지 않는 옷을 억지로 입히려고 하는 듯한 반발심도 들었다.
그렇게 나는 빅데이터 교육에 대한 생각을 현업 활용 실패로 정리하고 이후 3년이 지났다.
그런데…
3. 이게 되네?
그런데… 3년이 지난 현재 시점에 빅데이터 교육에서 얻은 지식 중 일부는 활용하여 업무 중이다. 4K TV와 유사한 상황을 경험을 하면서 빅데이터 교육의 수혜를 톡톡히 누리고 있다.
우연한 계기였다. 이직한 회사에서 그동안의 인원을 거시적, 미시적으로 분석하여 향후 인원 계획을 수립하는 업무 중이었다. 거시적 관점에서 분석을 할 때, 그동안의 매출, 이익, 고객의 수, 인원 등의 데이터를 토대로 회귀분석을 해야겠다고 생각했다. 엑셀로 계산식을 만들려니까 문과출신이 나에게는 상당히 복잡하고 이게 맞는지 확신이 없었다. 데이터 교육 때 들었던 회귀분석 모델을 쓰면 편할 텐데 하는 생각이 들었다.
에휴 코딩을 어떻게 하냐, 계산식이나 잘 만들어봐야겠다 싶어서 엑셀 계산식을 공부하기 위하여 Chat-GPT에 문의를 했는데, 또잉? GPT가 코딩을 완성해주었다. 또 모델이 어느 정도 신뢰성이 있는지 알 수 있는 결정계수, RMSE 값을 알 수 있는 코드까지 함께 알려주는 것 아닌가?
코랩에 가서 바로 붙여 넣었더니 결과값이 나왔다. 코드는 한 줄 쓸 줄 모르고 회귀분석 모델을 언제 쓴다 정도만 알고 있었는데 빠르고 정확한 값을 얻을 수 있게 된 것이다.
이전 프로젝트에서 강사님들이 옆에서 코딩을 잡아주던 역할을 이제는 Chat-GPT가 해줄 수 있게 되었다.
사실 그렇다고 하여 결과물이 달라진 것은 아니다. 다만 더 빠르고 더욱 전문적인 지식을 활용하여 보고서의 근거가 탄탄하게 되었고 보고에도 자신감이 붙었다.
무엇보다도 화려한 코딩을 쓰는 듯한(복사, 붙여넣기지만) 나 자신의 멋에 취해버리고 말았다.
그 이후로는 적극적으로 코딩을 활용하기 시작했다.
비쥬얼 스튜디오 코드라는 프로그램도 접하게 되어 내부 데이터를 분석에 활용할 수 있게 되었다. 인적성검사 수치와 인재의 상관관계, PDF 파일들의 데이터 변환들도 Chat-GPT와 비쥬얼 스튜디오 코드만 있으면 간단하게 해결되었다. 정말이지 이게 되네? 였다
그리고 이제서야 과거에 실패라고 생각했던 빅데이터 교육을 돌아보았다. 물론 머신러닝, 딥러닝 같은 고급적인 스킬까지 활용할 수 있는 것은 아니다. 그렇지만 앞으로 내가 코딩을 활용 할 수 있다는 것만으로도 내가 할 수 있는 것의 범위가 훨씬 넓어졌다. 그리고 시간이 조금 더 지나서 기술이 발전하면 머신러닝, 딥러닝을 하지 못할 것도 없지 않은가?
당시 실무진끼리 투덜거리던 그 교육이 나에게는 4K TV의 AI 업스케일링 기술처럼 새롭게 진화하는 단초가 되었다. 그 성과는 3년이 지난 후 실현되었고, 우리가 예상한 방식과는 전혀 다르게 Chat-GPT가 결합하면서 탄생했다. 시간과 지식의 활용방식은 우리가 생각한 것과 달랐지만 경영진의 방향성은 옳았던 것이다.
어쩌면 교육이라는 것은 머리에 다양한 지식을 일단 집어넣고 이후 우연한 발현을 기다리는 행위일지 모른다.
Trend Savvy의 결과물은 Trend라는 단어와는 어울리지 않게 장시간의 기다림과 우연한 사건을 통하여 달달한 과실을 내놓는다.