진짜 데이터 과학자라면 겪는 고충 ③ 大失所望
대실소망 - 바라던 것이 아주 허사가 되어 크게 실망함
[이전 글]
https://brunch.co.kr/@8d1b089f514b4d5/73
https://brunch.co.kr/@8d1b089f514b4d5/74
진짜 데이터 과학자라면 겪는 고충
지난 진짜 데이터 과학자라면 겪는 고충 2편에서는 천변만화, 끝없이 변하는 데이터 과학 트렌드를 뒤따라 가야 하는 데이터 과학자의 고충을 이야기했습니다. 데이터 과학자가 되기 위해서는 다양한 역량을 확보하기 위해 열심히 공부해야 하고 데이터 과학자가 되고 나서는 트렌드에 뒤처지기 않기 위해 열심히 공부해야 합니다. 하지만 비단 데이터 과학자의 고충은 기술적인 측면이나 학습을 꾸준히 해야 하는 것에만 있는 것은 아닙니다. 때로는 빅데이터/인공지능 분야가 너무도 사람들의 기대를 많이 받고 있고 동시에 사람들이 어려워하기 때문에 겪게 되는 고충도 있습니다.
그로 인해 데이터 과학자가 겪게 되는 고충의 대표적인 사례로 빅데이터 기술을 통해 너무도 터무니없는 목표를 이루길 바라는 경우가 많다는 점입니다. 빅데이터와 인공지능 기술이 무서운 속도로 발전하고 있는 것과 그로 인해 다양한 활용사례가 생기고 있는 것은 부정할 수 없는 사실입니다. 하지만 빅데이터와 인공지능 기술에도 한계는 존재합니다. 하지만 때때로 사람들은 이것을 망각한 채 데이터 과학자에게 실현 불가능한 요구를 하곤 합니다. 그리고 그 요구가 실패로 돌아간다면 큰 허탈함이나 실망감을 가지기도 합니다. 대실소망, 바라던 것이 아주 허사가 되어 크게 실망한다는 의미입니다. 이는 데이터 과학자가 조직 내에서 타인에게 되돌려주는 가장 흔한 감정 중 하나입니다.
빅데이터 기술은 만능이 아닙니다.
빅데이터 기술은 만능이 아닙니다. 이는 명백한 사실입니다. 하지만 때때로 데이터 과학 분야를 과하게 홍보하고 싶어 하는 사람들은 빅데이터 기술만 사용한다면 못 이룰 것이 없는 것처럼 말하곤 합니다. 그리고 이렇게 과하게 빅데이터 기술의 효용을 광고한다면, 그 부담감은 오롯이 데이터 과학자가 떠맡아야 합니다. 결국 데이터 과학자의 입장에서 생각하면, 사람들이 빅데이터 기술을 완전한 존재로 이야기하고 있고 그 말에 휘둘린 사람들은 다시 터무니없는 목표를 빅데이터 기술을 통해 이루기를 바랍니다. 결국 데이터 과학자는 '이건 불가능합니다'라는 말만 반복할 수밖에 없으며 이는 커다란 기대감을 실망감으로 되돌려주는 형태가 되곤 합니다.
You must do what I don't know how to do
특정 조직에서 데이터 과학자의 직책을 맡고 있다면 여러 데이터 문제에 대한 해결을 요구받곤 합니다. 그리고 해당 데이터 과학자에게 요구되는 업무는 비단 데이터로 인해 발생한 문제만 있는 것은 아닙니다. 때로는 비즈니스적으로 매우 중요한 과제가 있고 이것을 보유한 데이터와 빅데이터 기술로 해결하기를 바라는 경우도 꽤나 흔하게 볼 수 있습니다. '상품 판매량이 줄어들고 있는데 이를 상승시킬 방안을 마련해라', '회사 이미지가 안좋아지고 있는데 이를 극복할 방안을 데이터로 살펴보아라', '광고 메시지만 보내면 바로 고객이 구매할 것 같은 상품을 추려내라' 등 이러한 예시는 얼마든지 상상해낼 수 있습니다.
하지만 데이터 과학자에게 이러한 문제가 난감한 이유는 바로 무엇(What)을 할지는 정해져 있지만 이를 어떻게(How) 할지는 그 누구도 모른 채 데이터 분석을 요구받기 때문입니다. 이 때문에 데이터 과학자는 얼마나 어려운 과제를 요구받던 그 해결방안을 스스로 탐색해내야 합니다. 물론 데이터 과학자가 스스로 문제 해결 방안을 찾아내는 경우도 많습니다. 하지만 '고객별로 무조건 구매할 상품 추리기'와 같이 애초에 불가능한 목표를 제시받는 경우도 꽤나 많습니다. 이때에 데이터 과학자가 할 수 있는 말은 불가능하다는 말 하나뿐입니다. 다시 한번 말하지만 빅데이터 기술은 절대적이지 않습니다. 기술이 모든 것을 해결해줄 수는 없습니다.
광팔이의 최대 희생양인 빅데이터
회사 내에서 스스로 진행한 업무에 대해 '이 업무는 잘 되었으며, 앞으로 이를 활용해 많은 효과를 기대할 수 있을 것'과 같이 홍보해주는 것을 흔히들 광을 판다고 표현하곤 합니다. 그리고 대개의 경우, 빅데이터는 광팔이의 최대 희생양이 되곤 합니다. 트렌디한 기술을 사용한다는 것 그 자체로 광팔이하기 쉬운 성격을 띠고 있기 때문입니다. 사람들은 빅데이터를 이용하여 비즈니스 내 중요한 문제의 실마리를 찾은 것처럼 이야기하며, 또 이를 대내외적으로 열심히 홍보합니다. 결국 데이터 과학자라면 찝찝한 상태로 문제를 해결하고 마치 그 업무가 우수한 일을 해낸 것 마냥 광고되는 것을 지켜보고만 있어야 합니다.
이렇게 빅데이터 기술이 광팔이의 희생양이 되는 것은 지독한 악순환의 시발점이 되곤 합니다. 빅데이터 기술로 광을 파는 현상은 여러 회사, 학교에 걸쳐 전반적으로 퍼져있기 때문입니다. 만약 특정 조직에서 마치 불가능으로 여겨졌던 일을 빅데이터를 통해 해결했다고 광을 팔기 시작하면 이 소식이 널리 퍼지는 것은 순식간입니다. 그러면 다시 다른 조직의 사람들은 우리도 또 다른 불가능한 일을 빅데이터로 해결해보고자 말을 하곤 합니다. 다른 곳에서도 했으니 우리 데이터 과학자도 못할 것이 없다는 믿음이 있기 때문입니다. 물론 이 과정에서 다른 조직의 빅데이터 성과에 과장성 광팔이가 껴있을 것은 철저히 무시하고 생각을 합니다.
인공지능 기술의 역설
인공지능 모델은 그 원리만 알면 따라 하는 것이 가능하다.
다른 사람들에게 많은 기대감을 가지게 하고 그것이 이루어지지 않아 실망감을 안겨다 주어야 하는 것은 비단 빅데이터 분야에만 일어나는 것은 아닙니다. 이는 인공지능 분야에서 어찌 보면 더욱 흔하게 일어나고 있는 일입니다. 빅데이터와 인공지능 분야를 단적으로 비교했을 때 일반 사람들은 인공지능에 대하여 더욱 지식이 부족할 수밖에 없습니다. 인공지능 알고리즘을 이해하는 것이 너무도 어렵기 때문입니다. 그래도 데이터만을 활용해 문제를 해결할 수 있는 과제라면, 데이터 과학자가 아닌 사람이 무슨 데이터에서 어떤 정보를 추출해 어디에 활용하면 될지 도움을 제시해주는 경우도 많습니다. 하지만 인공지능 기술은 사람들이 그 알고리즘에 대한 이해도가 낮기 때문에 더더욱 방법(How)은 모른 채 필요한 것(What)만을 제시하는 경우가 많습니다.
그리고 인공지능 알고리즘의 특성상 다른 조직에서 만든 인공지능의 원리만 알고 있다면 그 조직이 아닌 다른 집단에서도 유사한 인공지능을 만들어내는 것이 마냥 불가능한 일은 아닙니다. 어떤 집단이든 최근 유행하고 있는 인공지능 알고리즘을 사용했을 확률이 높고 해당 알고리즘의 작동 프로세스는 어느 정도 정해져 있기 때문입니다. 실제로 특정 집단에서 만든 인공지능과 유사한 기능을 수행하는 인공지능을 다른 집단에서 만든 것을 보는 것은 그리 어려운 일이 아닙니다. 그래서 사람들은 빅데이터 분야에서와 마찬가지로 인공지능에 있어서도 비슷한 결론을 가져가곤 합니다. 다른 조직에선 만들었다는데 우리도 인공지능 모델을 새로 충분히 만들 수 있지 않을까? 의 내용입니다.
인공지능 모델은 PC 환경과 빅데이터가 반드시 뒷받침되어야 한다.
하지만 아쉽게도 인공지능 모델의 원리만 이해한다고 그 모든 것을 따라 할 수 있는 것은 아닙니다. 인공지능 모델을 실제로 생성해내기 위해서는 너무도 중요한 두 가지 자원이 필요합니다. 바로 PC 환경과 빅데이터입니다. 인공지능 모델을 만드는 데 좋은 PC 환경이 필요한 것은 추가적인 설명이 필요한 것도 아닙니다. 대용량의 데이터를 매우 고도화된 인공지능 모델을 통해 학습시킨다면 수많은 연산양을 동시에 처리할 수 있는 PC 환경이 반드시 갖추어져야 합니다. PC 환경이 갖추어지지 않으면 애초에 프로그래밍 자체가 불가능합니다. 그리고 아쉽게도 아직까지 어떤 인공지능이든 구축할 수 있는 충분한 조건의 PC를 갖춘 조직은 소수에 불과합니다.
다만, 인공지능 모델을 만들어내는 데 PC보다 더욱 중요한 것이 있습니다. 바로 빅데이터의 확보입니다. 사실 PC 자원의 경우에는 비용만 충분하다면 무조건 그 환경을 구축해낼 수 있습니다. 하지만 빅데이터는 그렇지 않습니다. 우리 조직에서 생성해내지 않는 데이터라면 획득할 방법이 마땅치 않은 경우가 많습니다. 특정 업무를 수행해내는 인공지능을 만들고 싶다면 해당 업무에서 파생되는 수많은 데이터가 필요합니다. 안타깝게도 지금의 현실은 보유한 PC 자원도 마땅치 않으며 원하는 인공지능 모델을 만드는 데 필요한 데이터도 전무한 채 인공지능 모델 생성을 요구하는 경우가 많습니다. 데이터 과학자가 인공지능 모델 생성을 요구받을 때 '안됩니다, 불가능합니다'라는 답변만 내놓으며 실망감을 가져다줄 수밖에 없는 이유 중 하나입니다.
엄청난 기대감 속에서 실망감을 줄 수밖에 없는 데이터 과학자
이번 진짜 데이터 과학자라면 겪는 고충 3편에서는 대실소망, 바라던 것이 허사가 되어 실망감을 안겨주는 상황에 대해서 이야기해 보았습니다. 빅데이터와 인공지능을 비롯한 데이터 과학 분야는 분명 하나의 유행입니다. 그렇기에 사람들은 데이터 과학자에게 마법과 같은 일을 많이 요구하곤 합니다. 이는 데이터 과학자에게 기쁨일 수 있지만 한편으로는 부담일 수밖에 없습니다. 때로는 아예 불가능한 일을 데이터 과학이라는 이름 아래에 요구받기도 하며, 때로는 환경이 뒷받침되지 않는 상황에서 멋진 작업 수행을 요구받습니다. 어쩌면 가장 트렌디한 직업 중 하나이기에 사람들의 환상 속에 살아야 하는 것이 진짜 데이터 과학자의 고충이라 할 수 있습니다.
