AI 업계와 ML커뮤니티의 문제점
아직은 현실성이 떨어지는 AI/ML 커뮤니티의 문제점
예전에 쓴 글에서 AI가 많은 인기를 얻고 있지만, 기대에 못 미치는 결과를 내는 경우도 많다는 이야기를 했었습니다. 물론 AI기술은 아직 시작 단계일 뿐이기 때문에 그런 면도 있지요. 최근에 AI 업계를 떠난 이유에 관한 글을 읽어 봤는데 동감가는 내용이 많았습니다. 그리고 예전에 Reddit에 올라온 글 중에 AI업계의 문제점을 지적하는 글이 있었는데 이게 많이 화제가 되었었죠. 이 토론을 보면서도 동감가는 내용이 많았었기 때문에, 해당 글을 간단히 소개하고 제 생각을 덧붙여서 현재의 AI 커뮤니티의 문제점에 관해서 한번 써 볼까 합니다.
문제를 너무 쉽게 생각한다.
AI/ML를 전문으로 하는 사람들은 머신러닝만 잘 쓰면 문제를 해결할 수 있다고 생각하는 경향이 있습니다. 특히나 이 경향은 딥러닝 붐 이후로 생겨났는데요, 대부분의 문제는 해당 문제에 관한 expert knowledge 가 많이 필요한 경우가 많습니다. 하지만, ML 전문가라는 사람들은 그냥 데이터 가져다가 ML 모델 돌려서 결과를 낸 후 "문제 해결 완료!" 라고 말하는 경우가 많다는 점을 지적하고 있습니다.
서비스나 제품을 만들어 본 사람들은 알겠지만, 그런 것은 MVP나 프로토타입 정도밖에 되지 않는 시작단계일 뿐입니다. 정말 중요한 것은 그 이후의 follow-up 리서치, 지속적인 개발 등이죠. 하지만 ML 전문가들은 추가적인 involve 나 follow-up 이 잘 없는 경우가 많습니다. 특히나 해당 문제에 관한 기본 지식이 없어서, 다양한 상황에 대한 고려 없이 뭔가를 하다 보니 실제로는 아무 쓸모 없는 모델을 만들어 낼 때도 많구요.
작년 코로나 초기때 이런 상황을 많이 목격했습니다. 코로나 발생 데이터 가져다가 그냥 모델 돌려서 감염예측 만들었다. 끝! 이렇게 홍보하는 사람들 많았습니다. 이게 무슨 소용인가요? 아무런 도움이 안됩니다. 뭔가 했다고 하는데 실제로는 전혀 도움이 되지 않는것이죠. 사실 이건 지금도 많이 벌어지는 상황입니다. 많은 회사들이 AI가 중요하다고 하는데 뭘 해야 하는지 모르니까 그냥 AI 전문가라는 사람들에게 일을 맡기거나 컨설팅을 하지만 결과적으로는 쓸모 없는 결과만 얻을 때가 많습니다. 현재의 ML기술이 어느정도 수준이 가능하고, 사업화/서비스화는 어느정도 가능할지에 대한 이해 없이 이런 것을 진행하는 것은 돈낭비일 뿐입니다.
Deep Learning 이외의 기초를 공부하지 않는다.
이건 저도 굉장히 많이 동감하는 내용입니다. 특히나 딥러닝이 매우 핫한 기술이 된 이후 머신러닝을 접한 사람들의 경우 딥러닝이 만능이라고 생각하는 경우가 많으며, 그로 인해서 기초를 등한시 하는 경우가 많습니다.
해당 글에서는 기초 (foundation) 에 대한 공부 없이 곧바로 Computer Vision, Natural Language Processing에 뛰어드는 점을 비판하고 있습니다. 저도 어느정도 공감하는 바입니다. 요즘에는 Tensorflow나 Pytorch 튜토리얼에서 부터 예전에는 굉장히 구현하기 힘들었던 CV, NLP, Speech 관련 모델들을 쉽게 구현할 수가 있어서 진입장벽이 낮아진것은 사실입니다. 하지만 그래서 기초를 제대로 공부하지 않는 경우도 많습니다. CV를 공부했다는데 기본적인 이미지 프로세싱 알고리즘의 원리에 대해서도 잘 모르거나 NLP를 했다는데 N-gram 같은 기본적인 내용도 잘 모르는 경우도 많이 봤습니다.
특히나, 딥러닝이 좋지 못한 결과를 내는 경우도 굉장히 많습니다. 딥러닝 자체가 기본적으로 representation learning 을 잘 하기 위해 나온 것이기 때문에 tabular dataset 에서는 다른 알고리즘들에 비해 성능이 떨어지는 경우가 많습니다. 또한 원하는 성능을 맞추려면 단순히 업계에서 핫한 모델만 잘 아는 게 필요한게 아니라 해당 도메인에 대한 기본 지식이 매우 중요한데, 그걸 잘 모르면 요구사항에 맞는 결과를 내기가 힘든 경우가 많습니다. 이 외에도 딥러닝 계열의 단점이 많은데 이런 것은 나중에 다른 글에서 한번 다뤄 보도록 하겠습니다.
많은 연구가 실제로 성과라고 할 만한게 별로 없다.
이 부분은 논쟁의 여지가 있기는 하지만 저도 많이 동감하는 내용입니다. 일반적으로 논문이나 연구는 새로운 아이디어가 들어가야 하고 이런 것들이 기술의 발전을 이끄는데요, 딥러닝과 관련된 많은 논문들은 작은 아키텍쳐 변경이나 개선만을 가지고, 전혀 새로운 아이디어가 아닌데 paper 로 publish하는 경우가 굉장히 많습니다. 물론, 그런 것들도 다 research 에 도움이 되는 것이다 라고 말하면 할말은 없습니다만, 비교적 작은 수정이나 튜닝한 수준인데 SOTA 를 달성했다고 주장하며 발표되는 연구들이 굉장히 많아서 사실 논문 등을 보다 보면 피로감을 느낄 때가 많습니다.
근데 이건 개인적으로 그렇게 느끼는 부분이고, (물론 ML 커뮤니티의 많은 사람들이 그렇게 느끼기는 하지만) 제가 SW 분야를 제외한 다른 분야는 전혀 모르기 때문에 뭐라고 말하기는 힘들 것 같네요.
Fairness/Ethics 만을 강조하는 사람들의 오만
Political Correctness 는 항상 논쟁 거리이고 이건 ML 커뮤니티도 피해가기 어려운 것이며, 특히나 AI의 윤리성은 굉장히 많은 이슈가 되고 있기 때문에 이 부분은 사실 조심스러운 내용이긴 합니다. 하지만 이렇게 느낀게 저 뿐만은 아닌 것에서 꽤나 흥미로웠습니다.
해당 글에서는 AI의 Fairness, Ethics 를 강조하는 사람들은 무엇을 하든 항상 딴지를 걸고, 이 사람들은 문제만 제기하지 솔루션을 찾아내지 않는다고 말하고 있는데 저도 많은 동감이 되었습니다. 이게 문제인 것은 이런 사람들이 문제 제기만을 하기 때문에 커뮤니티가 두려워서 새로운 시도를 하기 힘들다는 것입니다. 예를 들어 백인 남성에 비해 흑인 여성의 얼굴인식률이 낮다고 할 때 이건 당연히 문제가 있는 것이므로 ML 커뮤니티에서는 이런 bias issue 를 해결하기 위해 다양한 연구를 하고 있는데 끊임없이 문제를 제기하며 오만하게 행동하는 사람들이 많은 것은 저만 느끼는 느낌이 아니었나 봅니다.
Application 에 대한 고려가 없다.
ML/DL은 Math 라기 보다는 Engineering 에 가깝습니다. 그렇기 때문에 엔지니어링 적 측면에서 문제 해결을 할 필요가 있습니다. 하지만, 전혀 그렇지 않게 행동하는 경우가 많습니다. 특히 이 쪽 분야로 Ph. D를 취득하고 곧바로 AI 기반 프로젝트를 리딩하는 경우가 업계에서 꽤 많은데, 이 경우 엔지니어링에 익숙치 않거나 생산성/효율성에 대한 경험이 부족해서 문제가 생기는 경우를 굉장히 많이 보았습니다. 그리고 이건 전세계 어디서나 비슷한 거 같네요.
서비스나 제품을 만드는 것은 단순히 정제된 데이터나 제한된 연구환경에서 수행하는 것과는 차원이 다른 일 입니다. 엔지니어링 적인 고민이 많이 필요한데, 이에 대한 경험이나 고려 없이 그냥 무작정 ML/DL 모델만 잘 만들면 되는 줄 아는 사람들이 꽤 많습니다. 그리고 이런 경우 프로젝트가 실패할 확률이 굉장히 높아지죠. 아니면 말로만 AI고 내부적으로는 그냥 기존의 시스템과 동일하게 가는 경우도 굉장히 많습니다.
제가 보기에 이런 문제들은 AI/ML 커뮤니티가 매우 커지면서 나타나는 자연스러운 현상이라고 생각합니다. 다른 글에서도 언급한 내용인데, 요즘은 누구나 다 AI한다고 하고, 수 많은 회사들이 자신들은 AI를 한다고 말합니다. 물론 폭발적인 성장이 있는 시장에 올라타는 건 당연한 것이긴 합니다. (3년전 블록체인이 갑자기 흥할 때 수많은 사람들이 블록체인 전문가 행세하던게 생각나네요..ㅠㅠ) 어쨌든 이렇게 AI/ML커뮤니티 자체적으로 문제를 제기하고 서로 토론하고 하는 것은 모두 건강한 발전을 위해서 필수적인 것이므로 , 이런 토론들이 오고가는 것은 좋은 현상인 것 같습니다.
지금은 마치 10년 전쯤에 모바일 업계를 보는 듯 합니다. 아이폰 이후로 스마트폰 시장이 폭발적으로 성장하며 앱 개발의 전성시대가 열렸었고, 그 때 당시에는 수 많은 똑똑한 사람들이 다 앱을 만들곤 했습니다. 이런 똑똑한 사람들이 앱을 개발하는 건 두뇌의 낭비 아닐까? 싶은 생각도 많이 들었었는데요, 뭐 성장하는 시장에 올라타는건 당연한 현상이고 기술, 비즈니스, 시장 흐름에 따라서 자연스럽게 수요/공급이 조절 되는 것이니 AI 업계도 점차 자리를 잡아 가겠죠.
제가 이 글에서는 단점을 주로 많이 말했지만, 저는 아직도 AI/ML 분야가 너무나 재미있고, 미래는 밝다고 생각합니다. 이 분야는 시작단계이기 때문에 무궁무진한 발전 가능성이 있다고 생각하고, 이쪽 분야를 앞으로도 계속해서 하고 싶고, 하고 있습니다. 그냥 이런 문제점들이 있다는 것은 알아둬야 한다고 생각합니다. 그래야 기술의 수준과 방향에 관해서 정확히 이해할 수 있을 것이고 사기꾼들에게 속지 않을 것입니다.
