앞으로 AI 기술은 어떻게 변할까?
인공지능 기술은 어디로 향하고 있을까 (2)
예전에 작성한 글에서 딥러닝은 만능이 아니라는 이야기를 하였습니다. 하지만 AI는 유망한 산업이고 정말 파괴적인 기술임은 분명합니다. 그렇다면 현재의 AI 업계에서 겪는 문제들을 헤쳐나가기 위해서 어떤 노력들을 하고 있는지 좀 더 자세히 살펴보도록 합시다. 그 전에 먼저 업계 분위기를 좀 살펴봅시다.
AI 관련 업계의 분위기
몇년전만 해도 AI관련 전공을 했다고 하는 인력들은 회사들이 닥치는 대로 쓸어가곤 했습니다. 심지어 SW 개발을 주로 하지는 않은 경우도 포함해서 말입니다. 예를 들어, Statistics, Bioinfomatics 와 같은 분야는 머신러닝과 관련은 많지만 기존에는 SW 개발보다는 좀 더 해당 분야와 관련된 쪽으로 진출하는 편이었는데, 딥러닝 이후로는 IT 기업들에 굉장히 많이 진출하고 있습니다. (물론 이건 좋은 현상이라고 생각합니다.)
지금의 분위기도 크게 다르지는 않지만, AI 기술만 좋다고 해서 돈을 벌 수 없다는 걸 깨닫는 회사들이 많아졌고, 그래서 최근에는 업계에서도 좀 더 AI 기술에 관해 현실적으로 접근하는 편입니다.
요즘에는 많은 회사들이 AI를 한다고 하는데, 사실 말만 그렇지 내부적으로는 rule-based 알고리즘으로 처리하는 경우가 더 많습니다. 근데 이게 나쁜 게 아니라, AI가 아무리 좋아도 현재의 기술로는 특정 부분에서만 좋은 성능을 내고 사용될 수 있기 때문에 그 외의 것들은 기존에 많이 쓰던 기술로 처리하는게 맞습니다. 어쨌든 그런 원인들로 최근에는 인해 그냥 머신러닝만 하던 사람보다는 비교적 SW에 대한 이해가 높은 사람들을 선호하는 분위기 입니다.
그렇다면 AI/ML 분야의 대가들은 어떨까요?
딥러닝 구루들의 최근 연구들
AI/ML 분야에는 굉장히 뛰어나신 분들이 많지만, 그 중에서도 딥러닝 발전에 지대한 공헌을 한 구루들이 최근에는 어떤 연구를 주로 진행하고 있는지 알아봅시다.
Yoshua Bengio
벤지오 교수는 최근에도 수 많은 논문에 advisor로 참여하며 매우 활발한 연구활동을 이어가고 있습니다.
특히나 최근에는 Causal Learning에 관해서 많은 관심을 가지고 다양한 연구를 진행하고 있습니다.
즉, 기존의 딥러닝 모델들은 특정한 task 에 딱 맞추어져 있어서 해당 데이터 분포에서만 성능이 나오는 문제가 있습니다. 이를 generalization 하기 위해서 다양한 기법들을 연구중인데, 사람/동물의 경우 관측되지 않은 데이터에 대해서도 추론을 잘 하므로 이런 인과관계 추론을 어떻게 잘 할지에 관한 연구를 주로 하는 것 같습니다.
한두줄로 설명하기에는 쉽지 않은 내용이라 이에 관한 글을 따로 작성했습니다. (참고)
Geoffrey Hinton
딥러닝의 아버지이며, 진정한 AI 구루라고 불리는 만큼 꽤나 다양한 연구를 왕성하게 하고 있습니다.
힌튼 교수는 기존의 구조 등에 머물지 않고, 항상 새로운 시도를 많이 했었습니다. 아직 잘 쓰이거나 하지는 않지만 Capsule Network 과 같은 구조도 처음 내놓았구요. 지금도 그런 연구를 다양하게 많이 하고 있습니다.
최근에는 GLOM이라는 연구를 공개했습니다. 뭔가 실제로 한 것은 아니고 그냥 아이디어 단계의 conceptual research 입니다만, 워낙 유명한 힌튼 교수가 발표한 것이니 많은 사람들이 관심을 보이고 있습니다.
이것도 마찬가지로 간단하게 정리한 글을 따로 작성했습니다. (참고)
Yann Lecun
최근에 FAIR 블로그에 쓴 글을 보면 Self-Supervised Learning 과 관련된 연구를 주로 하는 것 같습니다.
BERT 이후로 많은 주목을 받은 Exteremly big unlabeled data로 학습하고 downstream task 에 fine-tuning 하는 방식 (BERT가 원조는 아니지만 첫 상업적 성공이라 볼 수는 있겠습니다.) 을 Computer Vision 등의 분야에도 적용하는 것에 많은 관심을 가지고 있는 것 같습니다.
이 내용도 꽤나 좋은 내용이라서 따로 글을 작성하였습니다. (참고)
FAIR와 아주 밀접한 관계를 맺고 있는 만큼, 어플리케이션을 만들 수 있는 기술에 관해서 꽤 실용적으로 접근하고 있다는 걸 알 수 있습니다.
Andrew Ng
최근에 진행한 talk 을 보면 어떤 부분에 관심이 많은지 알 수 있습니다.
https://www.youtube.com/watch?v=06-AZXmwHjo
해당 talk은 Academic한 내용이 아니라서 내용이 쉽기 때문에 한번 보시길 추천드립니다.
핵심은 모델의 중요성 보다 데이터의 중요성을 좀 더 강조하는 내용입니다. 데이터가 적으면 noisy 한 문제가 있게 되고 따라서 clean 데이터를 많이 확보하는게 중요하다는 내용입니다.
따라서, Data centric AI 에 관해 강조하고 있습니다. 그럼으로 인해 MLOps 등의 중요성도 더 커지고 있습니다.
확실히 Andrew Ng 교수님은 다양한 회사를 설립하기도 했으며, 실리콘밸리나 수 많은 기업들과 인연이 매우 깊은만큼 굉장히 실용적인 관점으로 접근하고 있는걸 알 수 있습니다.
이를 살펴보면, Bengio, Hinton은 기존의 딥러닝 보다 좀 더 발전된 것이 필요하다고 보고 좀 더 리서치 영역에 가까운 연구를 진행하는 것으로 보입니다. Yann Lecun, Andrew Ng은 비교적 실용적으로 사용될 수 있는 어플리케이션 레벨의 연구를 주로 진행하는 것 같구요. 물론, 이는 어디까지나 최근 발표한 연구들의 일부분일 뿐입니다. 실제로는 이런 대가들은 수 많은 연구에 advisor로 참여하고 있는 만큼 다양한 리서치를 많이 수행하므로 한마디로 딱 잘라서 무엇을 주로 진행하고 있다고 말하기는 힘들 것 같네요.
이 외에도 분야별로 매우 큰 영향력을 지닌 구루들이 (예를 들어 Christopher Manning, Fei-Fei Li, Jurgen Schmidhuber, David Silver 등) 활발하게 다양한 기술들을 연구하고 발표하고 있습니다. 흥미로운 연구들이 너무 많기 때문에 다 살펴보는 것은 불가능 할 것 같고, 시간이 날 때마다 흥미로운 연구들에 대해 한번씩 글을 써보도록 하겠습니다.
그렇다면, 다시 앞으로 돌아와서 앞으로의 AI 기술의 발전 방향은 어떻게 흘러가게 될까요? 제 생각에는 아래와 같은 몇 가지의 트렌드를 가지게 될 것 같습니다.
GPT3 이후로 Extremly Large 모델에 관한 연구
Application level 에서 데이터 확보/정제나 MLOps 와 같은 부분을 개선하는 쪽
기존처럼 딥러닝 모델을 계속해서 개선하는 연구
소수의 학계에서는 새로운 아키텍쳐나 모델을 연구
뭐 어찌 보면 뻔한 이야기만을 늘어놨네요. 미래 예측은 사실 불가능하기 때문에 어떻게 될 지는 잘 모르겠습니다만, 엄청난 돈과 인력이 투자되어서 열심히 연구를 하는 걸 보니 참 흥미진진하고 재미있는 분야이고, 앞으로가 계속 기대가 됩니다!
