독서 노트 : 수학은 알고 있다(2)
인공지능이 불러온 수학의 시대
수학은 알고 있다
김종성,이택호 저 | 더퀘스트 | 2024년 08월 01일
https://m.yes24.com/Goods/Detail/129147284
“수학은 알고 있다”에서 저자들은 수학이 우리 삶과 예측에서 얼마나 중요한 역할을 하는지를 다양한 예시로 설명합니다. 그들은 예측의 과정이 단순한 계산이 아니라, 인간의 사고와 인식에 깊이 뿌리박혀 있음을 강조합니다. 책을 통해 독작들은 수학은 단순한 수식이 아닌, 복잡한 문제를 풀어나가는 사고 도구임을 알 수 있습니다.
이 책은 우리가 데이터를 다룰 때 무작정 결과를 받아들이기보다는, 그 결과 뒤에 숨겨진 의미와 논리를 신중하게 검토해야 한다는 점을 일깨워 줍니다. 데이터와 통계에 기반한 올바른 판단을 내릴 수 있는 사고력을 기르고 싶은 독자들에게 일독을 권합니다.
* 책의 내용중에 인상 깊은 문장이나 문구를 그대로 옮겼(발췌)습니다.
** 분량이 많은 관계로 나누어 업로드하겠습니다.
3장 인공지능이 불러온 수학의 시대
거대한 전환
딥러닝은 컴퓨터가 스스로 학습하는 기술 중 하나입니다. 이 기술은 우리가 어릴 때 뭔가를 배우는 방식과 비슷하게, 컴퓨터가 예시들을 보고 패턴을 찾아내는 방식으로 작동합니다. 딥러닝의 핵심은 여러 층layer의 인공신경망artificial neural network, ANN을 사용하는 것인데, 인공신경망은 사람의 뇌에서 발견되는 신경세포 뉴런neuron을 모방한 것입니다.
예를 들어 딥러닝을 사용해 컴퓨터가 고양이를 인식하는 방법을 배울 수 있습니다. 이때 컴퓨터는 여러 가지 고양이 사진을 보고 고양이의 특징들(털 색깔, 눈 모양, 귀 모양 등)을 각 층별로 인식합니다. 그리고 이러한 특징들을 조합해 전체적인 고양이 이미지를 인식합니다.
알고리즘
국립특수교육원의 정의에 따르면 알고리즘algorithm이란 ‘컴퓨터가 따라할 수 있도록 문제를 해결하는 절차나 방법을 자세히 설명하는 과정’을 뜻합니다. 이 용어는 대수학의 아버지라 불리는 아라비아의 수학자 무함마드 이븐무사 알콰리즈미Muḥammad ibn Mūsā al-Khwārizmī의 이름에서 유래한 것으로 알려져 있습니다.
딥러닝
딥러닝은 이러한 뇌의 신경 상호작용을 피상적으로 모방한 심층신경망deep neural network, DNN을 사용합니다. 먼저 여러 개의 노드node로 구성된 ‘입력층input layer’이 마찬가지로 여러 개의 노드로 구성된 ‘은닉층hidden layer’과 연결됩니다. 이 은닉층을 거쳐 최종적으로 하나의 ‘출력층output layer’에 도달하죠.
이처럼 데이터가 여러 층위로 겹겹이 존재하는 은닉층을 지나야 하기 때문에 딥러닝이라는 이름이 붙었으며, 이를 다층퍼셉트론multi-layer perceptron, MLP이라 부르기도 합니다. 또한 입력층에서 출력층으로 이동하는 단순한 네트워크는 피드포워드신경망feed forward neural network, FFNN으로 불립니다. 이 신경망은 얼핏 보면 사람의 뇌에 있는 뉴런 간의 연결처럼 보이죠.
딥러닝이 문제를 해결하는 법
어떤 회사는 진작부터 이와 같은 원리를 가진 신경망 알고리즘을 도입해 입사지원서를 평가했을 수도 있습니다. 이 회사는 성과가 낮은 직원과 성과가 높은 직원들의 특징을 이미 데이터로 갖고 있습니다. 외국어 점수, 업무 관련 자격증의 수, 소셜미디어 친구 수처럼 성과에 직간접적으로 영향을 줄 만한 지표들이죠.
이 데이터들이 바로 신경망 알고리즘의 입력값(독립변수)이 됩니다. 그리고 회사는 기존 직원들의 실제 성과를 점수로 매긴 보고서를 갖고 있으며 이 부분은 출력값(종속변수)이 됩니다. 이제 회사는 정리한 데이터를 기반으로 프로그램을 ‘학습’시킵니다.
여기서 학습이란 각 직원의 특징인 입력값을 집어넣었을 때, 이미 알고 있는 결괏값인 직원의 성과 점수와 가깝게 일치하도록 인공신경망의 가중치weight를 조정하는 것을 의미합니다.
딥러닝은 단순히 입력값에서 결괏값으로 순방향의 이동을 할 뿐 아니라 역방향의 이동도 하며, 가중치를 조절해 실제 점수와 인공신경망 알고리즘으로 얻은 점수의 오차를 계속 줄여나갈 수 있습니다. 이것은 ‘역전파학습backpropagation learning’으로 불립니다.
이미 갖고 있는 직원의 데이터를 토대로 가중치를 조정했기 때문에, ‘지도학습supervised learning’이라 불리는 방법으로 컴퓨터를 학습시켰다고 볼 수도 있습니다. 우리는 최종적으로 이 프로그램을 성과 알고리즘이라고 부를 수도 있을 것입니다.
딥러닝에서 학습이란 신경망의 가중치를 조정하는 과정입니다이제 학습을 마친 성과 알고리즘의 입력값에는 입사지원서에 적힌 정보가 들어갑니다. 성과 알고리즘은 입사지원서의 정보와 학습된 가중치를 바탕으로 지원자가 회사에 입사했을 때 성과를 얼마나 낼지 예측값을 출력합니다. 회사의 인사 담당자는 이 출력값을 토대로 지원자의 합격 여부를 손쉽게 결정할 것입니다.
주어진 여러 독립변수를 토대로 결론을 도출한다는 점에서 딥러닝은 다중회귀분석과 유사해 보입니다. 하지만 다중회귀분석과 달리, 딥러닝은 독립변수와 연결되는 모든 노드에 개별적인 함수가 생성되어 거대한 함수 세트를 이루고 때로는 역전파를 통해 가중치가 미세조정됩니다.
이 특성 덕분에 인간을 뛰어넘는 바둑 천재를 만드는 것부터 인간과 대화를 하고 신입사원을 선발하는 데 이르기까지, 딥러닝은 기존의 그 어떤 알고리즘보다 뛰어난 성능을 보여주며 사람들의 기대감을 높이고 있습니다.
게다가 딥러닝은 고전적 머신러닝과 달리 인간의 개입이 최소화된 학습도 가능합니다. 예를 들어 자율주행을 위해 ‘보행자’ ‘장애물’ ‘자동차’를 식별하는 알고리즘을 설계한다고 가정해보겠습니다. 데이터 전문가는 해당 유형의 사진들을 ‘레이블링labelling(라벨링)’해 컴퓨터에게 제시하는 지도학습을 통해 목표를 달성할 것입니다.
하지만 딥러닝에 이런 레이블링된 데이터가 반드시 필요하지는 않습니다. 딥러닝은 레이블링되지 않은 데이터를 사용해도 이를 범주화하고 연관 규칙이나 특징을 찾아낼 수 있습니다. ‘비지도학습unsupervised learning’이라 불리는 이러한 특성 덕분에 딥러닝은 사람의 개입 없이도 데이터에서 패턴을 발견하는 것이 가능합니다.
이처럼 어떠한 분석 기법을 사용할지, 지도 또는 비지도 학습을 사용할지 결정하는 것은 여러분의 몫입니다. 지도학습과 비지도학습에 주로 쓰이는 영역은 다음과 같습니다.
지도학습 | 객체 인식, 비즈니스 예측, 고객 감정 분석, 스팸 감지
비지도학습 | 뉴스 분류, 객체 인식, 이상 탐지, 고객 특성 파악, 제품 추천
만약 지도학습과 비지도학습 중 어떤 것을 사용해야 할지 고민된다면, IBM은 다음의 질문에 관해 생각해보라고 조언합니다.
1. 입력 데이터 평가 : 레이블링된 데이터인가? 레이블링을 추가로 할 전문가가 있는가?
2. 목표 정의 : 문제는 잘 정의되어 있는가?
3. 알고리즘 평가 : 해당 알고리즘이 데이터의 크기와 구조를 충분히 뒷받침하는가?
맛있는 수박 고르기, 독버섯 판별, 마케팅 예산 대비 매출 예상이 ‘잘 정의된 문제’에 해당합니다.
각 항목에 관해 ‘예’라고 대답할 수 있다면 지도학습이, 그렇지 않다면 비지도학습이 유리합니다. 또한 레이블링된 데이터와 레이블링되지 않은 데이터 모두를 활용해 두 알고리즘의 한계를 보완한 반지도학습semi-supervised learning도 있습니다.
이 외에 또 다른 학습방식도 존재합니다. 바로 강화학습reinforcement learning입니다. 강화학습은 목표를 수행하기 위해 겪는 시행착오 과정에서 보상이나 불이익을 주는 알고리즘을 설계해 특정 행동을 강화하는 머신러닝의 한 방식입니다.
강화학습에는 ‘보상함수reward function’를 어떻게 설계하느냐에 따라 무궁무진한 가능성이 있습니다. 예를 들어 A 지점에서 B 지점까지 이동해야 하는 목표가 있고, 점프를 하든 걸어가든 주어진 규칙에서 수단과 방법을 가리지 않고 B 지점에 가장 가까이 접근했을 때 높은 보상(점수)을 주는 알고리즘을 설계한다면 이는 로봇 모빌리티 분야에 활용할 수 있는 AI가 됩니다.
창의성을 다시 생각하다
딥러닝은 의외의 영역에서도 큰 성공을 거두었습니다. 바로 회화繪畫입니다. 회화는 극도의 창의성을 요구하는 인간 고유의 영역이라 여겨져 왔습니다. 그러나 ‘미드저니Midjourney’ ‘스테이블디퓨전Stable Diffusion’ 같은 AI를 이용한 그림 제작 도구들이 최근 큰 성공을 거두면서 창의성마저 AI가 인간보다 뛰어날지도 모른다는 위기감이 생겼죠.
실제로 2022년 8월 26일 콜로라도 주립 박람회 미술대회 디지털아트 부문에서 미드저니를 이용한 그림이 우승하기도 했습니다. AI 회화의 놀라운 성과를 보면 위대한 시인 볼테르Voltaire의 말처럼 창의성과 독창적 아이디어란 “단지 신중한 모방에 불과”한 것이 아닌가 하는 자괴감마저 듭니다.
편견 알고리즘
각각의 사례들을 자세히 들여다보면, 딥러닝은 우리의 삶을 근본적으로 변화시킬 만능 알고리즘처럼 보이지만 생각보다 딥러닝을 이용한 제품과 서비스의 상용화는 더디게 진행되고 있습니다. 여기서 그 이유 몇 가지를 이야기해보겠습니다. 딥러닝은 이전 장에서 살펴보았던 다중회귀분석과는 비교할 수 없을 정도로 복잡한 의사결정구조를 가집니다. 다중회귀분석의 경우 각각의 변수에 해당하는 가중치를 함수에서 즉각 확인할 수 있습니다. 하지만 딥러닝은 수많은 노드 각각에 함수가 들어가 있는 거대한 함수 세트나 다름없습니다. 그렇기에 각각의 함수들이 종속변수에 어떤 영향을 끼치는지 직관적으로 파악하기가 몹시 어렵습니다.
다중회귀분석(왼쪽)과 딥러닝(오른쪽)을 이용한 다이아몬드의 가격 예측 과정바로 이 지점에서 첫 번째 문제가 발생합니다. 딥러닝이 연산한 신경망의 의사결정 과정을 사람이 온전히 납득할 수 없다는 것이죠. 채용을 위해 도입한 성과 알고리즘은 입사 지원자에게 합격 여부를 통보할 수는 있지만, 그 결과가 나온 과정 자체를 사람이 이해하는 것은 불가능합니다.
만약 지원자가 면접에서 안타깝게 떨어졌다면, 조금 실례이긴 해도 왜 이런 결과가 나왔는지 면접관에게 물어볼 수 있습니다. 하지만 알고리즘은 무수히 연결된 네트워크의 가중치와 노드에 존재하는 함수로 지원자의 합격 여부를 결정합니다.
이것은 해석 불가능한 데이터로 가득한 블랙박스나 마찬가지입니다. 딥러닝은 결과물을 내놓을 뿐, 그 결과가 나온 이유나 과정에 관해서는 사람이 이해할 수 없게 되어버리는 것입니다. 블랙박스 문제를 해결하기 위해, 연구자들은 AI의 해석 가능성에 집중하는 ‘설명 가능한AIexplainable AI, XAI’을 개발하고 있습니다.
딥러닝의 블랙박스와 환각 현상은 반드시 해결해야 하는 중대한 문제입니다. 특히 기업의 미래가 걸린 경영상 의사결정, 한 사람을 살리고 죽일 수도 있는 의료 분야, 유죄 여부와 형량을 결정하는 재판 같은 영역에 딥러닝이 사용된다면 더욱 그렇습니다. 우리는 종종 기사에서 접하는 부당한 판결에 분노하며 AI 판사 제도를 빨리 도입해 재판의 공정성을 제고해야 한다고 목소리를 높이는 사람들을 봅니다.
하지만 피고인에게 AI가 판결을 내리고 그 양형의 사유가 단지 모종의 ‘적합한 재판 알고리즘’으로 인해 결정되었다고 통보한다면, 피고인은 재판 결과에 쉽게 순응할 수 없을 것입니다. 판결을 내리기 위해 만들어진 ‘AI 판사’에 어떤 알고리즘과 데이터를 사용했는지도 돌아봐야 합니다.
우리는 AI가 공정하다고 생각하지만, AI의 알고리즘 자체는 사람이 만들므로 인간의 편견이 개입될 수밖에 없음을 명심해야 합니다.
AI의 편견은 재판 알고리즘을 구축하기 위해 레이블링된 데이터를 학습하는 과정에서 시작됩니다. 미국 사회에서 백인보다 흑인에게 훨씬 가혹한 판결이 선고되는 것은 1900년대는 물론이고 지금도 만연하게 벌어지는 일입니다. 이런 재판을 모두 학습 데이터로 사용한다면, AI는 피고인이 흑인이라는 사실 하나만으로도 강력한 편향이 생길 것입니다. 그렇다면 ‘공정’하게 집행된 판례만 선별하면 될까요? 하지만 공정하다고 여겨지는 판례 데이터를 선별하는 것 또한 결국 사람이므로 어떻게든 편향을 피할 수 없습니다.
AI 기업의 무분별한 데이터 수집도 문제입니다. 인터넷 블로그에 올린 짧은 에세이, SNS에서 나눈 잡담, GPT와의 대화 기록, 디자이너 카페에 올린 그림 등이 자신도 모르게 AI 학습 데이터 세트에 사용되길 원하는 사람은 많지 않겠지만, 실제로 AI 기업들이 이러한 데이터들을 학습에 무분별하게 사용했다는 폭로가 끊이지 않습니다. GPT 시리즈를 제작한 오픈AIOpenAI는 유럽연합EU의 개인정보보호법General Data Protection Regulation, GDPR을 준수하라는 압박을 받고 사용자의 데이터를 수집하지 않는 옵션을 제공하기로 한 바 있으며 이미지 생성 프로그램인 스테이블디퓨전 또한 저작권자의 지적 재산권 침해 분쟁에 계속해서 휘말리고 있죠. 스캔들은 계속되고 있습니다.
튜링 테스트의 한계
기계에게 질문했을 때 대답만으로 사람인지 기계인지 구분할 수 없다면 그 기계는 지능과 의식을 가진 존재로 볼 수 있을까요? 이것이 바로 컴퓨터과학의 선각자 앨런 튜링Alan Turing이 제안한 튜링 테스트Turing test입니다. 그로부터 수십 년이 지나 딥러닝에 사용되는 인공신경망은 발전과 보완을 거듭했고 꽤 높은 수준의 글을 창작하는 언어모델이 만들어졌죠.
관점에 따라서는 GPT-4가 만들어내는 문장이 사람이 쓴 문장과 구분되지 않는 수준까지 올라왔다고 생각할 수도 있습니다. 이처럼 글의 창작 수준으로 사람인지 기계인지 판단이 불가능하다면, 튜링 테스트의 제안에 따라 GPT-4가 ‘지능’이 있다고 결론 내릴 수 있을까요?
사실 튜링 테스트는 무엇이 ‘지능’인가에 관한 질문을 회피하고 있습니다. 설령 GPT-4가 튜링 테스트를 통과한다 해도, 이 AI는 단지 인공신경망으로 학습한 문장들을 조합해서 질문에 적절한 문장을 뱉어내는 단순한 입출력 기계에 불과합니다.
다시 말해 GPT와 같은 언어 생성기는 진정한 의미의 ‘인간 지능’이 없어도 튜링 테스트를 통과할 가능성이 있습니다. GPT는 질문을 정말로 이해하고 답하는 것이 아니라, 통계적으로 가장 그럴듯한 단어를 차례대로 생성해서 대답합니다. 만약 이것을 지능이라고 인정한다면 전자계산기에게도 지능이 있다고 말할 수 있어야 합니다.
인공일반지능, 공상인가 미래인가
우리는 모든 측면에서 다섯 살 아이보다는 지능이 뛰어난 기계를 만들어야 할 것입니다. 하지만 아이의 능력이 대단하든 기술의 발전이 더디든 이 목표를 달성하는 일은 여전히 어렵습니다. 특히 일상의 지식을 컴퓨터에 입력하는 방법을 해결하지 못한다면 영원히 진정한 지능을 가진 기계를 만들 수 없을지 모른다고 호킨스는 지적합니다.
딥러닝과 사람의 또 다른 차이는 다양한 모델을 처리하는 방식과 관련이 있습니다. 사람은 체스와 바둑, 장기와 같은 게임 간의 유사성을 발견하고 빠르게 학습하며, 훨씬 복잡한 규칙을 가진 수백 개의 최신 게임을 취미로 즐기기도 합니다. 그리고 사람은 바둑을 두다가 체스용 뇌를 집어넣을 필요가 없습니다. 게임을 하다가 대화를 해야 할 때 게임용 뇌에서 언어용 뇌로 교체할 필요도 없죠.
하지만 바둑 챔피언인 알파고가 체스를 두려면 이전에 입력된 바둑과 관련된 학습을 전부 삭제하고 새로운 게임의 규칙을 학습해야 합니다. 따라서 알파고는 사람을 능가하는 체스와 바둑 실력을 동시에 가질 수 없습니다. 마찬가지로 GPT가 아무리 그럴싸한 문장을 만들어낸다 해도 체스 판 위의 말은 단 한 칸조차 움직일 수 없습니다.
단순하게 생각하면 이것은 매우 이상한 일처럼 느껴집니다. 알파고의 바둑, GPT의 문장 생성, 스테이블디퓨전의 이미지 제작은 동일하게 딥러닝에 기반한 인공신경망 네트워크를 사용하는데도 하나의 프로그램으로 통합되지 못하고 별개의 프로그램으로 구동돼야 한다는 것이니까요.
반면 사람은 쉽지는 않겠지만 오른손으로 수채화를 그리면서 왼손으로는 체스와 바둑을 동시에 두고 게임 상대방을 말로 도발할 수도 있습니다. 어쩌면 지능은 하나의 작업을 얼마나 잘 해내는가로 측정하는 것이 아니라, 어떤 일이든 유연하게 배울 수 있는가로 평가해야 하는 것인지도 모릅니다.
물론 이러한 한계를 해결하기 위한 움직임은 현재 진행형입니다. 알파고를 개발한 딥마인드는 바둑과 체스, 일본식 장기와 같은 게임을 수행하는 제한적 범용 알고리즘인 알파제로를 출시하는 한편, 엑스랜드XLand라 불리는 개방형 구조를 통해 기계에게 여러 종류의 문제가 통합된 학습을 유도하는 실험을 진행하고 있습니다. 메타 또한 이미지와 텍스트, 음성을 동시에 인식하는 데이터투벡Data2vec이라는 알고리즘을 개발했죠.
최근 딥마인드가 개발한 시마SIMA라는 AI도 주목할 만합니다. 시마는 다양한 게임을 수행하도록 개발된 최신AI로, 범용 기계로서의 가능성을 보여주고 있습니다. 하지만 시마 역시 사람이 할 수 있는 작업의 60퍼센트도 수행하지 못하고 있어 범용성과 멀티태스킹 능력을 갖춘 AI는 아직 갈 길이 멀어보입니다.
지금까지 이야기한 바를 종합해본다면, 아쉽게도 현재로서는 사람이 개발한 모든 인공‘지능’에는 사실 ‘지능’이 없다는 결론을 내릴 수도 있겠습니다. 물론 지능의 기준은 사람마다 다를 수 있기에 이견은 존재할 수 있습니다. 역전파 알고리즘 개발 등의 업적으로 ‘딥러닝의 대부’라 불리는 제프리 힌턴Geoffrey Hinton은 2023년에 인공신경망이 ‘새로운 형태의 지능’이며 ‘더 나은 지능’이라고 주장하기도 했습니다. 이 주장에 동의하는지 여부는 여러분의 판단에 맡기겠습니다.
오해를 방지하기 위해 말하자면, 딥러닝은 앞서 이야기했듯 최근 몇 년간 놀라운 성취를 보여준 것이 확실합니다. 하지만 기계가 사람들이 일반적으로 인식하는 ‘지능’을 가지려면 단지 이미테이션 게임imitation game으로 튜링 테스트를 통과하는 것 외에도 극복해야 할 장애물이 여전히 산적해 있습니다.
인공지능을 이용해 인류가 더 나아가고자 한다면 먼저 우리가 가진 도구의 한계를 명확히 알아야 할 필요가 있죠. 2020년에 GPT-3가 발표된 이후, IT 기업들은 경쟁적으로 거대한 인공신경망을 가진 언어모델들을 출시하기 시작했습니다. 대부분 GPT-3가 가진 1,750억 개의 파라미터parameter를 뛰어넘는 거대한 모델들입니다.
파라미터는 AI가 학습하는 동안 조정되는 모델 내부의 변수를 말합니다. 국내 IT 기업 네이버의 언어모델인 하이퍼클로바HyperCLOVA에는 파라미터가 2,040억 개 있습니다. 마이크로소프트Microsoft와 엔비디아NVDIA가 합작해 만든 메가트론-튜링 NLGMegatron-Turing Natural Language Generation, MT-NLG의 파라미터는 5,300억 개이며, 구글의 스위치트랜스포머Switch Transformer는 GPT-3의 열 배 수준인 1조6,000억 개의 파라미터를 갖고 있죠. 머지않아 파라미터가 10조 개인 모델도 만들어낼 수 있을 것입니다.
AI 분야에서 가장 유명한 선구자 중 한 명인 얀 르쿤Yann LeCun 또한 거대 인공신경망을 가진 모델을 통해 이루어진 강화학습으로는AGI를 만들어낼 수 없다고 말했습니다. 이는 2021년까지 갖고 있던 그의 생각을 뒤집는 주장이기도 합니다. 르쿤은 새로운 AI로 나아가기 위해 컴퓨터가 가져야 할 요소들을 정리해 〈자율 기계 지능을 향한 길A Path Towards Autonomous Machine Intelligence〉이라는 제목의 글을 내놓기도 했습니다.
한편 딥러닝의 핵심인 역전파학습이 뇌의 학습방식과 동일한지도 의문으로 남아 있습니다. 인간의 뇌가 딥러닝처럼 순방향과 역방향의 순서로 미세조정의 프로세스를 거치거나 지도학습과 유사한 방식으로 세상을 이해할까요? 뇌의 학습방식이 딥러닝과 완전히 동일하지 않다면 우리는 무언가 놓치고 있는지도 모릅니다.
따라서 AI를 연구하는 또 다른 진영에서는 현재의 딥러닝이 한계가 있다고 주장하며 실제 뉴런과 비슷하게 작동하는 새로운 인공신경망을 연구하고 있습니다.
이처럼 딥러닝은 AI의 가장 유망한 분야인 동시에 AGI로 나아가려는 사람들의 발목을 잡는 분야일 수 있습니다. 딥러닝은 초기 AI 연구자들이 꿈꿔왔던 사람과 같은 지능을 가진 기계인 AGI의 비전을 실현해줄 주인공이 아닐지도 모릅니다. 비록 딥러닝의 초기 아이디어는 뇌의 작동방식에서 영감을 받았지만, 더 이상 딥러닝은 뇌와 신경과학에 신경 쓰지 않고 수학과 컴퓨터공학에 의존하며 독자적인 길을 가고 있다고 여겨집니다.
만약 딥러닝으로는 근본적인 단계에서 진정한 의미의 지능을 만들어낼 수 없다는 것이 밝혀진다면 AGI를 실현하기 위해 새로운 돌파구를 찾아야 할 것입니다. 그러나 AGI에 관한 건전한 담론은 쉽게 성사되기 어려워 보입니다. 온갖 억측은 물론이고 마케팅을 위한 과대포장이 이 분야에서 매우 흔하게 일어나기 때문입니다. 일부 IT 기업들은 자사의 거대한 인공신경망을 가진 모델이 뛰어나다고 강조하며, 머지않아 자신들의 모델이 사람처럼 사고할 것이라고 거리낌 없이 홍보합니다. 이러한 주장을 검증할 만한 과학적 기반은 아직 존재하지 않습니다.
설명가능 인공지능
딥러닝이 블랙박스 모델로 취급되는 한계를 극복하기 위해, 다른 한편에서는 ‘설명 가능한 AI’, XAI에 관한 연구가 진행되고 있습니다. XAI는 딥러닝을 포함하는 AI 모델의 작동 원리와 더불어 최종 결과가 나온 이유를 설명해주는 기술을 말합니다.
XAI가 설명하는 방식에는 여러 종류가 있습니다.
먼저 XAI 모델 내에서 자체적으로 예측과 설명이 가능하도록 하는 방법과,
기존 모델이 예측을 수행한 결과에 다른 모델을 추가해 설명하도록 하는 방법이 있습니다.
또는 모델의 모든 결과와 작동 과정을 설명하는 AI와 특정 결과만 설명하는AI로 구분할 수도 있습니다.
경사하강법
특정한 a값에서 그린 직선의 기울기는 ‘a에서의 미분계수’라 불립니다. 미분계수는 어떤 함수의 특정한 점에서 그리는 접선의 기울기인 것입니다.
대부분의 함수는 미분계수가 0인 지점에서 최댓값 또는 최솟값을 가집니다. 따라서 2차식의 최소점을 구하는 문제는 결국 미분계수가 0이 되는 지점을 찾는 것에 불과합니다.
이처럼 최소화하고자 하는 식이 비교적 간단하고 좌표평면에 명료하게 표현된다면 미분을 이용해 그래프의 최소점을 손쉽게 구할 수 있습니다.
하지만 딥러닝은 그 내부 과정에 여러 함수 세트가 겹겹이 관여해 함수가 매우 복잡한 형태를 보입니다. 이 식은 사람이 인식할 수 있는 수준의 그래프로 나타낼 수 없습니다. 함수의 청사진이 없는 상태에서 최소점을 구해야 하는 어려운 상황에 놓이는 것이죠.
이런 경우에도 최소점을 파악하는 방법, 적어도 최소점에 가능한 한 가깝게 도달할 방법을 찾기 위해 탄생한 것이 바로 경사하강법입니다.
어두운 밤 손전등 하나로 험한 산길을 ‘내려가야’ 한다고 가정해봅시다. 여러분은 손전등을 이용해 자기 주변의 바닥만 볼 수 있습니다. 왼쪽 땅이 경사진 것을 확인하고 그쪽으로 몇 발짝 전진합니다. 그러다 다시 오른쪽이 아래로 향하는 경사로임을 파악하고 그쪽으로 몇 걸음 이동합니다.
이런 식으로 가까운 주변 지형만 볼 수 있다면, 현재 자신의 위치에서 앞이 보이는 만큼 조금씩 아래로 이동한 후 다시 방향을 정해 움직이는 방법을 반복할 수밖에 없습니다. 경사하강법 또한 마찬가지입니다. 경사하강법은 함숫값이 감소하는 방향으로 미지수를 조금씩 바꿔나가는 과정을 반복함으로써, 국소적으로 최소가 되는 지점을 찾아내는 방법입니다.
경사하강법에서 중요한 문제는 방향을 정한 후 a를 어느 간격으로 옮길지 결정하는 것입니다. 이는 최적의 미지수를 찾는 데 중요한 역할을 합니다.
간격이 너무 좁으면 최적의 미지수를 찾는 데까지 지나치게 많은 연산을 해야 하며 국소 최적해local optimum에 갇힐 위험도 있습니다. 국소 최적해란 함수의 전체 구간에서 함숫값이 최소인 지점이 아닌 특정 구간에서만 함숫값이 최소인 지점을 말합니다.
탐색 간격이 너무 좁으면 국소 최적해에 갇히고(왼쪽), 간격이 너무 넓으면 최적점을 찾지 못할 수 있습니다(오른쪽).
그렇다고 너무 간격이 넓으면 미분계수가 일관적으로 변하지 않는 데다가, 잔차제곱합이 급작스럽게 증가하는 방향으로 위치가 전환될 수 있습니다. 그러므로 경사하강법에서는 적절한 간격 설정이 매우 중요합니다.
