달고나 72. 양자역학과 인공지능
Deterministic vs Stochastic
당연히 양자역학에 관한 글이 아니다. 어릴 적에 물리학을 전공하길 희망했지만 고3이 되면서 급하게 산업공학과로 진로를 정했던 사람으로서 여느 사람들보다는 물리에 관한 지식이 조금 더 있을 수 있으나 내가 알고 있는 물리는 엄밀히 말해서 19세기까지의 물리 또는 고등학교 교과에서 배우는 물리, 즉 고전 물리다. 19세기말부터 기미가 보였지만 기적의 해인 1905년 이후 새로 정립된 양자역학은 그저 교양 수준으로만 알고 있다. 특히 20세기 초반에 양자역학이 태동하여 정립되던 시절의 이야기는 반복해서 들어도 늘 재미있다. 재미있다는 게 양자역학을 제대로 이해하고 있다는 의미가 아니다. 수식으로 양자역학을 이해하려 하지 않았기 때문에 재미있는 건지도 모르겠다. 제목으로 ‘양자역학과 인공지능’이라 정했는데 두 단어 간의 수준이 맞지 않다. 그저 양자역학의 여러 개념이나 20세기 초반의 — 아인슈타인과 보어로 대변되는 — 양자역학에 관한 논쟁 등이 요즘 인공지능씬에 보이는 현상과 많이 닮았다는 느낌을 받는다. 미리 충고하는데 이 글은 충분한 근거를 갖고 적는 것이 아니고 그냥 느낌적 느낌, 즉 의식의 흐름 중에 나온 생각의 작은 부산물일 뿐이다.
벌써 5년도 더 된 얘긴데 카카오에 있을 때 광고 랭킹 알고리즘을 담당하는 친구들에게 광고 추천 알고리즘이 양자역학의 여러 개념들과 많이 닮았다고 얘기한 적이 있다. 물론 과학적 근거없는 헛소리였지만 개념적 유사성을 말했던 거고, 혹시 다른 분야의 개념에서 현업에 도움이 되는 아이디어를 얻을 수 있지 않을까 하는 작은 바람은 있었다. 그런데 최근 LLM으로 대표되는 인공지능을 보면서 그 유사성을 더 느끼게 된다. 작년에 '오펜하이머' 영화도 개봉됐지만 2차 대전 중 그리고 전쟁 후에 핵(원자/수소) 폭탄과 관련된 미국-독일, 미국-소련 간의 군비 경쟁 (Arm race)을 보는 듯한 회사 간 또는 국가 간의 인공지능 모델의 성능/거대화 경쟁이 작년에 이어 올해도 이어지고 있다. 오히려 더 치열해졌다. 원폭 개발의 당위성을 설득하면서 독일보다 먼저 만들어야 한다는 것도 주요했는데, 요즘은 중국보다 먼저/더 나은 인공지능을 만들어야 한다는 논리가 공공연하다. 나쁜 놈(?)이 만들기 전에 내가 선점해야 한다는 논리는 유아적이지만 매번 잘 먹힌다. 전후에 양자역학을 연구하기 위해서 여러 방사광가속기들이 만들어졌다. 처음에는 작은 건물에도 들어갈 크기였지만 차츰 그 크기가 계속 커졌다. 대표적으로 유럽의 CERN에 있는 LHC (Large Hadron Collider)는 길이가 27km나 된다. 우주선이나 중성미자 검출기의 규모도 엄청나다. 요즘 놀라운 사진을 계속 보여주는 JWST나 블랙홀 사진을 찍은 장비의 규모는 놀랍기만 하다. 클수록 더 정교하게 작은 입자 또는 더 먼/오래된 천제를 관측할 수 있다. 머니가 과학을 발전시킨다. 지금 인공지능씬에선 누가 더 큰 파운데이션 모델을 만드느냐에 사활을 걸고 있다. 클수록 더 다양한 기능 Emergent Ability을 갖고 더 정확한/정교한 답을 내놓는다. Chinchilla Scaling Law에 따라서 더 큰 모델, 더 많은 데이터, 더 많은 학습 시간을 향한 경쟁이 계속되고 있다. 돈 먹는 하마다. 인간을 뛰어넘는 인공지능은 상당히 매력적이지만 이들로 인해 허비되는 에너지를 감당하기 어려워지고 있다. 열을 식히기 위해서 데이터센터를 더 시원한 장소에 건립하는 것뿐만 아니라, 최근에는 그냥 전기를 안정적으로 수급받기 위해서 핵발전소 인근에 데이터센터를 짓는다는 얘기도 있다. 지난 1년 간 Nvidia 주가도 몇 배 올랐지만, 최근에는 오히려 Grid 구축에 소요되는 구리의 가격이 심상치 않다고 한다. 인공지능으로 인한 디스토피아는 인공지능이 인간을 능가하는 지능 AGI (또는 Superintelligence)을 갖음으로써 의도적으로 인간 사회를 파괴함으로써 발생하는 것이 아니라 그저 더 큰 모델(들)을 학습하고 운영하기 위해서 소모되는 에너지 (전기)의 낭비 때문에 발생할 것 같다. 미안하지만, 우리 애기 (데이터센터)가여전히 배고파요.
Great Performance, Great Model. 이상은 그냥 요즘 인공지능씬을 요약한 거고, 이 글을 적기로 마음먹은 동기는 다른 데 있다. 앞서 언급한 아인슈타인-보어 논쟁에서 핵심은 이 세상은 과연 Deterministic한가 아니면 Stochastic한가에 관한 견해 차이다. 기적의 해에 광전효과 논문을 발표해서 양자역학의 불을 댕겼음에도 아인슈타인은 죽을 때까지 (??) 양자역학을 수용하지 않았다. ‘신은 주사위 놀이를 하지 않는다’로 대변되는 아인슈타인의 말은 뉴턴이 정립한 고전물리, 즉 미래는 확정적이다는 거다. 반면 보어를 필두로 한 코펜하겐 해석은 세상의 모든 것은 확률적이다라는 거다. (본인의 전문 분야가 아니니 틀렸을 수도 있다.) F = ma로 대표되는 인과성의 세계에 사는 사람들이 불확정성으로 대표되는 양자의 세계를 이해하기 어려운 건 어쩌면 당연하다. 논쟁 후 수 십 년이 지난 지금은 미시적으론 양자역학의 확률적 세계지만 가시적 영역에선 고전 물리의 인과성으로 설명하는 정도로 정리된 듯하다. 그런데 이런 관점을 컴퓨터 프로그램 또는 서비스에 가져오면 어떻게 될까? 양자컴퓨팅을 얘기하려는 건 아니다. 현재 컴퓨터는 모두 0과 1로 제어할 수 있다. 인간의 가독성을 위해서 C언어나 Python과 같은 고차원 프로그래밍 언어로 개발자들이 코드를 한 줄 한 줄 타이핑해서 만들어진 세계다. A를 입력하면 A가 나오고 B를 입력하면 B가 나온다. 즉, 이제까지의 컴퓨팅은 Deterministic 세계다. 그래서 개발자들의 세상이었다. 더 많은 서비스를 만들기 위해서 더 많은 개발자들이 필요했다. 또는 그들의 야근이 필요했다. 그런데 LLM으로 대표되는 거대 인공지능으로 개발자의 역할이 많이 이전되려 한다. 불과 몇 년 전에 데이터 사이언티스트가 많이 필요하다고 얘기했는데 이젠 데이터 사이언스의 종말을 논하는 글들도 종종 보게 된다. 불과 작년에 Prompt Engineer에 관한 관심이 핫했는데 벌써 Prompting의 종말을 논하고 있다. 인공지능에 따른 세상은 더 이상 Deterministic 하지 않다. 인공지능의 본질은 Stochastic에 있다. 그저 가능성이 높은 것을 보여주기 때문에 Deterministic 하게 보일 뿐이다. 불과 100년 전에 세상을 바라보는 관점, 즉 양자역학 논쟁과 똑같은 관점의 전쟁이 지금 벌어지고 있다. 실제 세상은 Stochastic 한데 그저 우리는 Deterministic 한 세계만을 이해할 뿐이다. 나를 비롯해서 대부분 Deterministic 한 세계가 편하겠지만, Stochastic 한 세계를 이해하고 받아들이도록 노력해야 한다. 어쩌면 Deterministic은 Stochastic의 하나의 그림자일 뿐이다.
개발자들이여 Stochastic 세계를 받아들려라. (처음에는 KG Knowledge Graph 얘기도 넣으려 했으나 생각의 흐름에 따라서 즉흥적으로 빠졌다. KG는 Deterministic Program과 Stochastic Model의 가교 정도라는 뉘앙스로…)
