생성 인공지능의 시대가 열리다
지식 덕후의 탄생
<결혼은 사랑을 배우는 학교에 입학하는 일이다>라는 마음에 쏙 드는 문구를 알게 해 주신 페벗님은 인공 지능 전문가이면서, 관련 서적 저자이기도 합니다. 마침 그분이 쓰신 책이 도착한 날 밤에 불면증이 찾아와서 졸지에 4분의 1을 읽게 되었습니다.
프롤로그와 1장까지 내용 중에서 밑줄 친 내용을 주제로 글을 썼는데, 이를 둘로 나눴습니다. 먼저 책 내용과상대적으로 더 가까운 글을 여기에 공유하고, 책 내용의 맥락을 벗어나 제 삶과 생각에 바탕을 둔 글을 후속 글로 씁니다.
수십억 년의 생물 진화로 발전해 온 매우 고난이도의 능력
먼저 '초창기 인공지능'이라는 제목의 내용 중에서 밑줄 친 다발말(=단락)을 다룹니다.
인간이 평소에 별다른 노력 없이 아주 쉽게 해내는 일들이 수십억 년의 생물 진화로 발전해 온 매우 고난이도의 능력이었던 것이다.
두 가지 생각이 떠올랐습니다. 먼저 최근에 쓴 <무한한 잠재력과 경이적인 내적 지능을 지닌 자신>에서 인용한 로봇과 인간 비교가 떠올랐습니다.
나아가 <테니스 이너게임>을 곱씹으며 배우고 있는 자아 2에 대한 인간의 인식을 맥락이 전혀 다른 인공 지능 분야의 창을 통해 확인하는 듯합니다. 이를 섞으면 다음과 같은 포기말을 생성할 수 있습니다.
수십억 년의 생물 진화로 발전해 온 매우 고난이도의 능력을 자아 2라고 부른다
AGI가 된다고 해도 인공 지능은 자아 1 수준
반면에 다음 포기말에서 '우리'는 바로 '자아 1'을 가리킨다 할 수 있습니다.
우리가 어려운 일이라고 여겼던 문명 건설, 문자 발명, 과학 발전 등은 그러한 생물학적 진화의 축적을 발판으로 가능한 일이었다.
그리고, 책에 '모라벡의 역설Moravec's Paradox'이라는 표현이 나오는데 처음 접한 말이라 인공지능에게 질문해 보았습니다. 노트북으로 제미나이에게 그리고 휴대폰으로 ChatGPT에게 동시에 물었는데 기기 차이인지 제미나이 결과가 더 마음에 들게 나오네요.
여기서 말하는 인공 지능이 언어를 기초로 한 LLM에 바탕을 두고 있다는 점을 생각하면 앞으로 훨씬 더 발전한 AGI가 나온다고 해도 자아 1 수준이라는 점을 쉽게 이해할 수 있습니다.
혁신은 어떤 때에 오는가?
그다음에 밑줄 친 다발말(=단락)은 상당히 깁니다.
이런 태도 때문에 연결주의 진영의 테런 세즈노프스키는 2006년, 1956년 열렸던 다트머스 회의의 50주년을 기념하기 위해 열린 인공지능 학술 대회에서 마빈 민스키에게 공개적으로 "당신은 악마입니까?"라는 질문을 던지기도 하였다. 이후 소수의 연결주의자들은 논문을 학술지가 아닌 Arxiv 같은 논문 공개 사이트에 올리는 것이 기본적인 연구 문화가 되기도 했다.
민스키라는 이름을 책에서 처음 보는 저 같은 인공지능 문외한도 Arxiv에서 논문을 받아 본 횟수는 꽤 됩니다. 아이러니란 생각이 듭니다. 반대 진영의 악마 같은 탄압이 혁신적인 오픈소스 운동을 만들었다고 살짝 내용을 왜곡하면 저에게 익숙한 오픈소스 프레임워크 Spring 등장 배경에 존재했던 JCP를 좌우하던 벤더 회사들이 생각납니다. 그리하여 서로 다른 두 현상이 마치 사회적 패턴처럼 보여 혁신은 기득권이 자기 이익을 지키는 일이 극에 달하는 순간에 만들어지는 것이 아닐까 하는 생각이 듭니다.
그리고 주식 폭등으로도 유명한 엔비디아가 소 뒷걸음치듯이 만들어 낸 혁신에 대한 뒷이야기도 나옵니다.
마침 2007년부터 엔비디아가 자사의 GPU를 일반적인 과학 기술 계산용으로도 쉽게 활용할 수 있는 소프트웨어 개발 도구 쿠다CUDA를 만들었다. <중략> 쿠다를 만든 엔비디아도 미처 몰랐던 사실이었다. 딥러닝 연구자들이 자신들의 필요에 의해 쿠다를 지원하는 엔비디아의 GPU를 발견한 셈이다. 딥러닝 연구자들 사이에는 GPU를 사용하게 되면 신경망의 계산 속도를 획기적으로 빠르게 만들 수 있다는 소문이 돌기 시작하고 하나둘씩 엔비디아의 GPU를 사용하게 된다.
이 내용을 읽으면서는 지금 보면 무모하게 진행했던 일들에서 배운 '누적 경험'을 어떻게 반전시켜서 라이트의 법칙 사례로 만들 것인지에 대한 영감과 용기를 주었습니다.
생성 인공지능의 중추: 트랜스포머 모델과 디퓨전 모델
다음으로 '생성 인공지능의 중추'라는 제목의 내용 중에서 밑줄 친 다발말을 다룹니다. 먼저 RNN 신경망 구조가 긴 문장의 맥락을 잘 파악하지 못하는 문제를 해결하기 위해서 고안된 방안으로 트랜스포머 모델을 소개하고 있습니다. 그리고, 트랜스포머 모델을 알리는 논문으로 알고 있는 'Attention is all you need'에 대해서도 소개합니다. 가장 인상적인 설명은 다음 한 줄로 집약되는 듯합니다.
트랜스포머를 만능의 범용 신경망 구조로 보기도 한다.
뒤이어 디퓨전 모델도 소개합니다.
새로운 생성 모델이 바로 디퓨전Diffusion 모델이다. 디퓨전 모델은 통계물리학에서 유래한 것으로, 기체의 확산 현상에서 따와 '확산'이라는 의미를 가진 영어 단어 'Diffusion'이 이름이 되었다. <중략> 디퓨전 모델은 화가가 그림을 그릴 때 전체적인 구도를 잡고 세부적인 묘사로 들어가는 것과 비슷한 방법이기도 하다.
생성 인공지능의 시대: 이미지 생성 모델과 대규모 언어 모델
이제 '생성 인공지능 시대'라는 제목의 내용 중에서 밑줄 친 다발말을 다룹니다.
2022년 11월 30일에 공개된 텍스트 생성 모델 챗GPT가 가장 큰 반향을 불러일으켰다.
한편, 이미지 생성 모델의 대중적 인지도를 높인 사건은 달리가 만든 '아보카도 의자'였다고 합니다.
생성 인공지능이 학습하는 과정에서 한 번도 본 적이 없는 새로운 이미지를 생성한 것은 매우 놀라운 일이었다. <중략> 단순한 모방을 넘어 기존에 있는 개념을 조합해 새로운 개념의 이미지를 만들어 낸 것이다. 생성 인공지능이 처음으로 창작의 영역에 발을 들여놓았다고 볼 수 있는 매우 중요한 사건이다.
그리고 다음 포기말은 아주 우연적으로 만난 정보를 연상시킵니다.
신경 세포들이 연결되는 접점인 시냅스Synapse의 수는 약 100조 개로 추정하고 있다.
놀랍게도 시냅스 숫자가 우리 몸을 구성하는 세포의 숫자와 동수라니 놀랍습니다.
시냅스와 파라미터를 대응시키는 설명은 이유는 알 수 없지만 꽤 마음에 듭니다.
인간의 뇌 신경망에 있는 시냅스에 해당하는 것이 인공 신경망의 파라미터Paratemters이다. <중략> 이런 연결 가중치를 저장하는 변수를 파라미터라고 한다.
인공지능 리터러시가 필요하다
마지막으로 '인공지능 리터러시가 필요하다'라는 제목의 영역에서 밑줄 친 포기말들입니다.
두려움이 없어야 세상이 제대로 보인다. 인공지능 리터러시가 필요한 시대이다.
첫 포기말은 이미 2년 전에 썼던 저 자신의 지향점을 드러내는 말입니다. 최근 수년간 제 마음속에 항상 함께 하는 테마이기에 반가웠습니다.
지난 지식 덕후의 탄생 연재
8. 늘어나는 AI 고용주(?)와 생각의 자동화라는 부작용
