문돌이는 어쩌다 AI 엔지니어가 되었을까?

문과출신 AI 엔지니어가 쉽게 풀어쓴 인공지능 설명서

챗GPT와 같은 초거대언어모델(LLM)이 어떻게 사람의 말을 이해하고 자연스러운 문장을 생성해낼 수 있는지 한 번쯤 궁금증을 가져본 적 있지 않으신가요? 우리의 뇌는 기계와 본질적으로 어떻게 다를까요? 우리 인간이 그러하듯 인공지능도 의식과 자유의지를 가지고 스스로의 존재의미를 궁금해하는 날이 올까요? 한발 더 나아가 만약에 윤회나 사후세계같은 것이 존재한다면, 우리는 인공지능으로 다시 태어날 수 있을까요? 이런 엉뚱한 질문들은 제가 문과출신 엔지니어였기에 가능한 질문들이었습니다. 이과형 인재들로 가득한 인공지능 업계에서 이런 질문들은 넌센스이고, 지금당장 중요하게 받아들여지지 않을지도 모릅니다. 

문과라 죄송합니다

하지만 가끔은 이런 사소한 궁금증이 인생을 바꾸는 터닝포인트가 되기도 합니다. 저를 AI 엔지니어의 길로 이끌었던 것도 바로 인공지능의 작동원리에 대한 순수한 궁금증이었으니까요. 저는 직장생활을 하던 도중 우연한 기회에 딥러닝을 접하고 컴퓨터가 인간의 언어를 이해하고 구사하는 메커니즘을 멋지게 구현해낸 언어모델(Language Model)이라는 개념에 완전히 매료되었습니다. 뼛속까지 문과생이었던 저는 관련 논문들을 찾아보며 딥러닝과 자연어처리분야의 공부에 푹 빠져들었습니다. 이렇게 단순한 흥미와 호기심에서 시작된 인공지능과의 인연이 계기가 되어 지금은 인공지능 스타트업에서 초거대언어모델(LLM)을 개발하고 비즈니스에 적용하는 일을 하게 되었습니다.

문과 출신으로서 AI기술을 공부하는 것은 결코 쉬운 일이 아니었습니다. 대학교 교양수업 이후로 펼쳐보지 않아 먼지만 쌓여가던 각종 수학책을 다시 펼쳐 씨름해야 했습니다. AI 엔지니어에게는 코딩능력 뿐만 아니라 통계학과 선형대수학 그리고 미적분에 대한 이해가 필수이기 때문입니다. 문과 출신 엔지니어라는 저의 배경을 십분 활용하여 비전공자도 이해할 수 있게 자연어처리의 과거와 현재 그리고 미래의 기술흐름을 쉽게 설명하고자 했습니다. 

인공지능 공부는 본질적으로 재미있어야 합니다. 그래서 어려운 이론과 수식들은 최소한으로 줄이고, 인공지능(특히 자연어처리)의 주요 개념들을 흐름에 따라 최대한 알기 쉽고 직관적으로 이해할 수 있도록 풀어 쓰고자 했습니다. 그러나 어려운 수식과 코드를 최소한으로 줄였다고 해서 이 책에서 다루는 내용의 깊이가 얕은 것은 결코 아닙니다. 제대로 이해하지 못한 지식은 배우지 않은 것과 같습니다. 제대로 이해하기 위해서는 기본적인 개념과 예제를 통해 익힌 개념과 지식을 실제로 구현해볼 수 있어야 합니다. 재미와 깊이라는 두 마리 토끼를 잡기 위해서 수식과 현업 자연어처리 엔지니어가 실무에서 자주 사용하는 파이썬 라이브러리(library)를 소개하고 코드 예시를 수록해보면 어떨까 싶습니다.

저의 글들이 앞으로 인공지능시대를 살아갈 여러분들이 알아야 할 핵심 담론들을 다루고 인공지능 문해력(literacy)를 키울 수 있는 인공지능 필수 교양서가 되었으면 하는 희망도 있습니다. 점차 거대화 되고 정교해지는  초거대언어모델(LLM)은 이미 사람들의 예상을 훨씬 뛰어넘는 성능을 보여주며 빠르게 발전하고 있습니다. 챗GPT의 기초모델인 GPT-3.5와 GPT-4.0은 스스로 일정수준의 추론(inference)이 가능한 것으로 알려져 있습니다. 가까운 미래에 인간의 도움 없이 생각하는 기계가 출현할지도 모른다는 흥분과 우려섞인 목소리가나오고 있는 이유입니다.

초거대언어모델(LLM)의 최종 종착지는 어디일까요? 충분히 발전한 초거대언어모델(LLM)은 인간과 같이 의식을 가지게 될까요? 모든 영역에서 인간과 비슷하거나 인간을 능가하는 능력을 갖춘 일반인공지능(Artificial General Intelligence, AGI)의 출현은 언제쯤 가능할까요? 그리고 그런 날이 오면 인류는 우리스스로가 창조해낸 ‘지적인 존재’와 어떻게 공존해야 할까요?

인류의 역사속에서 기술은 대체로 인간을 이롭게 하는 방향으로 발전해 왔습니다. 그러나 새롭게 다가오고 있는 인공지능 시대의 기술은 그 성격이 완전히 다릅니다. 『호모데우스』의 저자 유발 하라리가 그의 저서에서 주장하였듯 인공지능은 인간을 특별한 존재이자 세상의 중심으로 바라보는 ‘인본주의’에 종말을 가져올지도 모르기 때문입니다. 인류는 스스로가 창조해낸 존재인 ‘인공지능’에 의해 대체될 위기에 놓인 것입니다. 이처럼 인공지능의 발전은 우리에게 새로운 기회인 동시에 분명한 위협으로 다가오고 있습니다. 인공지능 시대에 더이상 미룰 수 없는 담론과 질문에 대해 자신만의 답을 가지는 것이 중요한 이유입니다.

2.대상 독자

이 책은 인공지능과 자연어처리(NLP)를 한 번도 접해본 적 없는 비전공자 및 인공지능 입문자들도 쉽게 이해할 수 있도록 썼습니다. 업무와 일상생활속에서 초거대언어모델(LLM)과 생성형AI를 활용하고 싶지만 그 작동 원리와 기술발전의 트렌드를 이해하지 못해 답답하셨던 분들은 이 책을 통해 초거대언어모델(LLM) 활용하기 위한 배경지식을 익히고 활용하실 수 있습니다. 또한 자연어처리 분야의 커리어를 시작하고자 하는 학생이나 타분야에서 자연어처리 분야로 이직을 생각하시는 독자분들 역시 인공지능과 자연어처리의 기초를 쌓는 기초 개념서로 활용하실 수 있도록 기술 발전의 흐름에 따라 구성했습니다. 

출처 : 영화 이미테이션 게임

다가오는 인공지능 시대에 인공지능 문해력(AI literacy)를 키우고자 하는 분들께서는 이 책을 기초 교양서로 활용하실 수도 있습니다. 인공지능이 인간 지능의 총량을 넘어서는 특이점에 대한 우려가 현실로 다가오는 가운데 초거대언어모델(LLM)이 인간의 통제를 벗어나 스스로 생각하는 범용인공지능(artificial general intelligence, AGI)를 넘어 초인공지능(artificial super intelligence, ASI)으로 발전할 수 있을지 그 가능성을 살펴보고 인공지능과 공존을 위해 필수적으로 알아야 할 개념을 소개합니다. 자, 그럼 인공지능의 세계로 여행을 떠나봅시다.