brunch

You can make anything
by writing

C.S.Lewis

by 안영회 습작 Aug 24. 2024

<AI 미래>로 배운 집필, 소통의 이면, 작명 모순

지식 덕후의 탄생

지난 글에 이어 쓰는 이 글은 <AI 미래> 내용에 바탕을 두긴 하지만 글의 원래 맥락을 벗어난 글일 가능성이 높습니다. 독자님들께 먼저 양해를 구하면 의식의 흐름에 따라 쓴 내용이라 하나의 결론에 도달하기 어려운 글입니다.

책을 쓰면서 나름의 답을 찾아가 볼까?

먼저 프롤로그에서 밑줄 친 포기말(=문장)입니다.

이 책에서 어떻게 하면 이 물결을 현명하게 지나갈 수 있을지 그 해답을 찾아보고자 한다.

이 책에 설마 이 거대한 흐름에 어떻게 대처하라는 해답이 있다는 말로 읽히지는 않았습니다. 그럼 무슨 뜻일까요? 어쩐지 저자가 이 책을 쓰는 과정을 통해서 해답을 찾고 싶다고 여긴 듯했습니다. 목차를 보면 그럴 만한 구성이다 싶었습니다.

더불어 이런 접근을 추정하자 저에게도 어떤 출구를 제시하는 듯했습니다. 설계 덕후로 브런치나 요즘IT에 부담 없이 설계 관련 글을 쓰고 있지만, 책 집필은 엄두가 나지 않았습니다. 그런데, 그 책을 통해서 설계가 과연 무엇인지 해답을 찾을 수 있다면, 집필도 괜찮은 장치가 아닌가 싶은 생각이 들었습니다. 한편으론 정독을 위해 번역을 하기로 했던 순간의 데자뷰 같기도 하고요.

어쩌면 소통의 중추가 무의식일 수도 있나?

한편, 책에서 '모라벡의 역설Moravec's Paradox'을 소개할 때, 다음 포기말을 읽으니 빙산 의사소통이 다른 관점에서 이해되었습니다.

겉보기에 아무런 노력 없이 쉽게 하는 것처럼 보이지만 거기에는 수십억 년의 진화로 축적된 자연의 지혜가 있다.

더불어 묻따풀 과정에서 배운 <나와 남은 모두 난 것으로서 서로 기대어 살아간다>라는 내용도 다시 상기하게 됩니다.

한편, 다음 내용은 최근에 썼던 <현상태의 정확한 인지가 자연적 학습을 일어나게 한다> 탓인지 아기 발걸음을 떠올리지 않을 수 없게 합니다.

인공 신경망이 학습을 한다는 건 다름 아닌 이 연결 가중치를 조정해서 출력층의 오류가 최소가 되도록 하는 최적화 과정인 셈이다.

그리하여 다시 한번 아기 발걸음과 '자연적 학습의 발견'의 연결을 강화하게 됩니다.

LLM 작명 현상에서 발견한 Business illogic

책의 한 페이지(39쪽)를 읽을 때는 마침 작명에 대해서 글을 쓴 후라 그런 듯한데, 마치 작명에 얽힌 비논리가 만들어지는 상황의 예시가 아닌가 싶은 마음으로 읽었습니다. '작명에 얽힌 비논리'란 표현은 과거 마틴 파울러의 책에서 감명을 받았던 내용에서 기인한 표현입니다. 그에 따르면 비즈니스 로직이라고 불리는 내용 안에는 복잡한 비논리가 들어 있다는 것으로 기억합니다.

마찬가지로 작명을 할 때도 해당 영역에서 이름을 부를 사람들이 공통으로 인지하는 어떤 맥락이 있고, 그에 따라 사후에 맥락을 모르고 들으면 '이름이 왜 이렇지?'라고 의문을 품을 수 있을 이름들이 만들어지는 상황으로 읽은 것이죠. 세 가지 사례로 보였는데, 첫 번째는 활발한 발전으로 척도가 급변하는 상황에서 빚어지는 모순이 이름에 담기는 상황으로 보았습니다.

과거에는 대규모 언어 모델이라고 불리다 최근에는 작은 크기로 분류되는 언어 모델들이 생겨나게 되었다. 이들은 작은 대규모 언어 모델small LLM이라고 부르기도 한다. 크다는 수식어 앞에 작다는 수식어가 연거푸 붙어 있는 우스운 꼴이다.

두 번째는 빠른 발전과 병행 개발에 따른 일종의 파편화 현상이 이름에 드러나는 것이라고 보입니다.

부르는 이름조차 서로 통일되지 못하고 크기에 대한 기준도 합의되지 못한 것은 이 분야의 발전이 너무 빠르기 때문이기도 하다.

세 번째는 이름에 암묵적 상징성이 담겨 중의적이 된 경우가 아닌가 싶습니다.

크기를 기준으로 구분하는 이름이 붙게 된 것에는 중요한 이유가 있다. 현재 대규모 언어 모델들은 모두 트랜스포머 구조를 기반으로 하고 있다. 다양한 언어 모델들이 각자 다른 크기를 가지고 여러 이름으로 불리지만, 기본적으로 트랜스포머라는 구조를 공유하며 단지 그 크기만 다른 모델인 것이다.