가지치기하면 안되는 LLM 세계
인공 지능인가? 진화된 인간 지능인가?
소나무의 남길 가지와 잘라서 포기할 가지를 선택하는 것이 가지치기다. 얽히고 설켜 잘라낼 가지를 고르는 것이 생각만큼 쉽지는 않다. 하지만 한참을 보고 있으면 잘라야 할 가지가 보이기 시작한다. 가치를 치지 않는 방법도 있다. 애써 고르지 않고 굵고 실하게 자랄 가지와 가늘어져 결국 말라버릴 것을 나무에게 맡기는 것이다. 인간이 바라는 방향이 아니라 나무가 알아서 자라게 하는 것이다. 다만 가지가 무성해지면 나무속까지 햇빛이 들어가지 못해 안쪽 잎이 시들기는 한다.
닥치는대로 모인 빅데이터가 왠지 나에겐 꼭 무성하게 자라 얽혀버린 소나무 가지 더미 같아보인다. 쓰레기 데이터가 있어 골라내어 폐기해야만 활용가능한 데이터를 제대로 분류할 수 있을 것같다. 하지만 빅데이터는 그런 것이 아니라고들 한다. 그냥 모든 것을 모으는데 소나무로 보면 모든 가지를 그냥 두는 것이다. 물론 차이가 있는데 빅데이터는 가지치기와는 다른 전략을 세운다. 아니, 좀더 엄밀히 말하면 다른 철학을 가지고 있는듯 보인다.
거대 언어 모델 LLM은 모든 데이터를 텍스트로 나누고, 심지어 더 쪼개서 토큰으로 해체시킨다. 이제 AGI 사용자가 질문하면 토큰으로 조각나있던 텍스트는 어느새 모이고 배열되어 해당 질문에 최적의 답을 제공한다. LLM은 데이터 조각 하나까지 소중하게 여기고 가지를 쳐서 버릴 것이 없다고 말하는듯하다. 소나무 가지는 아무리 작아도 그 존재가 분명하게 드러나 햇빛을 가리든지 통풍을 막아 다른 가지의 성장에 지장을 주게 마련이다. 하지만 빅데이터 가지인 토큰은 소나무 가지와 달라 자신의 존재감을 드러내지 않아 햇빛을 가리든지 원활한 통풍을 막지도 않는다. 식물의 씨앗, 종자로 산종되어 모습을 감추고 다른 존재에 미치는 영향을 최소화하고, 심지어 사라진 존재, 즉, 죽은 존재와 같은 형식을 취한다. 이후 부름을 받으면 생명력은 살아나 단어와 문장이 되어 의미를 만드는 역할 한다. 소나무의 잔 가지는 자신을 희생해 다른 가지를 살리지만 빅데이터는 모든 존재를 “없는 존재”같은 토큰으로 해체 보관하고 다시 상황에 맞게 부활시키는 전략을 취한다. 생성형 AI의 LLM은 자연 생명의 윤리 법칙을 따르는듯 보인다. 물론 빅데이터가 엄청난 전기를 소모한다는 면을 간과해서는 안되지만, 인공지능은 자신의 존재를 증명하기 위해 없는 존재인 “무”로 돌아가 새로운 존재로 재탄생하는 윤리적 철학을 실천한다는 것만으로도, 인류에게 적지않은 소름돋는 경험을 선사한다.
