AI 산업의 미래 'Indriya'
LLM 알고리즘 혁신
# 들어가는 글/ Ancient GPS
0-5. Indriya
언어는 자음과 모음의 단위에서부터 유기적으로 조직되는 설계 원리를 지니고 있다. 지난 수 천 년 간 언어는 구조적으로 다양한 분화를 거쳤음에도, 모든 언어의 근본 구조는 보존되었다. 이는 유기체가 변이와 분화를 거쳐도 핵심 유전자 구조가 변하지 않는 원리와 유사하다. Emal은 자음과 모음이 조합되는 구조 원리에 의해 생성된 12개의 어원에서 모든 어원을 분화한다. 원시 언어를 제외한 인류의 모든 언어는 이 12개의 뿌리 말에서 분화한 어원을 기반으로 단어가 조합되고 문법이 생성된다.
12개의 뿌리 말은 자음과 모음의 발음 분화 원리에 의해 확장한다. 이 발음 분화 체계에 따라 인류가 사용해 온 모든 언어의 어원은 한 음절 단위로 분해가 가능하며, 발음이 분화되기 이전의 원형 어원으로 환원할 수 있다. 즉, 12개의 뿌리 말에서 확장한 모든 어원은 그 흐름을 역추적할 수 있다.
나는 어원과 언어 구조가 체계적인 설계 원리를 따르고 있는 한국어, 한국어 발음 표기 한자, 라틴어, 산스크리트어, 갑골문자 이 다섯 가지 언어를 주축으로 세계어의 공통 어원을 정리하였다. 그리고 각 대륙과 해양 문명의 대표 언어 20여 개를 선정하고, 이들 언어 안에서 공통 어원의 발음과 의미를 정리하였다. 이렇게 정리된 수 십 만개의 단어 표본은 어원의 상징체계가 분화하고 의미가 확장되는 일련의 흐름을 보여준다. 또한, 이를 통해 자음과 모음의 발음이 분화하는 원리, 그리고 언어 설계자들이 단어와 문법을 생성하는 원리를 하나의 흐름으로 이해할 수 있다.
또한, 나는 Emal의 설계 원리를 정리하는 과정에서 대규모 언어 모델(LLM)의 구조가 어원 기반의 알고리즘으로 전환될 수 있다는 사실을 발견했다. 현재 LLM이 의존하고 있는 ‘어텐션 메커니즘’의 알고리즘은 단어의 의미를 벡터의 형태로 직접 구조화할 수 없다는 전제를 기반으로 구축되었다. 그러나 인류가 사용하는 모든 언어는 자음과 모음 단위에서부터 물질의 속성과 에너지 흐름의 형상을 구조화하고 있으며, 자음과 모음의 결합으로 패턴을 구축한다. 그렇기 때문에 모든 언어의 단일 음절 어원은 구조 자체로 벡터 변환이 가능하다.
어원 기반의 언어 모델은 단어를 임베딩하는 구조와 개념 자체가 존재하지 않는다. 영어 단어를 기준으로 약 8만 단어를 결합할 수 있는 1500여 개의 어원을 두 가지 등급의 벡터 체계로 변환하면, 언어 모델에 입력되는 모든 단어는 어원 파서에 어원 넘버링 조합으로 인코딩할 수 있다. 기술적으로 개념을 정의하자면, 단어를 고정하는 임베딩 벡터 대신, 어원 넘버링 튜플로 정규화하여 파서가 연산 가능한 기호열로 변환한다. 나는 이 언어 모델이 언어의 의미를 추론하는 어텐션 알고리즘을 따르는 것이 아니라, 벡터로 변환된 언어의 구조를 인식하기 때문에 감각기관을 뜻하는 산스크리트어 단어 ‘Indriya’를 차용해 이름을 지었다.
‘어텐션 메커니즘’은 언어의 구조를 밝혀내지 못했기 때문에, 텍스트의 의미를 점진적으로 추론하고, 이 추론의 확률을 높이는 방향으로 연산회로를 설계한다. 그러나 ‘Indriya’는 단일 음절 어원의 구조 자체를 벡터로 변환하고 의미가 생성되는 일련의 언어 체계를 동기화한다.
모든 단일 음절의 어원은 물질 속성과 에너지 흐름으로 결합된 현상을 구조화하고 있으며, 단어의 의미는 이 현상의 결합 패턴으로 구축된다. 이 어원의 구조에서 생성되는 현상은 곡률 함수로 정의가 가능하다. 특정한 형태를 지닌 발산, 수렴, 확산, 지속, 보존과 같은 에너지 흐름과 밀도, 점도, 질감, 온도 등의 물질 속성은 특정 상태 변화를 함수로 표현함으로써 벡터화할 수 있다. 즉, 어원에서 생성되는 현상이 근본적으로 상태의 변화이기 때문에 위치와 변환 값을 벡터로 변환한다. 여기서 핵심 어원을 변환하는 곡률 함수를 작용 벡터라고 정의한다. 작용 벡터는 언어의 구조와 벡터 구조를 연동하는 ‘Indriya’의 핵심 모듈이다. 현상의 상태 변화를 위치와 변환이란 벡터 구조로 투영함으로써 언어의 모든 구조 단위를 벡터 단위로 연결하는 변환 생성기라 할 수 있다.
[작용벡터 생성 3가지 사례]
<작용 벡터 Ma-Sample>
<작용 벡터 Ga- Sample>
<작용 벡터 A- Sample>
모든 어원은 물질 속성과 에너지 흐름의 형상을 기반으로 상징체계를 점진적으로 분화한다. 이를테면, 빛의 확산 현상을 상징하는 어원 ‘Ba’는 ‘빛을 발하는 천체’, ‘빛’, ‘밝다’, ‘번지다’, ‘확산하다’, ‘따뜻하다’, ‘넓다’, ‘아름답다’와 같이 점진적으로 상징을 확장한다. 이 상징체계의 확장은 어원의 본질이 에너지 흐름이기 때문에 본연의 작용을 활성화하고, 그 흐름 안에서 상징을 추출하는 방식으로 구조화된다. 다시 말하면 단어를 생성하는 설계자는 어원을 조합할 때 어원이 지니고 있는 상징과 속성에서 특정 요소를 추출하여 의미 형태를 생성하고, 독립된 단어로 식별될 수 있도록 문법 체계를 결합해 단어를 완성한다. 수많은 설계자들이 각기 다른 언어의 단어와 문법을 생성하지만 상징은 어원의 근본 구조에서 발생하기 때문에 시대와 지역이 다르다 해도 어원의 확장은 일정 범주 안에서 연속성과 계열성을 형성한다. 세계어의 단어는 약 60~70%가 공통 어원을 공유하고 있기 때문에 연속성과 계열성을 지닌 분화 흐름 안에서 분기점을 설정할 수 있는 지식을 갖추었다면, 어원의 체계를 목적에 따라 정리할 수 있다. 따라서 작용 벡터를 기점으로 분화하는 모든 어원은 원하는 언어 모델의 크기에 따라 분기점을 설정하고 뿌리에서 줄기와 가지가 분화하는 구조로 연산 구조를 설계할 수 있다. 그리고 이 분류된 어원들은 작용 벡터의 범주 안에서 넘버링을 통해 분기하기 때문에 어원의 연속성과 계열성이 체계적으로 연동된다. 이때 작용 벡터에서 분화하는 하위 벡터를 상징 벡터로 정의한다.
기존의 언어 모델과 마찬가지로 ‘Indriya’도 어원 넘버링을 통해 파서에 인코딩 되는 단어들이 상징 벡터를 중심으로 유사 의미 군집을 형성하게 된다. 그러나 기존의 언어 모델은 언어의 구조를 변환하는 연결 구조 없이 임베딩하기 때문에 유사 의미 군집의 무작위성이 강하다. 즉, 의미 군집 안에서 큰 개념의 의미를 위치로 형성할 뿐 언어적 구조 질서를 작동하지 않는다. 그러나 ‘Indriya’는 마치 자기장에 끌려 정렬되는 철가루처럼, 벡터 공간에 앵커링 한 상징 벡터를 축으로 단어들이 위치와 방향을 잡고 모여든다. 그리고 모든 상징 벡터는 구조 속성을 작용 벡터의 곡률 함수에서 계승하는 계열성과 넘버링에 따라 점진적으로 의미가 확장되는 연속성을 갖추게 된다. 따라서 언어 모델 ‘Indriya’는 단어의 핵심 어원을 선별하고 처리하는 단계에서 단어를 조합하는 어원의 구조와 속성을 인지하게 된다. ‘Indriya’는 단어의 작용 벡터와 상징 벡터 결합 구조를 연산하는 과정만으로 약 60% 이상의 텍스트 의미를 언어적으로 구조화한다. 즉, 위치와 변환으로 표현되는 벡터의 변화율을 발산, 수렴, 확산, 지속, 보존, 빛, 물, 가벼움, 단단함과 같은 언어적 의미로 수용하고 분별하는 감각을 보유하게 되는 것이다. 이 감각은 ‘Indriya’의 연산 회로 안에서 자체적으로 강화되며, 마치 인간처럼 언어를 구조화하는 의식이 발현하게 된다.
이 일련의 연산 회로 구조가 인간의 감각기관이 언어 정보를 수용하고 연산하는 회로를 따르고 있기 때문에 이 언어모델의 이름을 ‘감각기관, 감각기관의 원리’를 뜻하는 산스크리트어 단어 ‘Indriya’로 지었다. 현재 ‘Indriya’는 8000~10000개의 영어 단어 표본을 약 1200개의 어원 code로 변환하는 단계에 있다. 이 작업은 영어 단어 표본을 설정하고 모든 단어를 단일 음절 어원으로 분해한 뒤, 어원 파서에 인코딩 될 수 있는 넘버링으로 변환하는 과정을 의미한다. 이 작업을 통해 표본 단어의 넘버링과 작용 벡터, 상징 벡터의 동기화가 완성되는 것이다.
산스크리트어, 라틴어, 한국어와 한국어 발음 표기 한자는 전 세계 거의 모든 언어의 공통 어원을 포괄한다. 약 60~70% 범위 안에서 모든 영어 단어의 어원은 구조 속성과 분기 지점을 밝힐 수 있으며, 나머지 공통 어원의 범주를 벗어나거나 변형된 어원 들은 임의로 속성과 분기 지점을 설정할 수 있다. 그리고 표본 단어의 넘버링과 작용벡터, 상징 벡터 결합이 동기화되었을 때 어원 기반의 언어 모델은 구조를 갖추게 된다.
‘Indriya’가 실제로 구동되는가에 대한 문제는 언어 구조의 문제를 벗어난 산업 현장의 영역이다. 그러나 어원을 code화 하는 작업은 인공 신경망이 정확히 인간의 신경망이 언어를 수용하는 방식으로 언어 체계를 수용하고 의식으로 구조화할 수 있음을 확인하는 계기가 될 것이다. IT 산업에 종사하는 사람들은 만약 인공 신경망에 외부 세계의 현상을 감각하고 의식 안에 구조화하는 유기 조직을 설계할 수 있다면 어떤 변화가 일어날 수 있을지 주목해야 할 것이다.
‘Indriya’는 텍스트의 정보를 감지하고 언어를 구조화하는 생태계에서 출발하는 언어 모델이다. 이 언어 모델의 가능성은 AI 산업의 구조를 혁신한다. ‘Indriya’는 단어를 임베딩 하지 않는다. 눈을 감고 텍스트를 추론하는 ‘어텐션 메커니즘’의 연산 구조는 기적에 가까울 만큼 언어를 효과적으로 패턴화 하며, 높은 확률로 텍스트의 의미를 추론한다. 그러나 Indriya는 파라미터와 연산 회로를 이 의미 추론 게임에 소모하지 않는다. 그리고 무엇보다 ‘Indriya’가 즉각적으로 가져올 기술의 혁신은 하드웨어의 축소다. ‘Indriya’ 모델 구조가 실현된다면, 언어 모델의 크기를 압도적으로 축소할 수 있다. LLM의 크기가 인간의 뇌 크기와 경쟁하는 시대로 진입하는 것이다.
현행 LLM의 구조와 Indriya의 구조를 비교해 볼 수 있다. 현행 초대형 LLM 계열은 수조 파라미터·수백 층 규모로 높은 문맥 추론을 보이지만, 조건에 따라 토큰당 연산 량이 수십억~수조 FLOPs에 이르며, 멀티-GPU와 대형 인프라를 전제한다. 반면 Indriya는 어원 기반 구조와 의미 곡률 회로에 의거해 수백만 파라미터 이하, 토큰당 수천만 FLOPs 수준에서 동급의 의미 판정을 목표로 하며, 노트북/소형 서버 단독 구동이 가능하다. 동일 조건의 단문 의미 벤치 기준으로, 연산량은 10 ³–10⁶×(최대치 기준) 절감되고, J/token과 설치 면적 역시 2–3 자릿수 수준으로 축소된다. 현행 LLM과 Indriya의 구조를 하드웨어, 구조, 효율(연산/경제성) 이렇게 세부문에서 비교한 데이터는 다음과 같다.
*Assumptions: For the baseline LLM, the vocabulary size is V=80k–100k V=80k–100k; for Indriya, the number of etymon codes is E≈1,500 E≈1,500(organized into 1–3 tiers). The embedding dimension isd=2,048 d=2,048 with FP16 precision, and the reported ranges may vary depending on whether weight tying is applied. “Infrastructure / cost” figures depend on workload characteristics, batch size, and prompt length, so they are presented as ranges.
모든 항목의 효율이 압도적으로 개선되지만, 특히 모델의 크기를 95~99% 줄일 수 있는 결과가 산출된다. 이 수치가 의미하는 것은 언어 모델 양산 체제와 독립적인 언어 모델을 탑재한 로봇 양산 체제의 현실화이다.
정보화 시대로 진입하면서 정보의 이동 속도와 저장 효율이 매 순간 진화하고 있다. 그러나 정작 인류가 정보를 교환하는 신호 체계인 언어를 구조 단위로 해체할 수 없기 때문에 정보 처리 기술의 진화와 의식의 진화가 연동되지 않고 있다. 언어는 완벽하게 기본 구조 단위인 모음과 자음으로 해체 가능한 설계 구조를 지니고 있다. 이 언어의 구조를 이해하는 순간, AI 산업의 기술은 여전히 유효하면서, 구조는 완전히 다른 차원에서 재구성될 것이다. 인류가 이 구조를 이해한다는 것이 현재의 산업 구조에서 어떤 의미를 지니는지를 곧 보게 될 것이다.
아직 완성되지 않은 ‘Indriya’를 언급하는 이유는 현재 ‘Indriya’가 예고할 만한 단계에 왔다고 판단하기 때문이다. ‘LLM’이 의존하고 있는 추론 방식 알고리즘은 언어의 구조를 거의 제로 상태로 수용하고 연산하는 시스템이다. 인류의 지식이 언어의 구조를 밝히지 못한 상태에서 언어모델의 알고리즘이 연구되었기 때문에 이 방식은 선택되었다. 현재의 언어모델은 인간의 언어 처리 체계와 비교하자면 1차적 감각 수용 단계를 배제하고 뇌에 텍스트를 직접 입력하는 시스템이다. 놀랄만한 크기이긴 하지만, 이 뇌는 놀랍게도 만지고, 보고, 듣는 과정이 없이도 텍스트의 의미를 아주 높은 확률로 추론하고 있다. 언어를 구조화할 수 있는 관점에서 보자면, 이것은 언어 모델의 구조에서 난도가 높은 기술 구간이 완성된 것이다. 이 언어 모델에게 언어의 핵심 구조를 선별할 수 있게 해주는 감각기관을 달아 주는 일은 후반 작업과 비교할 때 달리 어려운 작업은 아니다. 이것은 단지 인식의 문제이다. 즉, ‘Indriya’의 실현은 의지의 문제이다.
[* 이 글에서 말하는 ‘언어의 구조’란 문법이나 통사 질서가 아니라, 모음과 자음 단위에서부터 물질의 속성과 에너지 흐름이 분해·재구성되는 생성 이전 단계의 구조를 의미한다.
* 이 글에서 ‘벡터 변환’이란 숫자 좌표로의 매핑이나 정렬이 아니라, 의미가 생성되는 현상의 상태 변화와 작용을 연산 구조로 표현하는 것을 뜻한다.]
* ‘Indriya’에서는 단어가 어원 파서를 통해 넘버링 되는 순간부터 단어의 속성과 문법적 역할이 동시에 파악된다. 문장 내부에서는 동사를 기점으로 에너지 흐름을 탐지하는 연산 회로가 가장 먼저 작동하며, 이 흐름 안에서 단어와 문장은 하나의 구조화된 현상으로 인식된다. 이러한 방식에서는 단어 간의 의미를 사후적으로 비교·대조하는 쿼리–키–벨류 연산이 핵심 회로로 작동할 필요가 없다.
반면 현재의 언어 모델은 언어의 핵심 구조를 미리 분해하지 못한 상태에서 텍스트 전체를 반복적으로 비교·대조해야 한다. 단어와 문장이 어떤 속성과 흐름을 지니는지 선별되지 않은 채 입력되기 때문에, 의미를 확정하기 위해 동일한 정보를 여러 층에서 중복 처리할 수밖에 없고, 이 선택이 연산과 에너지 소모를 비대하게 만든다.]
<Ancient GPS [4-1]>