인공 신경망 모형을 이용한 언어 처리...??
-
인공 신경망이 인간의 두뇌를 모형화할 때 아래와 같은 도식을 따른다고 한다.
<출처: https://0-sunny.tistory.com/m/71>어떤 관념이나 생각을 언어로 표현하거나 언어를 생각이나 관념을 이해하는 과정이 언어학의 연구 대상인지 인지과학의 연구 대상인지는 모르겠으나, 개인적으로 진짜로 궁금한 건 위 모형을 어떤 식으로 복잡하게 결합시켜야 '생각/관념<->언어' 간의 변환을 설명할 수 있는가 하는 점이다(과연 알 수 있을까 싶기는 하다).
위 도형에서 뉴런이(신경망의 노드가) 어떤 출력값을 낼 것인지는 이들 노드가 활성화되는 조건에 따라서 달라지는데 아래와 같은 활성 함수들이 사용되고 있는 모양이다.
<출처: https://0-sunny.tistory.com/m/71>자, 입력 정보가 수가 아닌 문자인 경우에는 이를 어떻게 처리하는 걸까? 가장 쉬운 방법은 특정 문자에 특정값을 할당해서 처리하는 방법일 것이다. 그런데 실제로 그런 단순한 방법을 사용하지는 않을 테고... 실제로 자연언어처리 분야에서는 특정 문자의 연쇄를 복잡한 연산 과정을 거친 수치화된 값으로 변환시키고 이 값들 간의 거리를 계산하는 방식을 쓰는 모양이다(이 분야의 기법에 대해서는 아직 잘 모른다). 아무튼 이런 방식으로 언어를 처리하는 현재의 기술만으로도 구글 번역기나 음성인식 장치들에서 볼 수 있는 정도의 언어 처리가 가능하다는 건 팩트이다.
다만, 이런 기술적인 처리는 학문적인 호기심을 충족시키기에는 무언가 조금 모자란 듯한 직감적인 뒷맛을 남긴다는 거다. 인간의 두뇌라는 게 구조적으로 그런 처리는 하는지에 대한 의문점이 남는다. 청각 신호든 시각 신도든 '지각 가능한 신호를 수치로 변환시키는 과정이 정말로 두뇌 속에 존재하는가?' 하는 질문에 대한 속 시원한 설명을 아직은 보지 못했다. 후두엽의 특정 뉴런을 자극하면 특정 인물만을 지각하지 못하게 된다는 인지과학의 실험이나 다양한 유형의 실어증 사례들을 보면 분명히 인간의 두뇌를 구조적인 정보 처리를 해 내는 게 분명하다. 문장의 구조나 단어의 구조 등등과 같은 구조는 생물학적인 구조의 도상적인 반영인 듯하다. 그러니 '음소>형태소>단어>구>문장'과 유사한 방식의 구조적 결합은 뉴런의 구조를 반영한 것이 틀림 없어 보인다.
하지만 지각된 정보를 구조적으로 처리하는 과정에 수치로의 변환 과정은 없는 것 같다. 단어, 관용구, 'If ~ then', '결코 ~ Neg' 정도의 구조화된 문장 성분(틀) 등등 다양한 문장 구성 성분들에 대응하는 지각된 정보는 그대로 특정 뉴런이나 뉴런의 연합의 활성화로 기억된다면 수치로의 변환은 불필요해 보인다.
그렇다고 신경망 이론에서 사용하는 '뉴런 도식' 모형처럼 인간의 뉴런이나 시냅스를 잘 묘사하는 이론적 틀도 따로 없어 보인다. 이 도식을 잘 이용해서 문자를 처리하는 어떤 매커니즘을 고안할 수 있다면 좋을 것 같다. 활성화 함수 대신 특정 입력값이 주어지면 작동하는 문법 요소를 넣으면 될 것 같다.
음... 조금 구체적인 생각이 있기는 한데 이 공간에서 그림을 그려가면서 설명하기가 쉽지가 않구나!!
