퍼셉트론을 이용한 문법 표상 (2)

2. 두뇌의 언어 표상

2.1. 기표 표상 - 시·청각 자극의 정보적 표상

인간의 두뇌는 말초적인 지각 경험을 일발화하는 과정을 통해 다양한 관념을 형성해 낸다. 지각된 말초 자극들은 두뇌의 특정 영역에서 처리되는데, 주요 언어 자극인 시·청각 자극 역시 마찬가지다. 청각 자극은 베르니케 영역을 포함한 측두엽에서, 시각 자극은 후두엽(시각 영역)에서 처리되는 것으로 알려져 있다.

지각된 말초 자극들은 해당 자극을 처리하는 영역 근처의 연합 영역에서 보다 일반화된(혹은 범주화된) 정보로 처리된다. 시·청각 자극이 시·청각 정보로 표상되는 과정은 다음과 같다.

(1) 시각 정보 표상

시신경에서 감지된 시자극은 후두엽 끝에 있는 일차 시각 영역(V1)에서 주변부로 전달되면서 점차 복잡한 시각 정보로 집중된다. 이와 같은 정보의 집중은 크기, 모양, 색상 등 수많은 시자극 정보가 복합되는 처리 과정으로 이해된다. 다른 사람의 얼굴에는 반응하지 않지만 제니퍼 애리스톤의 얼굴 시자극에만 반응하는 특정 세포(제니퍼 애리스톤 세포)가 존재한다는 사실은 그 증거가 된다. 말초 자극이 계층적으로 복합되는 과정에서 특정한 정보가 되는 과정이 있음을 이해할 수 있다.

(2) 청각 정보 표상

측두엽이나 후두엽 부분의 대뇌 피질에는 특정한 음향 자극(이하 ‘청자극’이라 함)에 반응하는 뉴런들이 분포한다. 뉴런의 분포에서 나타나는 이와 같은 특징은 시자극 처리와 비슷하게 말초 자극을 계층적으로 집중시키는 과정에서 청자극을 청각 정보로 처리하는 과정이 있을 가능성을 시사한다.

청각적으로 인식된 음운 단위나 시각적으로 인식된 문자 형태는 아직 어떤 의미나 기능과도 결합되지 않은 상태일 것으로 보인다. 기표와 기의의 결합형인 언어 기호 중 기표적 표상에 국한되는 듯하다. 두뇌의 시청각적 영역에서 처리된 언어적 시청각 정보들은 아직 언어 기호의 위상을 갖기는 어렵다.

2.2. 분산적 언어 표상

언어 기호의 기의적 표상에 대해서는 기표적 표상만큼의 구체적인 설명이 불가능하다. 두뇌의 여러 국소 부위들이 연합하여 언어를 처리한다는 점만은 명확해 보이지만 정확히 어떤 영역들이 특정 관념이나 문법 기능을 담당하고 있는지는 섣불리 판단할 수 없다. 문법적 기능이나 의미가 관련되는 최소 언어 단위인 형태소와 그보다 큰 언어 단위의 형성과 관련해서는 시청각적 정보의 계층적 통합처럼 구체적인 연구는 아직 없는 듯하다.

그럼에도 불구하고 퍼셉트론 문법 모형을 구상하는 데 참고할 수 있는 설계 방향이 될 법한 연구 성과들은 있다고 판단된다. 몇 가지 점들을 생각해 보기로 한다.

2.2.1. 기표와 기의의 분산

두뇌는 특정 국소 영역에서 특정 인지 기능을 처리하는데 각 영역들은 다른 영역들과 상호 작용하면서 복합적인 인지 기능을 수행한다. 베르니케 영역과 브로커 영역이 대표적인 언어 관련 국소 영역이다. 브로커 영역이 언어 산출과 관련되고 베르니케 영역이 언어 이해와 관련된다는 초창기의 관찰에 비하면 최근에는 다른 국소 영역의 기능에 대하여 다양한 연구가 수행되고 있다. 브로드만(Brodmann)의 영역과 이보다 자세한 해부학적 국소 부위가 특정 언어 자극에 대응하여 활성화되는지의 여부를 실험하는 방식으로 어떤 두뇌 영역이 어떤 언어 처리에 관여하는지를 밝히는 연구가 축적되고 있다.

David W.G.(2012)는 어휘가 기능적으로 분산된 병렬적 인터페이스임을 주장한다. 발화는 supramarginal gyrus(상변연회)를 포함하는 하두정엽에 위치한 배측 언어 경로(dorsal speech pathway)를 거치는 과정으로서 음성과 조음 간에 인터페이스 기능을 담당한다. 후상측두이랑(posterior superior temporal sulcus)과 중측두회(middle temporal gyrus)에 위치하는 복측 언어 경로(ventral speech pathway)는 음성과 의미 사이의 인터페이스 기능을 담당한다고 한다.

Emiliano Zaccarella et al.(2017)은 통사 구조를 형성하는 구조적 통합(merge)이 IFG(inferior frontal gyrus: 하전두회)에서 일어나는데 구 구조는 BA44 영역이, 문장 구조는 BA45 영역이 보다 활성화됨을 보고하였다. 두 종류의 IFG의 활성화에서 pSTS(posterior superior temporal sulcus: 뒤쪽상측두고랑)가 모두 활성화되었다고 보고한다. Rita C. et al.(2009: 241)에 의하면 STS는 주로 사람의 목소리를 들었을 때 활성화되는 영역으로 음성 인식과 관련된 영역이다.

두 연구를 종합하면 특정 관념에 해당하는 기표적 표상과 구조 표상은 분리된 신경망에서 처리되는 것으로 이해할 수 있다.

2.2.2. 기의의 분산 표상

언어 기호의 기의적 실체의 범위를 어떻게 설정할 것인지는 명확하지 않은 듯하다. 어휘 의미는 특정 관념을 표상하고 문장 의미는 명제를 표상하는 것으로 이해할 수 있다. 하지만 단일 관념으로 이해하기 어려운 문법 형태의 기능이나 구절의 의미 표상 외에도 화용적 기능에 이르기까지 전통적으로 언어학의 의미론에서 다루어 온 여러 의미들이 존재한다. 아마도 문법 기능에서 화용적 효력에 이르기까지를 포괄하여 기호론적으로는 기의적 실체라고 볼 수 있을 것이다.

우선 생각해 볼 수 있는 기의적 실체는 머릿속에 떠올릴 수 있는 단일 관념들일 것이다. 이런 관념들은 언어적으로는 대체로 단일 어휘로 표상된다. 물론 개별 언어의 특징에 따라서 격표지가 달라지거나 하는 등의 여러 복잡한 문제가 있겠으나 대체로는 단일 관념은 단일 어휘로 표상된다고 볼 수 있을 것이다. 그런데 단일 관념도 구체적인 관념부터 추상적인 관념에 이르기까지 다양하기 때문에 특정 두뇌 영역에서 표상한다고 보기는 어렵다. 시각 영역에서도 복측의 what 경로와 배측의 where 경로가 구별되어 있다. 시각 자극을 종합하여 인지하는 방식이 서로 다른 활성화 방향에 따라 일어난다. what 경로에서는 구체물에 대한 관념이 표상된다면 where 경로에서는 공간적 위치나 방향과 같은 기능적이고 추상적인 관념이 처리된다. ‘평화, 신, 학문’ 등과 같은 추상 관념은 애초에 특정한 지각 자극을 바탕으로 형성된 것이 아니기 때문에 시청각 영역 어딘가에서 처리된 기의적 실체가 있을 것으로 예측하거나 기대하기는 어렵다.

어휘의 시계열적 나열을 계층적인 구조로 이해하는 언어적 처리 역시 두뇌의 특정 영역에서 일어나지 않는다. 어휘 의미를 계층적으로 합성하는 언어 처리의 경우 말하기 과정에는 브로커 영역이 주로 관여하고 이해 과정에는 베르니케 영역이 주로 관여한다는 사실은 이미 상식이 되어 있다. 통사적 의미 합성 이상의 화용적 의미나 문학적 의미 처리는 배측전전두엽에서 처리된다(Ingo Hetrich et al. 2021).

최근에는 주로 좌뇌에 위치하는 대뇌 피질의 언어 중추 외에, 소뇌도 언어 처리와 밀접한 관련이 있다는 사실이 드러나고 있다. 특이한 점은 대뇌 피질의 언어 중추들이 기능할 때 소뇌가 전반적으로 활성화되는 것이 아니라는 점이다. 소뇌의 특정 영역들이 대뇌의 특정 언어 처리와 관련하여 상대적으로 더 활성화되거나 그렇지 않거나 하는 양상이 보고되었다. Colton Casto et al.(2025)은 Crus I/II, VIIb 소엽의 경우 비언어적 과제보다는 언어 과제에 민감하게 활성화됨을 보고한 바 있다. Sabrina Turker et al.(2023)도 유사한 관찰을 보고한 바 있는데 뇌 영상을 이용한 403개의 연구를 메타 분석한 결과를 정리하였다.

(3) Sabrina Turker et al.(2023: 709, 713 Figure 4, 5)

(4) Sabrina Turker et al.(2023: 714 Figure 6)

(3)의 좌측 그림에서 (A)는 의미 처리에 민감하게 활성화되는 영역, (B)는 음운 처리에 민감하게 활성화되는 영역, (C)는 운율 처리에 민감하게 활성화되는 영역을 정리한 것이다. 음운 처리와는 달리 운율과 의미 처리에는 두뇌의 신피질 하부의 여러 영역들이 활성화되는 것을 볼 수 있다. (3)의 우측 그림에서는 특정 언어 처리와 관련하여 대뇌 피질과 동시에 활성화되는 소뇌의 영역들이 나타나 있다. (4)는 언어 처리와 관련된 시상(thalamus), 창백핵(pallidum), 조가비핵(Putamen), 미상핵(Caudate), 편도체(amygdala)의 활성화 양상이다.

물론 소개한 연구들이 기의적 실체 즉 의미를 표상하는 두뇌 영역을 나타낸 것은 아니다. 두뇌의 여려 영역에 분산된 자극이나 기억들이 기의적 실체일 것이다. 다만, 의미/통사/음운/운율 처리 과정에서 활성화되는 두뇌의 영역들은 언어 처리에서 기의적 실체가 기표적 실체와 대응하여 활성화되기 위해서는 공조하는 영역일 가능성이 농후해 보인다. 기의적 실체들 역시 두뇌의 여러 영역에 분산되어 표상될 것임을 추리할 수 있다.

이상에서 검토한 바, 언어 기호의 기표적 표상과 기의적 표상은 두뇌의 특정 영역에서 독립적으로 처리되지 않는다. 언어 자극과 연계하여 인간이 경험한 모든 자극들이 생물학적 신경망 조직 내에 분산되어 저장된다. 인간의 두뇌에서 어떤 신경활동이 일어나는지를 뉴런 층위에서 관찰할 방법은 없지만 두뇌의 국소 영역 즉, 국소 신경망에서 언어적 처리가 일어남을 짐작해 볼 수 있다.