글 읽는 뇌

스타니슬라스 드앤 저 - 읽기의 신경과학

 이 책의 저자 ‘스타니슬라스 드앤’은 인지신경과학자다. 그는 <뇌의식의 탄생>이란 책에서 의식이 대뇌 신경세포의 네트워크에서 생겨나며, 뇌 전체에 정보를 주고 받아 통합 처리하는 과정이라고 주장했다. 이른바 ‘광역 신경세포 작업공간 이론’이다. 그는 여러 실험에서 보고된 뇌영상과 뇌파와 같은 구체적 증거를 바탕으로 설득력있게 이론을 제기했다. <뇌의식의 탄생>이 2010년 출간되었는데 (번역은 2017년) 그 전에 이 책 <글 읽는 뇌>가 먼저 나왔다. 즉, 스타니슬라스 드앤은 ‘읽기’의 신경과학을 먼저 연구했고, 이를 발전시켜 광역 신경세포 작업공간 이론을 구성했다. 어떻게 ‘읽기’가 뇌의식과 이어지는걸까? 이 책의 내용을 간략하게 소개하고자 한다. 

 이 책을 만나기 전에는 읽기의 과학에 대해서 관심이 없었다. <뇌의식의 탄생>이 인상깊어서 저자의 다른 책을 살피다가 발견한 책이다. 나는 독서를 즐겨하고 책뿐만 아니라 다양한 형태의 글읽기를 좋아한다. 문학, 인문, 역사, 과학 등 다양한 분야를 읽다보니 독서를 가능하게 만드는 언어 자체에도 흥미가 생겼다. 외국어를 공부하는 건 싫지만 언어의 역사와 철학에 대해서는 드문드문 책을 읽었다. 언어는 우리를 표현하는 매체이며 사고의 수단이다. 그래서 인간보다 언어가 더 주체라는 생각까지도 들었다. 그런데 이 책을 읽고 언어를 또다르게 생각하기 시작했다. 글 ‘읽기’를 가능하게 만드는 뇌의 작용을 알게 되면서 (문자)언어의 물리적 근거를 알아가는 과정이 흥미로웠다. 언어는 마법이 아니라 우리의 뇌에 이미 예비되어 있었다. 읽기가 뇌에서 이루어지는 과정과 읽기를 가능하게 한 뇌의 진화, 읽기가 인간에게 미친 영향을 알아보자. 

 읽기의 과정 

 사람의 눈이 책을 보면 보통 한번에 한 단어가 인식된다. 눈은 망막의 중심을 자극하는 부분만 정밀하게 파악한다. 주변부에 있는 문자는 아무리 커도 제대로 알아낼 수 없다. 눈은 (알파벳 문자 기준으로) 10~12개의 문자로 이루어진 단어를 한 번에 담을 수 있다. 그래서 글을 읽을 때 안구는 도약운동을 해서 다음 위치로 이동한다. 망막에 닿은 문자열의 시각 정보는 시신경을 따라 후두부의 시각피질로 전달된다. 이때 문자열은 선분이나 원과 같은 최소한의 기하학적 성분으로 분해된다. 문자열의 시각정보는 일차 시각피질에서 고차 시각피질로 올라가면서 다시 문자의 대략적인 형태를 재구성한다. 그리고나서 뇌는 이 신호를 좌반구 후두측두 영역으로 보낸다. 

 문자상자

 이곳은 입력 문자열에 대한 정보가 언어 영역으로 전송되는 특별한 읽기 영역이다. 뇌의 후두엽과 측두엽의 경계, 외측 후두측두구라 불리는 피질 외투막의 고랑 안에 있다. 저자는 이곳을 ‘시각 단어 형태 영역(visual word form area : VWFA)’으로 부르자고 제안했다. 이 책에서는 이해하기 쉽게 뇌 속의 ‘문자상자(the brain’s letterbox)’로 이름지었다. 이 영역은 문자열을 빠르게 파악하여 발음과 의미를 처리하는 상위영역으로 전달한다. 즉, 문자열의 시각적 형태를 식별해 시각정보가 ‘글자’라는 사실을 인식한다. 이는 단어의 발음과 의미를 연계하는 단계 이전에 해당한다. 

 ‘문자상자’의 뒤쪽에서 앞쪽으로 갈수록 재인(再認 : 본래의 인식을 고쳐 새롭게 인식함, 과거에 경험한 것을 현재의 경험 속에서 다시 의식에 떠올리는 일)하는 문자열의 크기가 커진다. 하나의 문자에서 두 문자의 쌍, 그리고 단어까지. 인공지능에서 딥러닝 방식이 알고리즘을 계층으로 나누어 원하는 결과를 얻는 구조와 비슷하다. 그러면 문자상자가 문자열을 해독할 때, 단어의 길이(문자의 갯수)가 길수록 처리 속도가 느려지지 않을까? 그렇지 않다. 문자상자는 정보를 병렬 처리한다. 단어를 문자 하나하나를 따져서 인식하는 것이 아니라 통째로, 한꺼번에 인식한다. 이 때문에 ‘단어 우월 효과’가 발생한다 .

< 캠릿브지 대학의 연결구과에 따르면, 한 단어 안에서 글자가 어떤 순서로 배되열어 있지는는 중하요지 않고, 첫 번째와 마지막 글자가 올바른 위치에 있는 것이 중하요다고 한다. 나머지 글들자은 완전히 엉진망창의 순서로 되어 있라을지도 당신은 아무 문제 없이 이것을 읽을 수 있다. 왜하냐면, 인간의 두뇌는 모든 글자를 하하나나 읽는 것이 아니라 단어 하나를 전체로 인하식기 때이문다.>

 우리는 위화감 없이 위 글을 읽을 수 있다. 그러나 자세히 들여다보면 음절의 순서가 바뀌어 있다. 문자상자가 문자열의 시각적 정보를 재인할 때, 문자들을 한꺼번에 병렬로 처리한 결과, 우리는 단어 전체를 통으로 인식한다. 그러므로 맨 앞과 뒤의 문자만 정확하면 나머지 구성성분이 뒤섞여 있어도 별 문제없이 글을 읽을 수 있다. 문자상자의 역할은 여기에서 그치지 않는다. 

 대문자 “A”와 소문자 “a”가 같은 문자다. 문자의 크기가 크거나 작거나 같은 문자다. 서체가 달라도 같은 문자다. 이와 같은 지각 불변성도 문자상자가 책임지고 있다. 만약 이러한 불변성이 없다면 우리는 단일한 크기의 한 가지서체로 된 글만 편하게 읽고, 다른 형태의 글은 상형문자를 해독하는 기분으로 읽어야 할 것이다. 우리는 어떻게 이러한 지각 불변성을 가졌을까?

 영장류와의 비교 

 인간 뇌 속의 ‘문자상자’ 영역은 물체나 얼굴을 재인하는 피질 영역 주위에 있다. 이 부위는 원숭이 뇌의 구조에서 물체와 얼굴을 시각적으로 재인하는 위치와 거의 일치한다. 시각 정보를 재인하는 위치는 사람이나 원숭이나 다르지 않다. 원숭이의 뇌에 전극을 삽입해 뉴런 활동을 기록하는 실험에서 뉴런은 특정 대상과 형태에만 반응하여 활성을 보였다. 인간과 마찬가지로 하위 시각 피질에서는 선분 수준에서 반응하고, 고차 시각 피질로 올라갈수록 복잡한 형태에 반응을 보였다. 일차 시각 영역은 선분과 대상의 대략적인 윤곽선에, 이차 시각 영역은 특정 기울기의 직선, 또는 곡선의 조합에 민감하다. 이때, 뉴런은 아무렇게나 발화하지 않고 특별히 선호하는 대상이 있는 것처럼 반응한다. 그 대상의 어떤 기하학적인 구조가 유지된다면 다른 특성을 생략해도 여전히 반응하는 것으로 드러났다. 즉, 뉴런들은 기본 모양 목록을 만들어둬서 이미지를 범주화하고 세밀한 특성을 파악한다. 예를 들어, 뾰족한 모양의 ‘V’자 모양에 반응하는 뉴런은 손바닥 윤곽이든, 고양이 귀든 비슷한 형태에 대해서 항상 발화한다. 고차 피질로 갈수록 이런 활성 뉴런을 조합해 복잡한 모양을 식별할 수 있다. 

 원숭이에서 인간의 문자상자에 해당하는 영역, 하측두 피질 부위에 있는 뉴런은 문자나 기호와 닮은 모양을 특히 선호하는 것으로 나타났다. 예를 들면, Y, T, F와 같은 모양이다. 이런 모양은 시각적으로 보는 대상의 해석에 필수적인 요소이기 때문이라고 할 수 있다. 

 T 모양은 겹쳐진 대상에서 앞과 뒤를 구별하고, Y,F 모양은 사물의 윤곽선 모서리에서 흔히 보인다. 이런 모양을 시각 장면의 ‘비우연적 속성’이라고 한다. 이런 비우연적 속성은 사물의 시각적 특징을 재현하는데 중요하다. 

 위 그림에서 보듯이 모서리 부분만 가지고 어떤 물체의 부분인지 쉽게 알 수 있다. 반면 다른 윤곽선으로는 알기 어렵다. 하측두 뉴런은 T,F,Y,O와 같은 로마자 모양을 이용한다. 그래서 시각적 이미지 재인에 가장 효율적으로 뉴런을 활용할 수 있다. 간단한 구조로 특정된 기본 부호들을 활용하기 때문에 이미지의 변형(크기, 기울기 등)에 대해 불변적이다. 이런 모양은 알파벳에만 해당되지 않는다. 한글의 기본 자음과 모음의 모양도 이런 기본적 부호와 비슷하다. 그렇다면 인간은 문자의 모양을 발명했다 볼 수 없다. 이런 모양들은 자연의 형태를 따라 뇌에 수백만 년 넘게 잠재해 있었다. 인류가 문자를 발명하면서 재발견한 셈이다. 

 신경 재활용

 위에서 살펴본 바와 같이 문자가 없는 영장류의 뇌에서 얼굴과 물체를 인식하는 부위에 기본 문자틀이 잠재되어 있다. 때문에 인간의 아동은 읽기 교육을 통해 ‘문자 상자’가 단어의 시각적 재인을 할 수 있다. 이곳은 원래 글을 읽기 위해서 따로 준비된 뇌의 영역이 아니다. 물체와 얼굴을 인식하기 위한 뉴런이 뇌의 가소성을 통해 문자 재인에 특화된 뉴런으로 변모한 것이다. 저자는 이런 현상을 ‘신경 재활용(neuronal recycling)’이라고 부른다. 문자와 같은 문화적 창조가 뉴런이 원래 기능과는 다른 역할을 수행하도록 하는 일을 일컫는다. 이때 ‘재활용’이란 단어의 의미에 주의를 기울여야 한다. 어떤 물건을 재활용할 때, 원래 물건의 특성에 따라 활용할 수 있는 범위가 제한되는 것처럼 신경의 재활용도 신경 네트워크의 제약에 따라 일정한 한계 안에서만 가능하다. 뇌의 가소성은 무한대로 뻗어나가지 않는다. 오히려 뇌는 일종의 거름장치와 비슷하다. 문화적 표상이 뇌의 적응 범위 안에 들었을 때만 선택하고 활용을 제한한다. 인간의 뇌는 ‘빈 서판(the Blank Slate)’이 아니다. 

공감각

 유명한 학자나 예술가들 중 일부는 공감각을 느낀다고 알려져 있다. <롤리타>의 작가 블라디미르 나보코프, 물리학자 리차드 파인만, 그리고 요즘 내가 가장 좋아하는 가수 빌리 아일리쉬도 유명한 공감각자다. 이들은 문자와 숫자를 볼 때, 다른 색깔로 나타난다고 인식하는 경우도 있고 음악이나 말을 들으면 색깔이나 움직임을 보기도 한다. 대부분의 공감각은 학습과 연계되어 있다. 공감각을 활성화하는 자극은 대개 문자나 숫자, 음악, 요리의 맛 등이다. 이런 사실은 공감각이 신경 재활용 가설을 뒷받침하는 증거가 된다. 신경 재활용을 통해 새로운 문화적 자극(글, 음악, 숫자, 말소리 등)을 재인하는 뉴런이 원래의 자극을 재인하는 뉴런과 혼동되기 때문에 공감각 현상이 일어난다.   즉, 공감각자는 문자와 색채를 재인하는 영역이 상당히 중복되어 있다. 신경 재활용이 불완전하게 일어나 시각 피질의 분업이 덜 된 상태라고 볼 수 있다. 그렇다면 모든 아동이 공감각을 느낀다는 가설이 근거가 있다. 아이들이 문자나 기호를 배울 때 일어나는 색깔과 연합하여 느끼는 공감각은 피질에서 일어나는 신경 재활용의 과정일 수 있다. 

난독증

 우리 뇌 속의 문자 상자가 문자열을 시각적으로 재인한 신경 신호는 뇌의 여러 곳으로 퍼져 나간다. 대략 두 개의 경로가 있다. 음성 언어 영역에 전달되어 시각적 기호를 말소리로 변환하는 경로와 마음 속의 어휘 사전인 심성어휘집과 연결되어 의미와 결합하는 경로가 있다. 문자열이 독일어처럼 거의 그대로 발음되는 경우는 대개 철자-소리 변환 경로를 따른다. 발음이 예외적인 경우(영어에 많다)는 어휘 변환 경로가 활성화될 것이다. 실제로는 두 경로를 모두 이용하며 정보를 복잡하게 주고받으며 글의 의미를 알게 된다. 

 난독증인 사람은 이중에서 시각적 기호를 말소리로 변환하는 음운 경로에 결함을 가지고 있다. 난독증을 유발하는 다른 메커니즘도 있다. 공간 주의력 결함으로 인한 난독 아동도 인정되는 분위기다. 그러나 대부분의 난독증 환자는 말소리의 음운 처리를 잘 하지 못한다. 문자를 소리로 바꾸는 능력이 떨어진다는 의미다. 뇌영상으로 진행한 연구에 따르면 난독증의 문제는 좌반구 측두엽의 신경 연결망 안에 있다. 불변적 시각 재인(문자 상자)과 음운 처리를 연결하는 곳이다. 어째서 난독자는 좌반구 측두엽의 문자-음성 경로가 제대로 기능하지 못하는 걸까?

 발생학적으로 뉴런은 뇌실 부근의 배종 영역에서 처음 형성되어 피질의 여러 곳으로 이동한다. 뉴런의 분열과 이동은 태아의 발달 과정에서 결정적일만큼 중요한 단계다. 이 시기에 태아는 알코올 등의 유해 물질에 대단히 민감하다. 많은 난독자는 이렇게 중요한 뉴런 이동에 문제가 생겨 좌반구 측두엽의 음운 경로가 제대로 기능을 못하게 된 결과라고 할 수 있다. 이처럼 뇌의 구조적 문제로 발생한 난독증이라 해도 뇌가 가소성을 발휘하기 때문에 어느 정도 극복할 수 있다. 

 전역적 작업공간

 인류가 문자를 발명하고 글을 읽을 수 있게 된 이유는 다음과 같다. 이미 뇌의 신경세포 네트워크가 읽기에 필요한 능력을 갖추고 있다. 뇌의 가소성은 신경 재활용을 통해 문자 재인에 특화된 영역, ‘문자 상자’를 만들었다. 여기에서 시각적으로 재인된 문자열은 음운 경로와 어휘 경로 등을 통과해 의미를 얻는다. 그런데 영장류의 뇌도 이미 인간과 비슷한 경로를 통해 시각 정보를 받아들인다. 왜 인간만 문화를 만들고 글을 읽을 수 있을까? 스타니슬라스 드앤은 인간만이 문화 대상을 발명하고 전달하는 능력을 갖추었기 때문이라고 주장한다. 

 영장류도 기호나 도구 사용을 배울 수 있다고 한다. 그러나 영장류는 아이디어들의 새로운 조합을 발견하는 능력과 의식의 심적 종합을 정교화는 능력이 없다. 영장류의 뇌 피질은 대개 모듈화 되어 있다. 전문적인 영역으로 나뉜 모듈은 각기 고유한 입력, 구조, 출력을 갖는다. 그러나 인간의 뇌는 다르다. 두껍게 발달한 전두엽, 특히 전전두피질에 있는 뉴런은 뇌의 다른 영역과 장거리 연결망을 형성한다. 영장류의 뇌가 모듈의 역할에 알맞는 기능만 수행한다면 인간의 뇌는 서로 정보를 주고 받으며 모듈의 역할을 벗어난 기능도 발휘할 수 있다. 저자는 이러한 대뇌 피질의 네트워크 발전이 대규모 ‘신경 작업공간(neuronal workspace)’를 만들어 지식을 조립하고, 평가하고, 재조합하고, 종합할 수 있는 능력을 진화시켰다고 제시한다. 더 나아가 인간의 ‘의식’적 사고란 이러한 전역적 신경 작업공간 안에서 이루어지는 정보의 처리라고 주장한다. 

 ‘광역 신경세포 작업 공간’은 우리의 무수한 생각을 의식으로 불러내 마음대로 조정할 수 있게 만든다. 이전에 없는 방식으로 생각을 조합해 새로운 아이디어를 발생시킬 수 있다. 새로운 문화를 창조하는 인간 능력의 비밀이 바로 이것이라고 저자는 생각한다. 읽기 또한 여기에서 파생했다. 저자에 따르면 읽기의 발명은 단순히 시각 피질을 효율적으로 자극하는 일련의 기호 제작 때문에 가능했던 것이 아니다. 입말(구어)의 청각적, 음운적, 어휘적 표상을 문자 기호와 연합할 수 있는 능력 때문에 우리가 글을 읽을 수 있다. 다른 영장류는 이런 연합할 수 있는 능력이 없다.

 읽는 시대의 종말?

한편, 인터넷 환경의 변화와 스마트폰의 보급은 사람들이 글을 읽는 방식을 변화시켰다. 정보를 얻기 위해 두꺼운 백과 사전이나 책을 펼치는 일은 거의 없어졌다. 예전에 알렉산더 대왕이 페르시아 대군을 물리친 가우가멜라 전투의 전개를 알기 위해서는 책에서 지도를 보고 글을 읽고 마음 속으로 상상해야 했다. 이제는 유튜브에서 영상을 통해 쉽게 파악할 수 있다. 혹자는 이런 변화가 사람들의 문해력을 낮춘다고 우려한다. 실제로 점점 많은 사람들이 긴 글을 읽지 않는다(못한다). 점점 복잡해지는 사회와 지식 체계를 따라잡고 새로운 가능성으로 나아가기 위해서는 막대한 양의 지식을 통합하고 재조합하는 능력이 필요한데 긴 글을 읽지 못한다면 이런 능력을 갖추기가 불가능할 것이다. 과연 유튜브와 같은 형태의 새로운 지식 습득 형식이 이런 문제를 풀어낼 수 있을까? 

 이러한 우려는 고대에도 있었다. 바로 문자언어의 활용이다. 스타니슬라스는 이 책에서 플라톤의 <파이드로스>에 나온 논쟁을 소개했다. 문자를 발명한 이집트의 신 테우트(토트)와 파라오 타무스의 논쟁이다. 파라오는 구전으로 전승되지 않고 기록으로 남은 말이 학습자의 정신을 나태하게 만들며 인간의 기억력을 저하시킬 것이라 걱정했다. 플라톤은 이와 같은 입장에 서 있었다. 그러나 저자에 따르면 “읽기 학습은 언어기억을 향상시킨다. 문맹자는 이야기나 시의 대략적 의미를 기억할 수 있지만, 문해자에 비해 열등한 ‘언어적 작업 기억’을 가진다.” 과연 유튜브와 같은 영상기록매체는 우리의 능력을 퇴보시킬까? 그보다는 지식과 정보를 다루고 조작하는 방법이 변한다고 봐야 할 것이다. 문자 언어가 다른 방식으로 인류를 나아가게 만들었듯이. 

 읽기의 신경과학을 스타니슬라스 드앤이 쓴 <글 읽는 뇌>를 통해 살펴봤다. 사람이 어떻게 감각을 인지하는지 과학적으로 이해하는 여정은 이제 막 시작한 셈이라고 한다. 읽기의 신경과학도 대략적인 개요만 잡았을 뿐 구체적인 세부과정은 모르는 것 투성이다. 그럼에도 지금까지 연구된 내용만 봐도 무척 흥미롭고 재미있었다. 인간의 뇌에 대해 조금 더 이해할 수 있었다. 뇌의 가소성과 그 한계가 어느 정도인지 이 책을 통해서 감을 잡을 수 있었다. 이토록 흥미진진한 내용이 펼쳐질 줄 처음 책을 들었을 때는 알지 못했다. 다음에는 아름다움의 신경과학, 신경미학을 알아볼 예정이다. 인간의 느낌과 감각, 그리고 마음, 의식은 언제나 호기심의 대상이다. 읽기에 대해서도 다른 좋은 텍스트가 있으면 계속 알아볼 생각이다.