뇌가 만드는 UI
1부 전지적 UI 시점
뇌가 만드는 UI
깜깜한 두개골에 갇힌 1.4kg의 회백질 뇌가 어떤 방식으로 요란한 세계를 매끄럽고 실감나는 UI로 표상하는지 살펴보면서 이야기를 열어보고자 합니다.
무시받아 온 우리 뇌
예로부터 뇌는 그 능력을 과소평가 받아왔습니다. 고대 이집트인은 미라를 만들 때 뇌 따위 전부 파내 버렸고, 아리스토텔레스는 뇌를 심장 식히는 냉각 장치 정도로만 여겼습니다. 영혼과 지성, 그리고 감성은 모두 심장에서 나온다고 생각했던 때가 있었던 겁니다. 하지만 신경과학의 발전과 함께, 뇌는 드디어 인간의 모든 생각, 감정, 행동, 그리고 의식과 경험을 관장하는 가장 중요하고 복잡한 기관으로서 마땅히 누려야 할 지위를 인정받게 되었습니다.
고대인이 뇌에 대해서 딱히 중요하게 생각하지 않던 것은 어쩌면 당연해 보입니다. 뇌의 목표는 주변 세상을 파악하고, 움직이며, 항상성을 유지하고 번식(복제)의 기회를 잡는 것이지. 자신의 작동 방식을 구구절절 설명하거나, 자신의 능력과 중요성을 뽐내려고 존재하는 것이 아니기 때문입니다. 다시 말해, 뇌에 대해 애써 생각하지 않아도, 우리가 이 아름답고 잔혹한 세상을 느끼는 데 전혀 지장이 없다는 말입니다. 하지만 뇌는 어떻게 세상을 경험하는 걸까요? 뇌는 어두컴컴하고 끈적이는 두개골에 꼼짝없이 갇혀 있는 신세인데 말이죠.
두개골에 갇힌 뇌는 어떻게 세상을 표상하는가?
두개골에 고립된 뇌는 외부 입력 장치(눈, 코, 피부와 같은 감각 기관)와 신경 회로를 통해 바깥세상과 연결되어 있습니다. 감각 기관은 각기 자신의 방식으로 수집한 감각 데이터를 전자기파의 형태로 가공해서 뇌로 보냅니다. 눈은 빛 알갱이를, 귀는 음파의 파형을, 코와 혀는 각각 공기와 음식 속 화학 분자를, 피부는 압력, 온도 같은 물리적 자극을 감지해서 전기 신호로 변환합니다.
그래서 사실, 우리가 “이건 분명히 실제야!”라고 생각하는 것도 사실은 세계 그 자체와는 꽤나 다릅니다. 보통은 별생각 없이 지내지만, 사실 원자들의 세상에는 색도 소리도 맛도 없습니다. 그리고, 손가락을 다쳤을 때, 실제 통증 경험은 손가락이 아니라 뇌에서 일어나는 겁니다. 어느 뇌과학자는 우리가 정상 지각이라고 여기는 것도 어떻게 보면 잘 통제된 환각의 일종이라고 합니다.
진화 속에서 버전 업 된 UI
뇌는 절대로 세계 그 자체를 우리에게 보여주지 못합니다. 뇌에게는 우리에게 세상을 있는 그대로 보여줘야 할 의무 따위 없습니다. 오히려 우리의 생존과 번식에 도움이 되는 방향으로 세상을 왜곡하고 편집해서 보여주는 것에 고마워 해야 합니다.
제가 수제 버거집에 갔는데, 옆 테이블의 대화가 들려 왔습니다. “맛있는 건 왜 다 고칼로리일까?” 저는 그때 슬며시 미소 지을 수밖에 없었습니다. 사실은 선후가 뒤바뀐 것인데요. 맛있어서 고칼로리인 것이 아니라, 우리가 고칼로리인 것을 맛있게 느끼도록, 그래서 자주 찾아서 섭취하도록 보상 체계가 진화한 것입니다.
우리는 일상적으로 “당 떨어진다”라는 표현을 많이 씁니다. 저 역시 단 것을 좋아합니다. 하지만 당의 일종인 포도당 분자를 아무리 들여다봐도 “단맛”의 원천을 찾아볼 수가 없습니다. 하지만 진화의 역사에서 포도당 섭취는 중요했습니다. 아주 훌륭한 에너지원이기 때문이죠. 진화는 생존에 도움이 되는 무엇인가를 발견하면, 그것에 대한 선호를 강화하기 위해 즐거움과 연결시킵니다. 이 경우에는 단맛이라는 감각으로요. 그렇게 우리는 당을 먹을 때 달달함이라는 긍정적인 피드백을 받게 되었고, “포도당에 대한 기호”가 “단 것에 대한 기호로 둔갑하게 된 것입니다. 뇌는 이처럼, 세상에 색을 입히고 향과 맛을 더하는 등의 처리를 해줘서, 사용자가 더 직관적으로 세상을 헤쳐나가도록 도와줍니다.
UI는 뇌의 은근한 속셈
먹는 이야기가 나온 김에 한 가지 예를 더 들어보겠습니다. 우리는 일상적으로 갈증이나 배고픔을 느낍니다. 그럴 때, 우리는 물을 벌컥 마시거나, 밥을 한 술 입에 떠넣습니다. 하지만 무엇인가 이상합니다. 섭취한 물이 체내에 흡수되어 온몸에 돌아 세포 수준에서 활용되거나, 음식물이 소화를 마치고 에너지원으로 사용되기까지는 분명 시간이 걸립니다. 하지만 우리는 물을 마시는 순간, 또는 음식을 몇 술 떠먹는 순간부터 갈증이나 배고픔이 좀 해소되는 듯한 느낌을 받습니다. 여기서 우리 의식의 UI의 측면을 또 한번 발견할 수 있습니다.
뇌는 수동적인 반응 기계가 아닙니다. 먼저 앞서나가기도 해요. 예측은 언제나 반응보다 빠르기 때문에, 예측은 유용합니다. (그래서 뇌를 예측 기계라고도 부릅니다.) 다시 전의 상황으로 돌아가 봅시다. 물이나 음식을 섭취하는 행위 자체가 ‘곧 수분/영양분이 보충될 것이다’라는 강력한 예측 신호가 됩니다. 뇌는 이 예측을 바탕으로, 실제 생리적 변화가 일어나기 전에 미리 ‘갈증/배고픔 해소’라는 보상 감각을 UI에 띄워주는 거예요.
뇌는 실제 에너지 대사가 완료되기 전에 UI에 ‘보급 중’이라는 긍정적인 피드백을 줘서, 우리가 필요한 만큼 음식물을 충분히 섭취하도록 만든다고 볼 수 있습니다. 만약 물을 마시고 30분 뒤에야 갈증이 해소되는 느낌을 받는다면, “갈증이라는 느낌의 상황”에서는 “수분 섭취를 해야 한다.” 이 두 개의 고리가 단단하게 결합하지 못할 겁니다. (참고로 중독의 세 가지 요소 중 하나가 신속한 자극과 피드백이라고 합니다.)
위의 사례를 통해, 뇌가 제공하는 사용자 인터페이스의 특징을 살펴볼 수 있습니다. 우리가 느끼는 ‘현실’은 물리적 실제나 생리적 과정의 직접적인 반영이 아니라, 뇌가 생존과 항상성 유지를 위해 재구성하고 편집한 ‘UI’라는 점입니다. 그러니까 뇌는 우리로 하여금 때때로 ‘착각’하게 만들어 우리를 행동하게 하지만, 그 착각은 우리의 생존과 복지에 매우 유리하게 작용한다는 것이예요. 뇌가 얼마나 정교하게 우리의 경험을 만들어내고 행동을 유도하는지 알 수 있었습니다.
매끄러운 UI의 비밀
우리의 만능 재주꾼인 뇌가 잘하는 것이 또 있습니다. 빈 부분이 있다면 채워 넣고, 뚝뚝 끊어진 것들을 하나의 연속적인 흐름처럼 느끼게 해주지요. 우리 눈이 세상을 보는 방식에서 그 재주를 살펴볼 수 있습니다.
빈 곳은 채워 넣고 흐릿한 곳은 선명한 것처럼:
예를 들어 볼까요? 우리 눈의 망막에는 시신경이 뇌로 빠져나가는 ‘맹점’이라는 부분이 있어요. 여기에는 빛을 느끼는 세포가 없어서 원래는 까맣게 구멍이 뚫려 보여야 합니다. 그런데도 우리는 시야에 구멍이 뚫린 걸 전혀 못 느끼죠. 뇌가 다른 쪽 눈의 정보나 기억을 가져와 비어 있는 부분을 감쪽같이 채워 넣기 때문입니다.
그리고 우리는 세상을 선명한 총천연색으로, 한눈으로도 한꺼번에 파악한다는 느낌을 받습니다. 하지만 우리 망막이 선명하게 바라볼 수 있는 부분이나, 색을 지각할 수 있는 부분은 제법 협소합니다. 시각의 중심부에서 벗어난 주변부는 실제로 색이 없을 뿐만 아니라 흐릿합니다. 아래 니니오의 소멸 착시 그림에서 한 번에 몇 개의 점까지 볼 수 있으신가요?
책을 읽을 때도 우리는 글 전체를 한 번에 읽는 것 같지만, 사실은 뇌가 한 단어씩 ‘찔끔찔끔’ 파악해서 그걸 이어 붙이는 거예요. 만약 피험자가 특정 단어 몇 개에 집중하는 순간 같은 페이지의 다른 단어들을 알아볼 수 없도록 XXXX로 바꿔버려도, 피험자들은 이를 알아차리지 못했다고 해요. 그만큼 뇌는 매 순간의 파편적인 정보를 재빠르게 짜깁기합니다.
흔들리는 눈, 엇갈리는 소리:
그리고 우리가 글을 읽거나 주변을 둘러볼 때, 사실 눈은 매끄럽게 움직이는 게 아니라 초당 몇 번씩 이리저리 빠르게 튑니다. 이를 시선 도약이라고 해요. 카메라로 이런 움직임을 찍으면 분명 화면이 심하게 흔들리고 멀미가 날 겁니다. 하지만 세상은 흔들리지 않고 안정적으로 보이는데요. 이는, 뇌가 안구 운동을 반영해 시각 정보를 매끄럽게 편집하기 때문입니다. 뇌는 안구 운동 중에는 시각 정보를 억제하고 시선 도약 전후의 이미지를 짜맞추어서 순전히 기억을 기반으로 추론한 안정적인 이미지를 만들어냅니다.
또, 우리 망막 각각은 평면 이미지밖에 수집하지 못합니다. 하지만 우리의 두 눈 사이는 6.5cm 정도 떨어져 있어요. 이 덕분에 두 눈에 들어오는 세상 모습은 미묘하게 다릅니다. 마치 두 대의 카메라로 사진을 찍는 것처럼요. 뇌는 이 미묘한 차이를 계산해서 평면적인 망막 이미지로부터 깊이감을 만들어냅니다. 이 ‘양안 시차’ 외에도, 그림자나 원근법 같은 다양한 단서를 총동원해서 3차원 세상을 기가 막히게 재현하죠. (참고로 망막에 맺히는 상은 상하좌우가 반전된 이미지라고 합니다. 뇌는 그 이미지를 다시 상하좌우로 뒤집어 UI를 구성합니다.)
마지막으로 집중력도 회복할 겸 두 손으로 손뼉을 쳐볼까요? (도서관이라면 손뼉을 치는 상상을!) 우리 뇌는 시각 정보를 더 빠르게 처리하기 때문에 손뼉이 맞닿고 나서 소리가 조금 더 늦게 들려와야 맞습니다. 하지만 손뼉을 치는 순간과 소리가 들려오는 순간이 동시인 것처럼 느껴집니다. 뇌가 감각 정보 불일치 해소를 위해 두 사건을 편집해서 ‘동시에 일어난 일’처럼 만들어주는 것입니다.
예측하고 추론하는 뇌
우리는 기억을 바탕으로 끊임없이 세상을 예측합니다. 앞서 예측이 필요한 이유를 한발 빠른 반응으로 설명했었는데, 뇌는 대부분은 예상에 들어맞을 것이라고 가정하고, 오직 ‘예상치 못한 변화’에만 집중함으로써 인지적 자원을 효율적으로 사용하기도 합니다. 그렇게 모든 감각 정보를 하나하나 새롭게 살피지 않을 수 있는 것입니다.
결국, 정교한 예측 모델을 갖는 것이 중요합니다. 뇌는 기억(사전 확률)에 실시간 감각 정보(새로운 단서)를 더해 세상에 대한 가장 ‘그럴싸한 예측(사후 확률)’을 만들어내고 UI에 반영합니다. 이런 추론 방식을 베이지안 추론이라고 부릅니다. 한편, 뇌가 구성한 UI와 실제 세계가 다를 때 우리는 ‘놀라움’을 느낍니다. 이러한 ‘놀라움’을 ‘예측 오차’라고 부르며, 뇌는 이 오차를 줄이기 위해 계속해서 예측 모델을 갱신합니다.
우리가 받아들이는 감각 정보는 UI를 구성하는 재료기도 하지만, 동시에 예측 오차를 줄이는 데 활용되는 데이터기도 합니다.
실시간 vs 기억된 현재
뇌는 기억과 더불어 지금 들어오는 감각 정보를 재료 삼아 우리가 경험하는 ‘현실(UI)’을 그려냅니다. 하지만 이 과정에는 아주 미세한 시간 지연이 있습니다. 그래서 우리가 ‘지금!’이라고 느끼는 순간은 순수한 실시간이 아니라, 뇌가 예측에 감각 정보를 덧붙여 다듬어낸 ‘기억된 현재’에 가깝습니다. 물론, 이 찰나의 시차는 의식하기 힘들 만큼 미미합니다.
이 모든 현상은 무엇을 알려줄까요? 뇌는 현실의 자극을 수동적으로 받아들이는 것이 아닙니다. 뇌는 실시간으로 감각 데이터를 수집할 뿐만 아니라, 기억 기반의 예측 모델을 통해 빈 곳은 채워 넣고, 거친 정보들을 편집하고, 파편들을 통합하면서 ‘사용자’에게 실제 세계를 기반으로 한 그럴싸한 UI를 제공하는 것입니다.
우리는 “UI 시점”에서 세상을 경험하는 사용자입니다. 어떤가요, 사용자님. 세상이 조금 다르게 보이시나요? 다음 장에서는 이 매끄러운 UI 뒤에서 끊임없이 속삭이는 “내면의 목소리”의 정체를 파헤쳐보려고 합니다.
