내가 하고 싶은 뇌과학 연구

진솔한 나의 이야기

의과대학에 입학한 건 의사가 되기 위해서가 아니라 뇌를 연구하기 위해서였다. 어릴 적부터 뇌에 관심이 있었고, 뇌를 이해하려면 뇌의 질병을 가장 가까이에서 본 사람이 유리하다고 생각했다. 본과 2학년 이후 본격적으로 연구실 문을 두드리기 시작했다. 해부학 연구실에서 유전학 관련 인턴을 했고, 휴학 기간 동안에는 두 곳의 연구실에서 신경 회로 연구에 참여했다.

신경 회로를 연구하면서, 특정 회로를 자극했을 때 동물의 행동이 바뀌는 것을 관찰하는 경험은 강렬했다. 하지만 동시에 근본적인 갈증이 생겼다. 우리가 보고 있는 것은 뇌라는 거대한 네트워크의 작은 조각 하나였다. 하나의 회로를 깊이 파는 것도 중요하지만, 뇌 전체에서 수많은 회로들이 어떻게 배치되고 상호작용하는지를 이해하고 싶었다.

그 호기심이 나를 커넥토믹스로 이끌었다. 커넥토믹스란 뇌의 뉴런 연결을 지도로 만드는 분야이다. 2024년 초파리의 전뇌 연결 지도가 완성되었다는 소식을 접하고 관련 논문과 책을 파고들었다. 하지만 공부할수록 한계가 보였다. 당시 주류인 전자현미경 방식은 한 마리의 뇌를 찍는 데 수년이 걸리고, 무엇보다 시냅스의 물리적 구조만 보여줄 뿐 그 연결의 분자적 성격, 즉 어떤 수용체가 있는지, 신경조절 물질에 어떻게 반응하는지는 알 수 없었다. "전자현미경 대신 광학현미경으로도 이 정보를 얻을 수 있는 방법이 없을까" 라는 질문이 지금 내 연구 방향의 출발점이 되었다.

이 글은 그 과정에서 정리한 생각이다. 뇌과학이 지금 어디에 있고, 어디로 가야 하며, 거기에 AI가 어떤 역할을 할 수 있는지에 대한 나의 현재 이해를 담았다.

0. 뇌과학은 케플러 단계에 있다

케플러는 행성의 궤도를 정밀하게 기술했다. 타원 궤도, 면적 속도 일정의 법칙, 공전 주기와 궤도 반경의 관계. 이 법칙들은 행성의 움직임을 예측하는 데 매우 유용했지만, "왜 행성이 그렇게 움직이는가"를 설명하지는 못했다. 뉴턴이 만유인력이라는 메커니즘을 제시한 이후에야, 케플러의 법칙은 더 근본적인 원리의 결과로 이해되었다.

현재의 뇌과학은 상당 부분 케플러 단계에 있다. 뇌의 활동을 정밀하게 기록하고, 그 안에서 패턴을 발견하고, 수학적으로 기술하는 데에는 큰 진전이 있었다. 수천 개 뉴런의 동시 활동 데이터를 분석하면, 겉으로는 복잡해 보이는 활동이 놀라울 정도로 저차원적인 구조를 보인다. 팔을 뻗는 동작을 할 때 운동 피질 뉴런들의 집단 활동이 회전하는 패턴을 보인다거나, 예쁜꼬마선충의 전뇌 활동이 몇 개의 끌개 사이를 오가는 궤적으로 표현된다는 발견이 그 예이다. 그러나 이런 발견들은 "뇌 활동이 이런 패턴을 보인다"는 기술이지, "왜 그런 패턴이 나타나는가"에 대한 설명은 아니다. 케플러의 법칙처럼 정밀하지만, 뉴턴의 역학처럼 근본적이지는 않다.

1. 배선도를 알아도 교통을 이해하지 못한다

뇌를 이해하려면 뉴런들이 어떻게 연결되어 있는지를 알아야 한다는 것은 자명해 보인다. 실제로 지난 10년간 커넥토믹스는 놀라운 성과를 거두었다. 선충 302개 뉴런의 완전한 배선도에 이어, 2024년에는 초파리 전뇌 약 14만 개 뉴런의 연결 지도가 공개되었고, 쥐 시각 피질 1mm³을 전자현미경으로 완전히 재구성하는 데에도 성공했다.

그런데 기대와 달리, 연결 지도를 확보했다고 해서 뇌의 동역학을 예측할 수 있게 된 것은 아니었다. 선충의 302개 뉴런 연결을 모두 알고 있는데도, 그 뉴런들이 실제로 어떤 패턴으로 활동하는지를 연결 지도만으로는 설명할 수 없다. 도시의 모든 도로를 지도에 그렸다고 해서 출퇴근 시간의 교통 체증을 예측할 수 없는 것과 같다. 도로가 어디에 있는지를 아는 것과, 그 위의 교통 흐름을 지배하는 법칙을 아는 것은 다른 문제이다.

핵심 병목은 시냅스 강도이다. 연결 지도는 "A 뉴런과 B 뉴런이 시냅스로 연결되어 있다"는 사실을 알려주지만, 그 시냅스가 얼마나 강한지, 즉 A가 신호를 보냈을 때 B가 얼마나 크게 반응하는지는 알려주지 않는다. 이 강도를 모르면 시뮬레이션의 자유 매개변수가 수만 개에 달하고, 어떤 값을 넣어도 그럴듯한 결과가 나와버린다. Prinz 등의 연구에 따르면, 고작 3개 뉴런으로 구성된 회로에서도 동일한 출력을 만드는 매개변수 조합이 2천만 개 이상 존재한다. 배선도는 필요 조건이지 충분 조건이 아닌 것이다.

2. 같은 회로, 다른 출력

커넥톰의 한계를 가장 극적으로 보여주는 것은 신경조절 현상이다.

게의 위장 신경절(STG)은 약 30개의 뉴런으로 구성된 작은 회로이다. 이 회로의 연결 구조는 완전히 알려져 있다. 그런데 Marder의 연구가 보여주었듯이, 동일한 30개 뉴런의 동일한 연결 구조가 어떤 신경조절 물질이 작용하느냐에 따라 완전히 다른 리듬 패턴을 만들어낸다. 도파민이 작용할 때와 세로토닌이 작용할 때, 같은 회로에서 다른 출력이 나온다. 시냅스에 어떤 수용체가 발현되어 있는지, 어떤 신경조절 물질이 작용하고 있는지가 같은 연결을 완전히 다른 기능으로 변환시킨다.

따라서 뇌를 이해하려면 연결의 존재뿐 아니라 연결의 분자적 성격을 알아야 한다. 시냅스의 수용체 구성, 시냅스 전 터미널의 방출 특성, 수상돌기 위의 시냅스 위치에 따라 같은 "연결"이 완전히 다른 기능을 수행한다. 이것이 배선도를 넘어서는 다음 단계의 과제이다.

3. 라디오를 고칠 수 없는 생물학자

2002년, Lazebnik은 "Can a Biologist Fix a Radio?"라는 도발적인 논문을 발표했다. 생물학자가 라디오의 모든 부품을 분해하고, 각 부품의 특성을 측정하고, 부품 간의 연결을 완벽하게 매핑해도, 라디오가 어떻게 작동하는지를 이해할 수 있을까? Lazebnik의 답은 "아니오"였다. 증폭, 필터링, 변조 같은 설계 원리를 모르면, 아무리 정밀한 부품 목록과 연결 지도가 있어도 작동 원리를 파악할 수 없다.

이것은 현재 뇌과학이 직면한 근본적 문제를 정확히 짚는다. 기술의 발전으로 뇌를 기록하는 능력은 폭발적으로 성장했다. Neuropixels 프로브는 수백 개 뉴런을 밀리초 단위로 동시 기록하고, 2광자 현미경은 살아있는 동물의 뇌에서 수천 개 뉴런의 활동을 이미징한다. 커넥토믹스는 연결 지도를 점점 더 정밀하게 만들고 있다. 그러나 Lazebnik의 경고는 여전히 유효하다. 데이터의 양과 질이 아무리 좋아져도, 올바른 개념적 프레임워크가 없으면 데이터는 숫자의 바다에 그친다.

필요한 것은 더 많은 데이터가 아니라, 구조(어떻게 연결되어 있는가)에서 동역학(그 위에서 무슨 일이 일어나는가)으로, 그리고 동역학에서 계산(그것이 무엇을 계산하는가)으로 이어지는 다리이다. David Marr는 이 세 수준(구현, 알고리즘, 계산론)을 1982년에 이미 제안했지만, 40년이 지난 지금도 구현에서 알고리즘으로의 다리는 놓이지 않았다.

4. AI가 바꾸는 뇌 연구의 방법론

역설적이게도, 뇌를 이해하려는 시도에서 AI 자체가 가장 강력한 도구가 되고 있다.

첫째, AI는 뇌 연구의 가설 생성기 역할을 한다. 인공신경망을 특정 인지 과제로 훈련시킨 뒤 내부 동역학을 분석하면, 실제 뇌에서 찾아봐야 할 패턴의 구체적 예측이 나온다. 이것은 "뇌가 이럴 것이다"라는 주장이 아니라, "만약 이 과제를 이 제약 하에서 풀면 어떤 해가 나오는가"라는 탐색이다. 모델의 예측과 실제 뇌의 데이터가 일치하는 곳은 확인이고, 틀리는 곳이야말로 뇌에 대해 새로운 것을 배울 수 있는 장소이다.

둘째, AI는 실험 설계의 방법론을 바꿀 수 있다. 뇌에 대한 인과적 개입(광유전학, 화학유전학적 자극)의 조합 공간은 사실상 무한하다. 어떤 세포 유형을, 어떤 시점에, 얼마나 자극할지의 조합을 모두 시험할 수는 없다. AI 기반 능동 학습은 원리적으로, 모델의 불확실성이 가장 큰 지점을 식별하고, 그 불확실성을 가장 많이 줄일 수 있는 실험을 추천할 수 있다. 현재 이 접근은 단일 뉴런의 튜닝 특성 추정이나 시냅스 파라미터 측정 같은 비교적 작은 문제에서 구현되어 있다. 수천 가지 개입 조건을 in silico에서 먼저 스크리닝한 뒤 가장 유용한 조건만 실제 실험으로 검증하는 규모의 능동 학습은 아직 실현되지 않았지만, 이것이 가능해지는 시점이 뇌 연구의 전환점이 될 것이다.

셋째, 아직 실현되지 않았지만 가장 혁명적인 가능성은, AI가 인간 연구자의 인지적 한계를 넘어서는 패턴을 발견하는 것이다. 뇌의 동역학은 수만 차원의 상태 공간에서 일어난다. 인간은 3차원까지만 직관적으로 이해할 수 있다. 물리학에서는 AI가 이중 진자의 운동 데이터로부터 해밀턴 역학을 재발견했고, 구조생물학에서는 AlphaFold가 아미노산 서열만으로 단백질의 3차원 구조를 예측하는 데 성공했다. 두 경우 모두 인간이 명시적으로 규칙을 프로그래밍하지 않았는데도 AI가 데이터로부터 근본적인 구조적 원리를 추출해낸 사례이다. 뇌과학에서 이에 해당하는 성과는 아직 없다. 그러나 AI가 고차원 신경 데이터에서 인간이 포착할 수 없는 구조를 발견하고, 이를 이해 가능한 형태로 번역해줄 수 있다면, 그것이 이 분야의 진짜 게임 체인저가 될 것이다. 그리고 이는 뇌의 데이터화를 필연적으로 요구한다.

5. 네 가지 퍼즐 조각

결국 뇌를 이해하려면 네 가지가 동시에 필요하다.

첫째, 구조이다. 뉴런들이 어떻게 연결되어 있는지, 그 연결의 분자적 성격은 무엇인지를 알아야 한다. 커넥톰은 출발점이지만, 연결의 존재를 넘어 연결의 강도와 특성까지 제약할 수 있어야 한다.

둘째, 이론이다. 구조 위에서 어떤 동역학이 발생하는지를 예측하는 수학적 모델이 필요하다. 좋은 모델은 구체적으로 틀릴 수 있어야 한다. 어떤 데이터든 설명할 수 있는 모델은 아무것도 설명하지 못한다.

셋째, 관찰이다. 실제로 뉴런들이 어떻게 활동하는지를 실시간으로 기록해야 한다. 모델의 예측과 실제 데이터를 정량적으로 비교하는 것이 과학의 핵심이다.

넷째, 개입이다. 특정 뉴런을 조작했을 때 무슨 일이 일어나는지를 확인하여, 상관관계가 아닌 인과관계를 밝혀야 한다.

이 네 조각이 만들어내는 것은 닫힌 피드백 루프이다. 구조로 모델을 세우고, 모델이 예측을 내놓고, 기록으로 검증하고, 개입으로 인과성을 확인하고, 틀리면 모델을 고치고, 다시 반복한다. 어느 하나만으로는 부족하다. 구조만으로는 같은 회로에서 다른 출력이 나오는 것을 설명할 수 없고, 이론만으로는 자유 매개변수가 폭발하고, 관찰만으로는 상관과 인과를 구분할 수 없고, 개입만으로는 결과를 해석할 프레임이 없다.

6. 케플러에서 뉴턴으로

뇌과학이 케플러 단계에서 뉴턴 단계로 넘어가려면, 위의 네 조각을 통합하는 연구가 필요하다. 구조에서 동역학으로, 동역학에서 계산으로 이어지는 다리를 놓는 것이다. 이 다리의 정확한 형태가 어떨지는 아직 모른다. 물리학의 통계역학처럼 미시와 거시를 연결하는 보편적 프레임워크가 가능할지, 아니면 수억 년 진화로 쌓인 뇌의 복잡성이 그런 깔끔한 이론을 허용하지 않을지도 알 수 없다.

다만 분명한 것은, AI의 등장이 이 질문의 긴급성을 높였다는 것이다. AI가 인간의 인지 기능 상당 부분을 모방하거나 대체할 수 있게 되면서, "인간의 뇌에서 실제로 일어나는 것은 무엇인가"라는 질문은 더 이상 순수 과학의 영역에만 머물지 않는다. AI가 뇌와 같은 방식으로 작동하는지, 다른 방식으로 같은 결과를 내는 것인지를 구분하는 것은 AI의 한계를 이해하고 다음 세대의 AI를 설계하는 데 직접적으로 관련된다.

그리고 한 가지 더. 뇌를 이해하려면 개별 기술의 전문가가 아니라, 네 가지 퍼즐 조각을 동시에 보면서 올바른 질문을 던질 수 있는 사람이 필요하다. 도구는 점점 준비되고 있다. 부족한 것은 그 도구를 들고 올바른 질문을 던질 수 있는 사람이다.

나는 연구실에서 하나의 회로를 들여다보다가 뇌 전체의 연결 구조로 시야를 넓혔고, 커넥톰의 한계를 느끼면서 구조 너머의 분자적 정보와 동역학의 문제로 생각이 이어졌다. 그 궤적이 결국 이 글에서 정리한 네 가지 퍼즐 조각의 통합이라는 질문에 도달했다. 의학과 과학 양쪽의 도메인 안에서 훈련받은 사람의 시선이 여기에 기여할 수 있다고 생각한다. 그것이 내가 뇌과학을 연구하려는 이유이다.