보고 듣는 기억의 교차로에서

– 시청각의 타이밍이 기억에 미치는 놀라운 이야기

살면서 어떤 순간은 유독 생생하게 기억에 남는다. 누군가의 미소와 함께 들려온 따뜻한 한마디, 눈앞에 펼쳐진 장면과 동시에 들려온 음악처럼 말이다. 그때 우리는 단지 ‘본 것’이나 ‘들은 것’을 기억한 것이 아니라, 그것들이 하나로 묶인 ‘경험’을 마음 깊이 새겼던 게 아닐까.

리버풀 대학교의 Emmanuel Biau 박사 연구팀이 발표한 최근 연구는, 바로 이 ‘기억의 묶음 방식’을 과학적으로 들여다본다. 뇌는 시각과 청각 정보를 따로따로 저장하지 않는다. 두 정보가 마치 잘 짜인 오케스트라처럼 ‘같은 타이밍’에 들어오면, 뇌의 리듬 활동이 살아나고, 그 순간은 선명하게 기억된다. 반대로, 누군가의 말소리가 입술 움직임보다 늦게 들려온다면, 마치 박자가 엇나간 연주처럼 뇌도 혼란을 겪는다. 결국 그 기억은 흐릿해진다.

이 ‘타이밍의 리듬’은 쎄타(theta)라는 뇌파의 형태로 나타난다. 말소리와 입술의 움직임이 쎄타 진동의 같은 리듬 안에 들어올 때, 뇌는 그 정보를 더 단단히 묶는다. 그런데 이 리듬이 어긋나면, 나중에 기억을 꺼내는 것도 어려워진다. 말하자면, 그 순간은 기억의 길목에서 길을 잃는 셈이다.

흥미롭게도, 연구진은 짧은 영화 클립을 보여주는 실험을 통해 이 현상을 관찰했다. 말소리와 입술 움직임이 잘 맞는 클립을 본 사람들의 뇌에서는, 나중에 그 장면을 떠올릴 때도 비슷한 뇌의 리듬이 재현되었다고 한다. 뇌는 기억을 저장할 뿐 아니라, 음악처럼 다시 연주할 수 있는 능력을 가진 악기인 셈이다.

이 연구는 결국 이렇게 말한다. 우리가 세상을 기억하는 방식은 단지 ‘내용’을 저장하는 것이 아니라, 감각들이 만나는 ‘타이밍’의 예술에 가깝다고. 누군가의 말투, 표정, 배경의 소리, 눈빛까지도 하나의 조화로 우리의 마음속에 남는다.

그러니 오늘 누군가를 바라보고 이야기할 때, 조금 더 귀 기울여 보자. 보고 듣는 모든 것이, 그 사람과 나 사이에 남는 작은 기억의 선율이 될지도 모르니까.

출처:
Emmanuel Biau et al. “Audiovisual speech theta phase alignment shapes neural replay and memory”, The Journal of Neuroscience, 2025.
https://doi.org/10.1523/JNEUROSCI.1797-24.2025