by
Sep 01. 2022
1. 로지스틱 함수와 ReLU, 그리고 인간의 감정
처음부터 저 '로지스틱' 'ReLU' 두 단어에 대해 이야기를 하거나 정의를 내려버리면 내가 하고 싶은 이야기의 절반도 다 풀어놓지 못한 채로 집중력이 모두 사라지게 될지 모른다. 그래서 인간이 가진 감정에 대한, 나와 내 삶을 둘러싼 사람들의 감정에 대한 이야기를 먼저 해보고 싶었다.
내가 가진 감정에 대해 깨달은 건 비교적 최근이었다. 감정에 대해 동물적으로 느끼고 살다가 이제야 좀 인간의 눈으로 감정을 이해하기 시작한 타이밍이 얼마 되지 않았다는 이야기다. 내 마음과 머릿속에 있는 감정들은 숨겨야 하는 게 마땅하다 생각하고 살았다. 긍정적인 감정을 노출하면 '나만 즐거운 상태'가 되어 분위기를 읽지 못할 정도가 되곤 했다. 부정적인 감정을 노출하면 내 주변 사람들은 그 하소연의 무게를 미처 감당하지 못하고 떠나곤 했다. 일부는 내게 공격성을 보이기도, 그 외의 사람들은 나를 피하기도 했다. 사람들을 잃고 싶지 않았고, ‘감정적인 사람’이라는 태그가 달리는 것도 싫었던 내게 딱 맞는 방법은 ‘보이는 감정에 한계를 두는 것이었다.
아주 긍정적인 감정을 1로, 아주 부정적인 감정을 0이라고 한다면, 나의 감정 그래프는 아래와 같은 로지스틱 함수 모양을 띈다. 실제로 느끼는 감정을 가로축 x 에 있다. 그 감정은 + 무한대부터 -무한대까지 느껴진다. 그것을 있는 대로 보여주면 아무런 사회생활을 할 수 없기에 어쩔 수 없이 ‘감정계의 로지스틱 모델'을 만들어 둔 것이다. x를 아래 함수 f(x)에 넣어 0~1 사이의 값을 얻어 사회생활을 시작했다. 사회화 된 내 뇌는 (실제 감정이 아닌) 사회화 된 감정을 끊임없이 0에서 1 범위 수준으로만 뱉어냈다. 응 그건 0.9야 너무 행복해, 그건 0.4 정도고 이젠 그만 했으면 좋겠어, 방금 네놈이 한 말은 0.001 수준이니 내가 피한다, 식으로 말이다.
문제는 ‘로지스틱 함수' 를 활용하여 과거의 행복을 찾으려 할 때 발생했다. 다이어트를 한창 하며 식욕을 절제해야 했을 때 엄청난 스트레스를 받았는데, ‘스스로 끊임없이 좋아하는 것을 찾아 그 스트레스를 이겨내야 한다'는 주변인의 말을 들었다. 그 말을 듣고 나서 정말 좋아하는 것들에 대해 열심히 떠올렸다. 최근의 일들, 좋아하는 가수의 신곡, 어제 본 유튜브 중에 재미있었던 것들, 그저께 만난 친구와의 수다 등등은 기억이 잘 났다. 그것도 한순간이었다.‘최근것'들을 반복하니 스트레스 완화 효과가 점점 떨어졌다. 다른 것들을 찾았다. 오래전부터 꾸준히 내게 즐거움을 주었던 기억들을 뒤적거리기 시작했다. 과거의 행복, 막상 회상하려 하니 떠올리기가 너무나 어려웠다.
마치 딥러닝의 backpropagation을 할 때 gradient vanishing 이 발생한 느낌이었다. 나의 감정 모델은 좋고 싫음을 로지스틱 함수를 넣어 분류하곤 했기 때문에, 과거 나의 기억 속 ‘즐거움을 주는 것들'을 떠올리고 싶어도 이미 사라져 있었다. 오래전부터 나의 정체성을 구성하던 행복의 기억이 사라져 찾지 못하게 되는 상황이 온 것이었다. 절망스러웠다.
나의 잊어버림과 같이, 기울기 손실(gradient vanishing) 이 발생하여, 모델이 더 이상 학습하지 못한 수준에 다다랐을 때 연구자들은 다른 활성 함수를 채택했다. ReLU라는 이름을 가진 함수였다. 그 함수는 아래와 같이 생겼다.
