인공지능 모델의 활성화 함수와 취미 경쟁

취미는 시그모이드가 아니라 소프트맥스로 즐기자

인공지능 모델은 대부분 마지막 레이어에 활성화 함수(Activation Fuction)를 적용하는데, 심오한 의미를 담은 커다란 벡터를 우리가 원하는 결과물 형태로 바꾸기 위함이다.

만약 한 직장인이 퇴사를 하면 좋을지 아닐지 분류하는 이진 분류(Binary Classification) 과제를 수행한다면, 활성화 함수로 시그모이드(Sigmoid) 함수를 선택하면 된다. 시그모이드 함수는 아무리 작거나 큰 숫자라도 모두 0과 1 사이의 범위로 바꿔놓아서 확률로 해석할 수 있게 만들어준다. 이진 분류 과제를 수행하는 인공지능 모델이 반환한 값이 -99999999999999이든, +9999999999999이든, -300이든, +5이든 모두 0과 1 사이의 확률 값으로 바꿀 수 있다는 뜻이다. 그러면 이 값은 퇴사를 하면 좋을 확률로 해석할 수 있다.

시그모이드 함수

그 직장인이 퇴사 후 다른 어떤 회사에 갈지, 여러 후보 중에 하나만 선택하는 다중 분류(Multi-class Classification) 과제를 수행한다면, 활성화 함수로 소프트맥스(Softmax) 함수를 선택하면 된다. 소프트맥스 함수는 n개의 값들을 확률 분포로 바꿔준다. 인공지능 모델이 5개의 후보 회사에 가고 싶은 정도를 [3.331, -1.20, -0.002, 2.91, 0.32]로 수치화했다고 하자. 소프트맥스 함수는 이렇게 값들의 목록이 주어지면 이들의 대소 관계를 그대로 유지하면서, 이들의 합을 1로 만들어 각 후보가 최종 선택될 확률로 해석할 수 있게 만들어준다. 이들에 소프트맥스 함수를 적용하면 [0.5707, 0.0061, 0.0204, 0.3746, 0.0281]와 같은 결과가 나온다. 첫 번째 회사를 선택할 확률은 57.07%, 두 번째 회사를 선택할 확률은 0.61%, 세 번째 회사는 2.04%, 네 번째 회사는 37.46%, 다섯 번째 회사는 2.81%라는 의미다.

소프트맥스 함수

하지만 시그모이드 함수를 하나의 값을 반환하는 과제에만 적용해야 하는 것은 아니다. 시그모이드 함수는 여러 후보 중 여러 개를 선택할 수 있는 다중 레이블 분류(Multi-label Classification)에도 많이 사용되는데, 각 선택이 독립적이기 때문이다. 회사는 여러 개를 한 번에 다닐 수 없지만, 회사 주변 맛집을 선정할 땐 여러 개를 한 번에 선택할 수 있다. 어느 한 식당을 맛집으로 선정한다고 해서 다른 한 식당을 맛집으로 선정할 확률이 줄어들진 않는다. 그래서 [쌀국숫집, 오믈렛집, 피자집, 샐러드집, 한식집] 이렇게 5가지 식당 중 정말 맛집이라고 추천할 수 있을 만큼 맛있는 집을 가려내고 싶다면, 소프트맥스가 아니라 시그모이드를 적용해야 한다. 각각이 맛집으로 선정될 확률을 계산하면 되니까, 이들의 합이 꼭 1일 필요가 없다. 시그모이드를 적용한 후의 값이 특정 임계점 이상이면 맛집으로, 미만이면 맛집이 아닌 걸로 분류하면 된다. 일반적으로 임계점은 0.5로 설정하지만, 더 깐깐하게 맛집을 선정하고 싶다면 0.7이나 0.8 정도로 올리면 된다.

직장인의 취미를 고르는 과제라면 어떨까? 취미도 여러 개를 한 번에 가질 수 있으니 시그모이드를 적용하면 될까?

요즘은 취미도 경쟁으로 변한 것 같다. 영화 보는 게 취미라고? 그러면 영화 1,000편 이상은 보고 이러이러한 영화는 당연히 봤어야지. 헬스가 취미라고? 그러면 매일 3시간은 헬스장에 있어야 하고 무게도 이 정도는 들 수 있어야지 등등. 하지만 취미는 경쟁하는 게 아니라 즐기는 것이다. 다른 사람과 비교해서 영화를 많이 봐야지만 영화 보기가 취미인 것이 아니라, 내 자유시간 중에서 영화를 보는 시간이 많으면 영화 보기가 취미인 것이다.

사람마다 취미에 투자할 수 있는 시간은 다르다. 이를 망각하고 자기만의 빡빡한 기준을 세워 이 기준을 통과하지 못하면 취미로 인정할 수 없다는 태도는 바보 같다. 시그모이드를 적용해 놓고 엄청 높은 임계점을 설정하는 것과 비슷한 일이다. 사람마다 다른 자유시간 중에서 영화 보는 시간이 많은 편이라면, 운동하는 시간이 많은 편이라면, 그게 그 사람의 취미인 것이다. 제한된 자유시간 동안 하는 행동들에 소프트맥스를 적용하자. 다른 경쟁도 피곤해 죽겠는데, 취미까지 경쟁해야 할까. 취미는 시그모이드가 아니라 소프트맥스로 즐기자.

 Thumbnail Image by Kelli Tungay on Unsplash