같은 만 원이다.
길에서 만 원을 주웠을 때의 기쁨과, 주머니에서 만 원을 잃어버렸을 때의 짜증. 둘 중 뭐가 더 큰가?
대부분의 사람은 잃어버렸을 때의 짜증이 더 크다고 답한다. 실제로 그렇다. 행동경제학자 대니얼 카너먼과 아모스 트버스키는 실험을 통해, 잃는 고통이 얻는 기쁨의 약 2~2.5배라는 것을 밝혔다. 만 원을 잃는 아픔을 상쇄하려면, 2만 원을 주워야 한다. 이것을 손실 회피(Loss Aversion)라고 부른다.
인간은 이득보다 손실에 더 민감하게 반응하도록 설계되어 있다. 원시시대에 음식을 하나 더 얻는 것보다, 가진 음식을 잃지 않는 것이 생존에 더 중요했으니까. 합리적이지는 않지만, 진화적으로는 완벽한 설계다.
AI에도 이 '잃는 아픔'을 다루는 개념이 있다. 손실함수(Loss Function).
기계학습에서 손실함수는 모델이 얼마나 틀렸는지를 측정하는 함수다.
이름부터가 '손실'이다. '이득 함수'가 아니라 '손실 함수'. 모델이 얼마나 잘했는지가 아니라, 얼마나 잘못했는지를 본다. 왜 이렇게 설계했을까?
이유는 단순하다. "잘하고 있다"는 느낌은 모호하지만, "여기서 틀렸다"는 신호는 구체적이기 때문이다. 손실함수는 모델에게 말한다. "정답은 7인데 너는 5라고 했어. 2만큼 틀렸어." 이 오차를 줄이는 방향으로 학습이 진행된다. 경사하강법이 따라 내려가는 그 '경사'가 바로 손실함수의 기울기다.
손실이 작아질수록 모델은 정답에 가까워진다. 손실이 0이 되면 완벽한 예측이다. 학습의 전 과정은 손실을 줄이는 과정이다. 이득을 극대화하는 게 아니라 손실을 최소화하는 것. 미묘하지만 중요한 차이다.
여기서 흥미로운 점은, 어떤 손실함수를 쓰느냐에 따라 모델의 행동이 완전히 달라진다는 것이다.
가장 기본적인 손실함수는 평균제곱오차(MSE, Mean Squared Error)다. 오차를 제곱해서 평균을 낸다. 제곱이 왜 중요하냐면, 작은 오차는 별로 벌주지 않지만 큰 오차는 극단적으로 벌주기 때문이다.
오차가 1이면 제곱은 1이다. 오차가 2이면 제곱은 4다. 오차가 10이면 제곱은 100이다. 큰 실수일수록 기하급수적으로 벌이 커진다. MSE를 쓰는 모델은 작은 실수를 여러 번 하더라도, 큰 실수를 한 번 하지 않으려고 한다. 안전 운전 성향이다.
반면 평균절대오차(MAE, Mean Absolute Error)는 오차를 그대로 쓴다. 오차가 1이면 1, 2이면 2, 10이면 10. 큰 실수와 작은 실수를 동등하게 본다. 이 손실함수를 쓰는 모델은 큰 실수에 덜 민감하다. 대신 전반적으로 골고루 맞추려 한다.
같은 데이터, 같은 모델인데 손실함수만 바꾸면 결과가 달라진다. 뭘 아프게 느끼느냐가 행동을 결정한다.
인간에게 이걸 적용해보자.
당신의 손실함수는 무엇인가? 다시 말해, 뭘 잃을 때 가장 아픈가?
어떤 사람은 돈을 잃는 것이 가장 아프다. 이 사람의 손실함수에서 금전적 손실은 MSE처럼 제곱으로 작동한다. 100만 원을 잃으면 100만큼 아프지만, 1,000만 원을 잃으면 100이 아니라 10,000만큼 아프다. 이 사람은 금전적 위험을 극도로 회피한다. 안정적인 직장, 확실한 투자, 절약 중심의 생활. 합리적이다. 하지만 큰 기회가 왔을 때도 "잃으면 어떡해"가 먼저 떠오르기 때문에, 기회를 놓치는 비용을 치른다.
어떤 사람은 시간을 잃는 것이 가장 아프다. "이 시간에 다른 걸 했으면 더 생산적이었을 텐데." 영화가 30분 지났는데 재미없으면 즉시 끈다. 모임이 지루하면 바로 나온다. 효율적이다. 하지만 이 사람은 '무의미해 보이는 시간'의 가치를 놓친다. 멍하니 천장을 보는 시간, 목적 없이 산책하는 시간, 오래된 친구와 쓸데없는 이야기를 하는 시간. 이런 시간에서 때때로 가장 중요한 아이디어와 위로가 나오는데, 손실함수가 이 시간을 '낭비'로 처리해버린다.
어떤 사람은 평판을 잃는 것이 가장 아프다. 남들이 나를 어떻게 보는가. 이 사람의 손실함수에서 체면 손상은 제곱으로 작동한다. 작은 실수도 "사람들이 뭐라고 할까"로 증폭된다. 이 사람은 실수를 극도로 두려워하고, 새로운 시도를 꺼린다. 안전하지만 작은 세계에 갇힌다.
당신의 손실함수가 뭘 크게 벌하느냐에 따라, 당신의 삶의 형태가 결정된다.
AI 연구에서 손실함수 설계의 핵심 원칙이 있다. "손실함수가 잘못되면, 모델이 아무리 잘 학습해도 원하는 결과를 얻을 수 없다."
앞 장에서 보상함수를 다뤘다. 보상함수가 '뭘 향해 달려야 하는가'를 정한다면, 손실함수는 '뭘 피해야 하는가'를 정한다. 동전의 양면이다. 그리고 흥미로운 사실은, 인간은 보상보다 손실에 더 강하게 반응한다는 것이다. 카너먼의 2.5배 법칙처럼.
이것은 손실함수가 보상함수보다 당신의 행동에 더 큰 영향을 미친다는 뜻이기도 하다.
"성공하고 싶다"는 동기보다 "이것만큼은 잃고 싶지 않다"는 동기가 더 강력하게 행동을 끌어낸다. 운동을 시작하는 것보다, 건강을 잃는 것이 두려워서 운동을 하는 것이 더 오래 지속된다. 새로운 일을 시작하고 싶어서 이직하는 것보다, 지금 이 자리에서 더 이상 성장하지 못한다는 두려움이 이직을 결심하게 한다.
당신을 실제로 움직이는 것은 무엇을 원하는가가 아니라, 무엇을 잃는 것이 두려운가다.
하지만 여기에 함정이 있다.
카너먼은 손실 회피가 비합리적인 의사결정을 유발한다는 것도 보여줬다. 사람들은 손실을 피하기 위해 더 큰 이득을 포기한다.
주식이 10% 하락했다. 합리적으로는 더 떨어질지 반등할지 판단해야 한다. 하지만 손실 회피가 작동하면, "더 잃기 전에 팔아야 해!" 패닉셀을 한다. 다음 날 주가가 반등해도 이미 늦었다. 손실의 공포가 더 큰 이득의 기회를 잡아먹은 것이다.
인간관계도 마찬가지다. 오래된 관계가 이미 나에게 해가 되고 있다. 떠나는 것이 합리적이다. 하지만 "이 관계를 잃으면..." 하는 손실 회피가 발목을 잡는다. 관계에 투자한 시간, 공유한 추억, 혼자가 되는 두려움. 이 손실들이 제곱으로 증폭되어, 떠나야 할 관계에 붙잡혀 있게 만든다.
이것을 매몰 비용 오류(Sunk Cost Fallacy)라고도 부른다. 이미 쓴 비용이 아까워서, 앞으로의 손실을 감수하는 것. AI 모델은 이 오류를 범하지 않는다. 손실함수는 과거가 아니라 현재의 오차만 본다. 이전에 얼마나 틀렸든 상관없다. 지금 얼마나 틀렸는지만 중요하다.
그래서 어떻게 해야 하는가?
AI 엔지니어가 손실함수를 다루는 방식에서 배울 것이 세 가지 있다.
첫째, 자기 손실함수를 자각하라.
대부분의 사람은 자기 손실함수를 모른다. 무의식적으로 작동하기 때문이다. 하지만 지난 1년간의 중요한 결정들을 돌아보면, 패턴이 보인다. 내가 가장 많이 피한 것이 무엇인가. 돈을 잃는 것? 시간을 낭비하는 것? 체면을 잃는 것? 사람을 잃는 것? 실패하는 것? 그 패턴이 당신의 손실함수다.
둘째, 손실함수를 필요에 따라 교체하라.
AI에서 손실함수는 고정된 것이 아니다. 문제에 따라 MSE를 쓰기도 하고, MAE를 쓰기도 하고, 아예 커스텀 손실함수를 설계하기도 한다. 인생도 마찬가지다. 20대에 가장 아팠던 손실(체면, 또래 비교)이 40대에도 여전히 지배적인 손실함수여야 할 이유가 없다. 인생의 단계가 바뀌면, 뭘 아프게 느낄지도 업데이트해야 한다.
셋째, 과거의 손실에 매몰되지 마라.
AI의 손실함수는 과거를 기억하지 않는다. 매 배치(batch)마다 현재의 오차만 계산한다. 1만 번 틀렸어도, 1만 1번째에서 맞추면 그것만 본다. 과거의 손실은 이미 학습에 반영되었다. 다시 벌줄 필요가 없다.
3년 전의 이직 실패를 아직도 곱씹고 있다면, 당신의 손실함수가 과거의 오차를 이중으로 계산하고 있는 것이다. 그 실패는 이미 당신의 정책(행동 방식)에 반영되었다. 지금의 당신은 3년 전보다 더 나은 판단을 할 수 있다. 그 실패 덕분에. 과거의 손실을 한 번 더 벌하지 마라. 한 번이면 충분하다.
손실함수의 가장 깊은 통찰은 이것이다.
뭘 잃을 때 가장 아픈지 아는 사람은, 뭘 지켜야 하는지 아는 사람이다.
돈을 잃는 게 가장 아프다면, 경제적 안정이 당신에게 핵심 가치라는 뜻이다. 시간을 낭비하는 게 가장 아프다면, 자유가 핵심 가치다. 사람을 잃는 게 가장 아프다면, 관계가 핵심 가치다.
손실함수는 고통의 지도다. 그리고 고통의 지도는, 뒤집어 읽으면 가치의 지도다.
뭘 잃을 때 가장 아픈지 알면, 뭘 위해 살아야 하는지가 보인다. AI가 손실을 최소화하며 정답에 수렴하듯, 우리도 자기만의 고통을 직시할 때 비로소 자기만의 답에 가까워진다.
아픈 곳을 외면하지 마라. 거기에 답이 있다.