by
Oct 25. 2022
엔트로피와 고정관념
정보 이론에서 '정보량'은 '놀라움의 정도'다. 따라서 어떤 사건이 일어날 확률이 작을수록 정보량은 더 많다. 예를 들어, '주사위를 던지면 10 이하의 수가 나온다'의 정보량은 매우 적다. 해당 사건은 확률이 1, 항상 참인 사건이므로 이 사건이 일어난다 해도 전혀 놀랍지 않기 때문이다. 반면 현재 상황에서 '내일 삼성전자 주가가 10만 원을 넘을 것이다'의 정보량은 매우 클 것이다. 확률이 매우 작고, 그래서 이 사건이 일어나면 매우 놀랄 것이기 그래서 더더욱 기쁠 것이기 때문이다. 참고로 정보량 수식은 -logP(X)다.
'엔트로피'(entropy)는 모든 사건들의 정보량의 기댓값이다. 기댓값은 {(해당 값) * (해당 값이 나올 확률)의 총합}으로 구한다. 따라서 정보량의 기댓값은 {(해당 정보량) * (해당 정보량이 나올 확률)의 총합}이다.
엔트로피 수식한 헬스장에서 주사위를 던져 나온 숫자만큼 스쿼트를 해야 한다고 하자. 그런데 트레이너 a는 회원들의 건강을 위해 6이 많이 나오도록 주사위를 조작했다. 주사위를 던졌을 때 1,2,3,4,5가 나올 확률은 각각 1/10이지만, 6이 나올 확률은 1/2이다. 이때 엔트로피를 구하면 [{(주사위 값이 1일 때의 정보량) * (주사위 값이 1이 나올 확률)} + {(주사위 값이 2일 때의 정보량) * (주사위 값이 2가 나올 확률)} + ... + {(주사위 값이 6일 때의 정보량) * (주사위 값이 6이 나올 확률)}] = 약 2.16이다.
반면 양심적인 트레이너 b는 일반적인 주사위를 사용했다. 그래서 주사위를 던졌을 때 1,2,3,4,5,6이 나올 확률은 모두 1/6로 동일하다. 이때 엔트로피를 구하면 약 2.58이다.
예시에서 추론할 수 있듯이 엔트로피는 모든 사건의 확률이 동일할 때(uniform distribution) 최대가 된다. 직관적으로 생각하자면 트레이너 a가 조작한 주사위에서는 6이 나와도 그리 놀랍지 않다. 이미 너무 많은 6을 봤기 때문이다. 그렇게 별로 놀라 하지 않는 회원들 사이에 가끔씩 6 이외의 숫자가 나와 놀라 하는 회원들이 있다. 트레이너 a의 회원들의 놀라움의 정도를 다 합쳐도 그리 크진 않을 것이다.
트레이너 b의 양심적 주사위에서는 무슨 값이 나와도 놀랍다. 어느 값이 나올지 전혀 예상할 수 없기 때문이다. 1이 나와도, 3이 나와도, 6이 나와도 회원들은 놀라워할 것이고 이들의 놀라움의 정도는 그 어떤 다른 주사위를 던졌을 때보다 크다.
사회의 소수자는 고정관념에 갇혀 살게 된다. 미디어는 이러한 고정관념을 반복해서 재생산한다. 예를 들어 백인들이 만든 영화에서 동양인은 괴상한 브릿지를 하고 사교적이지 못하며 끝없이 합장을 하는 사람으로 그려진다. 그래서 사교적이고 목례를 하는 동양인 캐릭터가 나오면 정말 놀랍다. 정보량이 큰 것이다.
고정관념을 없애려면 소수자의 다양한 모습을 보여줘야 한다. 사교적이지 않은 동양인이 있듯이 사교적인 동양인도 있다. 특이한 브릿지를 한 동양인이 있을 수도 있지만 그렇지 않은 동양인도 많다.
사교적이지 않은 동양인 캐릭터가 등장하는 만큼, 사교적인 동양인 캐릭터도 등장하면 엔트로피는 최대가 된다. 언제 어디서 사교적인, 사교적이지 않은 동양인 캐릭터를 만나게 될지 모르기 때문이다.
