단순함의 위대함
우리 곁에 있는 베르누이분포
애플을 설립한 스티브 잡스는 "제가 항상 반복해서 외우는 주문 중 하나는 집중과 단순함입니다."라고 했다.
삶은 살아가는 것은 복잡할 수 있지만 이를 단순화함으로써 집중할 수 있고, 집중할 수 있다면 보다 효율적으로 삶을 영위할 수 있지는 않을까?
예상할 수 있는 결과가 정말 단순하게 두 가지로 구분하는 단순함을 통해 집중할 수 있도록 지원해 주는 도구가 베르누이 분포라고 생각한다. 이미 부지불식간에 베르누이 분포는 우리 일상 속에 스며들어서 많은 도움을 주고 있다.
지금까지 실무에서 프로젝트를 하면서 경험했던 베르누이 상황을 정리해 보면 다음과 같다.
1. 양품/불량을 판정하는 상황
눈에 보이는 제품을 만드는 제조업은 물론 서비스를 제공하는 회사도 결국 고객을 만족했는지(양품), 그렇지 않았는지(불량) 두 가지의 상황으로 요약할 수 있다. 제조업의 경우 원재료를 검사하는 단계, 제품을 만들어서 검사하는 단계, 최종 제품을 고객에게 전달하기 전에 실시하는 검사 등등 모든 상황이 양품, 불량 두 가지 상황으로 정리할 수 있다. 또한, 호텔읙 경우 고객이 호텔서비스와 만나는 접점(예약단계, 체크인단계, 숙박단계 등등)을 정리해서 각 단계별로 고객이 만족했는지 여부를 확인한다고 한다. 이 또한 두 가지 상황이다.
2. 판매 플랫폼에서 고객의 구매 여부
상품을 고객에게 판매하는 플랫폼 회사의 경우, 사이트를 방문한 고객이 특정한 제품에 대해 구매를 하는 경우와 구매하지 않을 경우 두 가지 상황으로 정리할 수 있다.
3. AI에서 활용하는 경우
1) 스팸과 비스팸을 구분해서 필터링을 할 때..
내가 받은 이메일이 스팸인지 아닌지 두 가지 상황으로 구분할 수 있다. 내가 스팸으로 신고를 한다면
학습을 통해서 스팸 메일에 대한 확률을 계산해서 자동으로 필터링을 할 수 있다. 그래서, 스팸을 없애
려면 신고를 정말 열심히 해야 한다;
2) 신용 카드의 사기 사용 여부를 확인할 때
내가 혹시나 분실했을 경우 정상적으로 사용했는지 아닌 지로 구분해서 베르누이 분포를 활용한다.
3) 의학 분야에서 새로운 치료볍 및 약품의 효과 확인할 때
새로운 치료법이나 약품을 개발했을 때 환자에게 효과가 있는지, 없는 지로 구분할 수 있다.
4) 문장에서 다음에 나올 적절한 단어를 선택할 때.
"나는 학교에....." 이런 완성되지 않은 문장에서 "학교에" 다음에 나올 수 있는 적절한 단어를
선택하는 상황에서도 베르누이 분포를 활용하고 있다. Open AI 세상으로 변해가고 있는
요즘 정말 중요한 역할을 하고 있다는 것을 알 수 있다.
이렇듯 내가 원하는 결과를 두 가지로 단순화해보자. 그러면, 베르누이의 분포를 떠올릴 수 있을 것이다.
머신러닝/딥러닝 알고리즘과 베르누이 분포
- 나이브 베이즈 분류기 : 두 가지를 구분하는 경우에 많이 활용하고 있는 알고리즘
. 신경망 : 딥러닝의 출력 뉴런의 경우 두 가지로 구분하고 있음.
. 로지스틱 회귀분석 : 결과 값이 두 가지인 경우, 결과에 영향을 주는 원인으로 인한 확률 변화를 확인
하는 데 사용.
