by
May 01. 2020
선이 아닌 평면으로 데이터를 분류하다, 서포트벡터머신
[야만인] 인공지능 탄생의 뒷이야기
1995년 코리나 코테스 Corinna Cortes와 블라디미르 배프닉 Vladimir Vapnik은
잘못 분류된 자료들을 허용하는 변형된 최대 마진 분류기를 제안합니다.
'네/아니오'라는 결과를 내야하는 자료들을 분할하는
초평면이 존재하지 않는다고 가정할 때
여전히 가장 가까이 위치한 제대로 분류된 자료들의 거리를 최대화하면서
주어진 자료를 가능한 제대로 분리하는 초평면을 찾는 알고리즘입니다.
아 아이디어는 1963년 블라디미르 배프닉과 알렉세이 체르보넨키스 Alexey Chervonenkis가 처음 생각해냈고,
30년 후인 1992년 번하드 보서 Bernhard Boser, 이자벨 구욘 Isabelle Guyon, 블라디미르 배프닉이
커널기법을 적용한 비선형 분류기로 마진을 극대화하기 위한 방법을 제시했으며,
이듬해 1993년에 드디어 현재의 소프트마진 버전으로 연구를 발전시켜 1995년에 논문을 발표합니다.
서포트벡터머신 Support Vector Machine; SVM 알고리즘을 간단히 살펴봅니다.
먼저 선형 SVM입니다.
SVM은 서로 다른 그룹을 구별할 수 있는 직선을 찾는데
이 때 오誤 분류의 정도를 조정하여 가장 크게 떼어놓을 수 있는 직선을 찾습니다.
※ C(오분류의 가중치)의 크기는 적당히 줍니다. 너무 크면 오분류를 최소화할 수 있는 반면 오버피팅 overfitting이 되기 때문입니다.
이번에는 비선형 SVM을 살펴보겠습니다.
수직선 위에 놓인 데이터셋이 있다고 가정할 때 그냥은 판단하기 어렵습니다.
그런데 위 값에 f(x) = x**2 함수를 적용하여 2차 평면으로 변환하면 판단할 수 있는 선을 찾을 수 있습니다.
이런 f(x) = x**2과 같이 다른 맵으로 변환하는 함수를 SVM에서는 커널 kernel이라고 합니다.
이 커널은 다양하며 아래와 같은 경우에도 적당한 커널을 적용하면 판단할 수 있는 초평면 hyperplane을 찾을 수 있습니다.
블라디미르 배프닉은 우즈베키스탄 출생으로
1958년 소련의 사마르칸트 우즈벡 주립대에서 수학 석사,
1964년 모스크바 제어과학 연구소에서 통계학 박사학위를 받고,
그곳에서 1990년까지 컴퓨터과학 연구책임자로 근무하다가
소련이 해체되면서 1990년 홈델에 있는 벨 연구소로 옮깁니다.
그곳에서 래리 재켈 Larry Jackel, 얀 레쿤 Yann LeCun, 요슈아 벤지오 Yoshua Bengio,
한스 페터 그라프 Hans Peter Graf, 코리나 코테스 Corinna Cortes, 레온 보토우 Leon Botou 등과 함께 연구합니다. 정말 쟁쟁한 분들이 다 모여 있었네요!
SVM은 손글씨 인식을 포함하여 머신러닝 커뮤니티가 관심을 갖는 여러 문제에 대한 성능을 입증하며 스타 반열에 오릅니다.
얼굴인식 Face Detection
텍스트 분류 Text and Hypertext Categorization
이미지 분류 Claasification of Image
생물정보학 Bioinfomatics
단백질 염기서열 Protein Fold and Remote Homo-Logy Detection
지구환경과학 Geo and Environmental Sciences
1995년 어느날 벨 연구소에서 있던 일입니다.
래리 재켈 팀장 : 2000년까지 대형신경망이 SVM처럼 수학적으로 명확하게 한계와 능력을 밝혀낼거야
블라디미르 배프닉 : 무슨 말씀을요! 2000년이 되면 신경망은 SVM에 완전히 밀려날 걸요?
신경망으로 CNN을 만든 얀 레쿤은 두 거물 사이에서 증인을 섭니다.
그리고 5년이 지난 어느날
재켈의 말대로 신경망이 수학적으로 한계와 능력을 밝혀내지 못했고,
배프닉의 말대로 SVM이 신경망을 넘어서지도 못했습니다.
덕분에 얀 레쿤은 두 분 모두에게 근사한 저녁을 얻어먹는 호사를 누립니다.
한 편 SVM 공동저자인 코리나 코테스는
두 아이의 엄마이면서 동시에
뛰어난 마라톤 선수이기도 합니다.
정말 대단한 분이시네요!
