by
Mar 31. 2020
의사결정트리 알고리즘의 역사, 얼 헌트와 로스 퀸란
[야만인] 인공지능 탄생의 뒷이야기
데이터과학을 공부하는 분들이라면 적어도 한 번은 들어보셨을 Kaggle.
Kaggle이 2010년 시작되었을 때부터 가장 많이 쓰이는 알고리즘이 Random Forest, XGBoost입니다.
이 알고리즘의 기원에 대해 알아봅니다.
의사결정트리 알고리즘은 매우 직관적입니다.
얼 헌트 Earl (Buz) Hunt 는 인간 및 인공지능 분야의 위대한 개척자 중 한 명입니다.
1954년 스탠포드 대학을 마치고 3년동안 미 해병대에서 장교근무하고,
1960년 예일대 심리 및 컴퓨터과학 전공으로 박사학위를 받습니다.
얼 헌트는 예일대 박사학위 논문에서
앨런 뉴얼 Allen Newell과 허버트 사이먼 Herbert A. Simon의 이론을
시뮬레이션하여 문제해결에 적용했습니다.
그가 만든 Concept Learning System(CLS)는
다음과 같은 처리를 합니다.
1) 모두 C의 요소이면 Positive
2) 모두 C의 요소가 아니면 Negative
3) 그렇지 않으면 부분집합을 만들어 다시 1)부터 수행
의사결정트리는 처음에는 심리학에서 사용되다가 머신러닝에 적용되었습니다.
얼 헌트와 그의 팀은 1960년대 의사결정트리로
사람이 새로운 개념을 획득하는 모델을 만들었고,
제자 로스 퀸란 John Ross Quinlan이 그것을 체스 연구에 활용합니다.
이후 로스 퀸란이 발전시켜 의사결정 알고리즘을 만듭니다.(1986)
이 알고리즘은 얼 헌트의 Concept Learning에 Heuristic 개념을 더한 것입니다.
이 알고리즘은 처음에는 대단치 않게 시작했는데
지금은 머신러닝 분야에서 가장 널리 쓰이고 있습니다.
그 이유로는
1. 이해가 쉽고,
2. 빠르게 배울 수 있고,
3. 미세조정 없이 매우 정확
하기 때문입니다.
