3-16 특징을 추출하고 유사한 점을 묶어서 분류해서 학습한다.
눈치가 빠른 사람들의 공통점은 디테일을 놓치지 않는 것이다. 그동안의 경험을 바탕으로 적은 변화를 감지하고 상황에 맞는 대처를 할 줄 아는 눈치 빠른 사람처럼 순간의 영상을 기반으로 대상을 인지하고 판단해야 하는 자율주행 자동차에도 '눈치'가 필요하다.
이를 위해서는 세 가지 조건이 전제되어야 한다. 첫 째, 대상의 디테일을 체계적으로 분석할 수 있어야 하고, 둘째 이를 효과적으로 분류해서 데이터 베이스화해야 한다. 마지막으로 새로운 대상이 왔을 때 데이터 베이스와 비교 분석해서 정확히 라벨링 할 수 있는 로직이 필요하다.
성격과 의미가 명확한 숫자나 글과는 달리 영상 정보는 단순한 머신 러닝으로는 픽셀의 정보를 일렬로 나열한 무의미한 데이터의 축적에 불과하다. 날개와 부리가 달린 생명체를 새라고 뇌가 쉽게 구분하듯이 사물 인식을 위해 특징이 되는 특정 영역의 정보를 데이타화하고 신경망 학습을 통해 분류해 두는 기술인 CNN (Convolutional Neural Networks, 합성곱 신경망) 학습이 이미지를 위한 머신 러닝에 대표적으로 사용된다.
CNN 학습은 3개의 레이어로 나눠서 이미지를 분석하고 판단한다. 가장 첫 계층인 컨볼루션 레이어 (Convolutional Layer)는 이미지의 특징들을 추출한다. 그런 다음 풀링 레이어 (Pooling Layer)에서 수많은 특징 중 유사한 것을 묶는다. 마지막으로 피드포워드 레이어 (FeedForward Layer)에서 이미지 유형을 판단한다. 사람이면 사람, 자동차면 자동차로 판단하는 것이다. 충분히 잘 학습된 CNN 시스템은 99.5%로 사람보다도 더 높은 교통 표지판 인식율을 보였다.
결국 관건은 어떻게 더 많은 데이터를 취득하고 잘 선별화해서 학습을 시키느냐에 달려 있다. 많은 자동차 회사들은 주행 중인 차량에서 나오는 정보들을 네트워크 상의 클라우드를 통해 모아서 자체 신경망 학습에 활용하고 있다. 차종, 도로 조건, 날씨 등에 따라 구분해서 데이터를 선별하고 학습을 할수록 인지의 정확도도 올라가고 처리 속도 또한 개선할 수 있다.