좌우 카메라 영상의 차이로 거리를 계산한다.

3-10 스테레오 카메라와 영상 분석으로 비싼 라이더를 대체할 수 있다.

오른쪽 눈과 왼쪽 눈으로 보는 영상의 차이로 거리를 계산한다. 

눈앞에 손가락을 들고 좌우 눈을 한쪽씩 깜박여 보자. 같은 손가락이지만 어느 쪽 눈으로 보느냐에 따라서 위치가 달라진다. 손이 얼굴에 가까울수록 좌우 눈으로 보는 손가락의 위치 차이는 커지고, 멀어질수록 그 차이는 줄어든다. 뇌는 매 순간마다 주시로 보는 눈의 영상을 기본으로 주시가 아닌 다른 눈으로 보는 영상과 비교해서 원근감을 계산해 낸다.

자율주행 자동차에 쓰이는 카메라 모듈 - LG전자

자율 주행 자동차에 달린 카메라가 사물의 거리를 측정하는 방법도 동일하다. 특히 진행 방향으로는 일반적으로 사람의 눈처럼 일정한 간격으로 두 개의 카메라가 같은 방향을 바라보는 스테레오 카메라가 설치되어 있다. 두 카메라에서 동시에 촬영한 영상을 비교해서 대상물까지의 거리를 추정해 낸다. 

다른 영상에서 같은 대상물을 찾는 데는 탬플릿 매칭기법을 이용한다. 예를 들어 마주 오는 자동차를 촬영했다면, 비교하기 위해 특징적인 템플릿 영상을 한쪽 이미지에서 잘라낸다. 그런 다음 다른 쪽 이미지에서 잘라낸 이미지와 유사도가 높은 부분을 찾아 시차를 구하는 것이다. 

좌우 영상을 합쳐서 격차 분포에 대한 맵을 구성하고 이를 비교 분석해서 영상을 거리 정보 포함한 형태로 재구성한다. - Matlab Training 영상 참조

시차와 두 카메라 사이의 거리 그리고 카메라의 초점 거리에서 삼각 측량을 이용하면 사물까지의 거리를 계산할 수 있다. 정확한 시차를 위해서는 카메라의 해상도가 높을수록 그리고 두 카메라 사이의 거리가 길수록 유리하다. 하지만 먼 거리에 있는 사물들은 마치 하늘에 있는 별은 양쪽 눈으로 봐도 차이가 없듯이 카메라만으로는 거리를 측정하는데 한계가 있다. 또한 벽처럼 특징점을 찾기 어려운 무늬가 없는 물체에 대해서는 정확한 시차 측정이 어려워 다른 센서들을 이용한 방법으로 보완이 필요하다.