brunch

매거진 AI

라이킷 12 댓글

You can make anything
by writing

C.S.Lewis

계정을 잊어버리셨나요?

by 카카오 정책산업 연구 Dec 28. 2018

자율주행, 스마트 카를 위한 딥러닝 진화와 확산의 허들

[카카오AI리포트] 정구민, 배승주, 이재민, 최명근, 최현준

들어가며

자율주행에는 인공지능 기술이 핵심이다. 물체와 주변 환경을 인식하고, 주행 경로를 도출하며, 이에 따라 차량을 제어하는 인공지능 기술은 자율주행에서 필수적이다. 다만, 이러한 인공지능 기술과 딥러닝 기술을 구별해서 살펴볼 필요가 있다. 딥러닝 기술의 발달이 자율주행 기술의 발전에 큰 영향을 준 것은 사실이지만, 아직은 자율주행에 딥러닝이 활발하게 적용되지는 못하고 있는 상황이다.

현재 자율주행에서 딥러닝 기술은 주로 인식 분야에 적용되고 있다. 자율주행 레벨 2 정도로 상용화된 대부분의 부분 자율주행 차량들에서는 딥러닝 기술이 적용되지 않는다. 이와는 별도로 2018년은 딥러닝 기술의 차량 적용 및 상용화가 중요한 의미를 가진 한 해가 되었다. 딥러닝의 상용화에는 차량 내에 딥러닝을 내장하기 위한 인공지능 하드웨어 이슈가 맞물리게 된다. 향후 딥러닝의 본격적인 상용화를 위해서 인공지능 하드웨어의 중요성이 높아지는 상황이다. 이 글에서는 자율주행과 인공지능, 스마트 카의 딥러닝 적용 현황에 대한 정리와 함께 향후 딥러닝 기술의 확산을 위한 자율주행차의 과제를 정리해본다.

[ 그림 1 ] 도심 자율주행을 위한 자율주행 기능 진화의 필요성

레벨 3의 본격적인 상용화와 딥러닝의 필요성

현재 상용화된 자율주행 차량은 대부분 고속도로 자율주행 수준의 레벨 2 차량이다. 향후 레벨 3 자율주행차가 본격화되는 시점은 2021년 정도로 예상된다. 2018년 6월 새롭게 개정된 자율주행 단계 정의에 따르면*1, 레벨 3은 고속도로 수준에서 자동차가 책임지는 자율주행을 제공하게 된다. 지도 업체 히어(HERE)는 유럽과 미국의 주요 고속도로 정밀 지도 구축 작업을 2018년 말까지 완료할 계획이다. 이후 자동차 업체와의 협력을 통해 정밀 지도 개선 작업이 이루어질 예정이다. 제도 측면에서 EU 단계의 비엔나협약 개정은 2020년 정도로 예정되어 있다고 한다.*2 이 개정 이후, 자동차가 책임지는 자율주행을 위한 다양한 제도 개선이 본격적으로 이루어질 것으로 예상된다. 주요 업체들의 레벨 3 상용화도 2020년~2021년에 맞춰져 있다. 따라서 레벨 3 자율주행차의 본격적인 상용화는 2021년 정도로 예상된다.

[ 그림 2 ] 6월 개정된 SAE 자율주행 레벨*1

수동운전이 아닌 자율주행이 가능한 레벨 3에서는 자동차가 모든 사건과 사고를 책임져야 하기 때문에 더욱 정밀한 인식 필요성이 요구되며, 이 때문에 딥러닝 기술이 적용되어야 할 필요성이 있다. 2017년 세계 최초로 레벨 3 자율주행을 선언했던 아우디 A8 모델은 딥러닝 기반의 인식 및 상황 판단 기술을 핵심 기술로 제시하기도 했다. 물론 올해 개정된 자율주행 단계 정의에 따르면 이 차량은 레벨 3에서는 제외되는 상황이다. 아우디는 딥러닝을 적용하기 위해 GPU(graphics processing unit) 기반 고성능 임베디드 보드인 zFAS를 자체 설계하여 사용하기도 했다.*3

딥러닝 기술이 필수적인 레벨 4와 레벨 5

딥러닝 적용이 본격적으로 필요한 단계는 레벨 4와 레벨 5이다. 레벨 4부터는 도심 자율주행 기능이 필요하게 된다. 고속도로 주행에서 필요로 했던 주요 기능인 한 차선 주행, 차선 변경을 넘어서기 때문에, 물체 인식과 주행 측면에서 몇 단계 더 높은 수준의 기술을 필요로 하게 된다. 교차로의 신호등 인식, 교차로 주행, 합류 차선 주행, 분기 차선 주행, 끼어들기, 보행자 및 자전거 인식 등 다양한 기능을 필요로 한다. 더불어 차량의 진행 방향 예측, 보행자 및 자전거의 진행 방향 예측, 기타 정형화되지 않은 문제 등에 대한 해법도 필요하다.

도심 자율주행의 선두 주자인 구글 웨이모(Waymo)를 비롯해 2019년에는 도시 내 자율주행을 위한 다양한 시범 서비스가 예상된다. 지난 10월 31일에 캘리포니아주에서는 구글 웨이모의 운전자 없는 자율주행 차량에 대한 허가가 나오기도 했다. 현재 구글 웨이모는 애리조나 및 캘리포니아에서 도시 내 자율주행 시범 서비스를 진행 중이다. 우리나라에서는 지난 9월 4일부터 판교 자율주행 셔틀이 도심 자율주행 시범 서비스를 진행하고 있다.

지난 7월 독일 다임러-보쉬(DAIMLER-BOSCH)는 2019년 실리콘밸리 내에서의 자율주행 택시 시범 서비스를 예고하기도 했다. 일본에서는 자율주행 기술 업체와 히노마루 교통(HINOMARU)이 협력해 8월 27일에서 9월 8일까지 자율주행 택시 시범 서비스를 진행하기도 했다. 이외에도 2019년에는 모빌아이(Mobileye)-인텔(Intel)-폭스바겐(Volkswagen)이 협력한 이스라엘 자율주행 택시 시범 서비스도 예정되어 있다.

[ 그림 3 ] 판교 자율주행 셔틀(위)*4과 구글 웨이모 자율주행차(아래)*5

지난 8월 미국의 인포메이션 리포팅(The Information Reporting)은 구글 웨이모의 문제점을 언급한 웨이 모어 문제(Way More Problem)를 지적하기도 했다.*6 좌회전 시 맞은편에서 좌회전하는 차량 때문에 급정거하는 사례, 합류 도로에서의 주행 문제, 주위에 사람이 많을 때의 주행 문제, 끼어들기 문제 등을 언급했다. 웨이 모어 문제는 고속도로 주행 위주의 레벨 3에서 도심 주행이 추가된 레벨 4, 레벨 5로 진화해나가면서 생기는 문제를 구체화한 것으로도 볼 수 있다. 도심 주행을 위한 문제를 해결하기 위해서 센서 시스템, 인식 시스템 등에서 업그레이드가 필요한 상황이며, 인식 및 판단의 정밀도 향상을 위해서 딥러닝 기술이 필수적으로 적용될 것으로 예상된다.

스마트 카에서의 딥러닝 적용 동향은?

현재 상용화된 차량에 딥러닝 기술은 얼마나 적용되어 있을까? 또는 딥러닝 기술은 앞으로 어떤 측면에서 자동차에 적용될까? 먼저, 딥러닝 기술은 2018년부터 차량에 본격적으로 적용되고 있다. 현재 딥러닝 기술이 적용된 차량을 상용화한 업체들은 메르세데스-벤츠(Mercedes-Benz), 아우디(Audi), 테슬라(Tesla)를 들 수 있다. 이들 업체의 공통점은 GPU 기반의 인공지능 하드웨어를 사용한다는 점이다. 딥러닝 기술은 인식 성능이 뛰어나지만, 차량에 내장하기 위해서는 처리 속도와 성능 향상을 위해 전용 하드웨어를 필요로 한다. 현재는 주로 GPU 기반 보드가 사용되고 있으며, 앞으로는 인공지능 전용 칩의 사용도 예상되는 상황이다. 아우디와 테슬라는 자율주행을 위한 인식 측면에서 딥러닝을 적용하며, 메르세데스-벤츠는 MBUX(Mercedes-Benz User Experience)의 음성인식에 딥러닝을 적용했다. 다른 회사들이 음성 인식을 위해서 클라우드 기반 딥러닝을 사용하는 데 비해 메르세데스-벤츠는 GPU 기반 전용 보드를 차량에 내장한 점이 특징이다.*7

[ 그림 4 ] 메르세데스-벤츠의 인공지능이 탑재된 인포테인먼트 시스템 엠벅스

딥러닝 기술 적용이 연구 개발되고 있거나 예상되는 분야는 자율주행, 사용자 사용성, 차량용 클라우드 등이며, 공정 및 판매 등에서도 필요하다.*8 자율주행을 위해서는 자율주행을 위한 인식 기술, 상황 판단, 자율주행 제어 분야 등에서 다양한 연구 개발이 진행되고 있다. 사용자 사용성을 위해서는 음성 인식 및 사용자 모니터링 분야가 주가 되며, 이와 관련해 차량용 클라우드에서는 정밀지도, 고장 진단 및 예측, 사용자 서비스, 교통 분석, 자율주행 시뮬레이터 등의 분야 연구 및 개발이 진행 중이다. 생산 공정 및 판매 측면에서도 딥러닝을 통한 공정 개선과 소비자 분석 및 구매 등의 분야에서 적용 연구가 계속되고 있다.

현재 개발 중이거나 상용화된 기술로 볼 때 합성곱 신경망(convolutional neural network, CNN), 순환 신경망(recurrent neural network, RNN), 심층 Q-네트워크(deep q-networks, DQN) 등 인공지능 기술 측면에서는 서로 다른 응용 영역을 가지고 있다. CNN 기술은 주로 영상 인식 및 상태 인식에, RNN 기술은 음성인식 및 교통 상황 예측에, DQN 기술은 주로 주행 학습과 인공지능 시뮬레이터에 각각 사용되고 있다. CNN 기술은 차선 인식, 차량, 보행자 및 객체 인식, 자율주행을 위한 end-to-end 학습, 운전자 상태 인식, 탑승자 인식 등의 분야에 적용되거나 연구되고 있다. RNN 기술은 대표적으로 사용되는 음성 인식뿐 아니라, 교통 상황 예측, 운전자 상태 인식 등에 사용된다. DQN 기술은 다양한 상황에서의 주행 대응 방법 학습, 인공지능 시뮬레이터에서의 주행 학습 알고리즘 등에 사용되고 있다.

[ 그림 5 ] DQN 기반 자율주행 시뮬레이터 NVIDIA 오토심*9

자율주행의 진화를 위한 딥러닝 허들은? – 핵심은 인공지능 하드웨어

미래 자율주행이 진화하기 위한 딥러닝 허들에는 어떤 것이 있을까? 인공지능 하드웨어, 인식 강인성과 기능 안전성, 정형화되지 않은 문제의 해결을 들 수 있다. 먼저, 인공지능 하드웨어는 딥러닝 상용화의 직접적인 이슈가 되고 있다. 딥러닝 기술은 자율주행 관련 인식 성능에서도 기존 방법보다 성능이 매우 뛰어나다. 자율주행 테스트 세트인 KITTI 데이터 세트의 인식률을 비교해보면, 차량 인식의 경우 딥러닝을 적용할 때는 약 90%, 딥러닝을 적용하지 않을 때 약 76%의 결과를 보이고 있다.*10 하지만 뛰어난 성능을 가진 딥러닝 기술을 차량에 적용하기 위해서는 속도와 성능 면에서 전용 하드웨어가 필수적이다. 이 때문에 일부 자동차 업체들은 GPU 보드를 직접 설계하여 비용을 줄이고 딥러닝 상용화에 나서고 있다.

[ 표 1 ] KITTI Data set 인식률*10

처리 속도와 인식 성능뿐 아니라 소비전력도 인공지능 하드웨어에서 중요한 문제이다. 인공지능 하드웨어의 대표 주자인 엔비디아(NVIDIA)는 그동안 자율주행을 위한 다양한 플랫폼을 제시해왔다. 지난 CES 2016에서는 드라이브 PX2를, CES 2018에서는 재비어 프로세서에 기반한 드라이브 PX 재비어와 드라이브 PX 페가수스를 발표했다.*11 현재 여러 업체가 이 보드를 사용한 자율주행차 시범 서비스 계획을 발표하고 있는 상황이다. 엔비디아 재비어 프로세서의 소비전력은 처리 속도 30 TOPS를 가정할 때 30W*12, 드라이브 PX 페가수스 보드의 소비전력은 320 TOPS를 가정할 때 대략 300W 정도로 추정된다. 드라이브 PX 페가수스가 속도와 성능 면에서는 도심 자율주행을 위한 인식에 충분할 수 있지만, 소비전력 절감에 대한 이슈는 여전히 남아 있는 상황이다.

이 때문에 GPU 구조가 아닌 새로운 인공지능 전용 칩의 가능성도 나오고 있다. 테슬라는 지난 8월 새로운 인공지능 하드웨어 개발에 나서겠다고 발표하기도 했다. 또한 올 7월 구글의 에지 TPU(Edge TPU) 발표 이후, 에지 TPU의 차량 적용 시 자율주행과 음성인식 측면에서 성능이 크게 향상될 것이라는 예상도 나온다.*13 아직까지 구글 웨이모는 자사 자율주행차의 인공지능 하드웨어에 대해서 언급한 사례가 없다. 자율주행차의 TPU 사용 가능성이 조심스럽게 언급되는 상황이다.

현재 구글 TPU를 비롯하여, 애플의 A12 바이오닉(Apple A12 Bionic)에 적용된 신경 엔진(neural engine), 화웨이(HUAWEI) 스마트폰에 적용된 캠브리콘(Cambricon)의 NPU, 바이두(Baidu)의 쿤룬(Kunlun) 등 다양한 인공지능 칩이 개발된 상황이다. 우리나라에서는 유엑스팩토리(UXFACTORY) 등의 업체가 관련 영역에 도전하고 있다.

정리하면, 인공지능 하드웨어 측면에서 현재는 주로 GPU 기반의 보드를 사용하고 있으며, TPU와 같은 인공지능 전용 칩 기반의 보드로 진화할 가능성도 중요한 이슈가 되고 있다. 자동차의 특성상 차량 내장이 중요한 상황에서, 전용 하드웨어 경쟁은 앞으로의 딥러닝 경쟁에서 핵심 이슈가 될 것으로 예상된다.

[ 그림 6 ] 엔비디아 재비어 칩셋(위)과 엔비디아 드라이브 PX 페가수스(아래)*9

두 번째 고려 사항은 인식 강인성과 기능 안전성의 문제이다. ‘현재의 인식 시스템이 인식이 잘 되고 있다는 것을 어떻게 보장할 것인가?’의 문제가 대두되고 있다. 자율주행에서는 인식 시스템이 매우 중요하기 때문에, 강인성과 기능 안전성의 문제가 중요해진다. 센서의 고장 시 인식 문제, 딥러닝 자체의 오인식 문제 등 인식 시스템 자체의 문제와 더불어, 인식 시스템의 기능 안전성 문제가 제기된다. 성능과 관련된 기능 안전성으로는 국제표준으로 SOTIF(Safety Of The Intended Functionality)가 제정되고 있다.*14 인공지능 하드웨어에 대한 기능 안전성도 연구 개발되고 있다. 최근 출시되는 엔비디아의 자율주행용 보드들은 하드웨어 기능 안전성 등급에서 가장 높은 수준인 ASIL-D 등급에 맞게 설계되고 있다.*15

세 번째 고려 사항으로는 정형화되지 않은 문제를 들 수 있다. 현재 모든 자율주행은 일정 수준의 가정하에 기반한 정형화된 문제를 풀고 있다. 이 가정에 어긋나면 자율주행의 정상 동작을 보장할 수 없다. 예컨대, CES 2018에서 프랑스 나비야(Navya) 차량은 비가 오자 자율주행 시연을 취소했으며, MWC 2018에서 BMW 역시 비가 오자 자율주행 시연을 연기한 바 있다.*16 이 두 사례는 라이다(LiDAR, Light Detection And Ranging 혹은 Laser Imaging, Detection and Ranging) 센서 위주로 준비한 시연 차량이 비가 오는 상황을 고려하지 않았기 때문이다. 또한, 우버(Uber)의 자율주행차 사고도 자전거를 끌고 가는 보행자에 대한 인식과 대비가 없었기 때문이라 볼 수 있다. *17

자율주행의 본격적인 상용화를 위해서는 보행자나 자전거, 오토바이의 인식과 진행 방향 예측을 비롯해서 동물, 장애물, 공사 등 기타 정형화되지 않은 문제들에 대한 인식과 대처가 필요한 상황이다. 한편, 우버 사고 이후 미국 자동차공학회는 자율주행 테스트 표준 제정을 시작한다고 발표하기도 했다.*18 자율주행 시 발생할 수 있는 모든 테스트 세트를 넣어 테스트를 위한 표준을 제정하겠다는 시도이다. 이 표준은 향후 제도 이슈와도 맞물릴 것으로 예상된다.

자율주행과 딥러닝

상용화된 사례가 적기는 하지만 앞으로는 딥러닝을 적용한 차량이 크게 늘 것으로 예상된다. 특히 자율주행의 문제가 고속도로 수준의 레벨 3를 넘어서 도심 주행 수준인 레벨 4와 5로 확장되면서, 딥러닝의 적용과 상용화는 필수적으로 예상된다. 딥러닝을 위한 인공지능 하드웨어와 데이터 세트의 중요성이 커지는 만큼 관련한 연구 개발이 중요해지는 상황이다. 앞으로 딥러닝 기술 발전이 가져올 자율주행의 진화가 기대된다.

글 | 정구민 gm1004@kookmin.ac.kr
현재 국민대학교 전자공학부 교수로 재직 중이며, 국가기술표준원 자동차전기전자통신 전문위 위원장, 한국자동차산업협회 자동차와IT융합산업연구회 위원장을 맡고 있습니다. 주요 연구 분야는 차량용 임베디드 시스템, 차량용 인공지능 응용, 자율주행 등입니다.

글 | 배승주, 이재민, 최명근, 최현준
국민대학교 대학원 전자공학과 석사과정에 재학 중이며 차량용 임베디드 시스템, 차량용 인공지능 응용, 자율주행 등에 대한 연구를 진행 중입니다.

참고문헌

*1 참고 | SAE J3016, ‘Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems’, SAE, 2018. 6.

*2 참고 | <매경-율촌 모빌리티포럼 3차 회의 보고서>, 2018. 6.

*3 참고 | 정구민, <아우디 A8의 세계 최초 자율주행 3단계 상용화 의미는>, 《TECH M》, 2017. 9.

*4 참고 |

https://exciting.gg.go.kr/board/inqire.do;jsessionid=ED675CEFE1E90D496E2ACC3C56EA11FC.ajp13?bbsId=BBSMSTR_000000000248&nttId=38947&bbsTyCode=BBST07&bbsAttrbCode=&authFlag=Y&pageIndex=1

*5 참고 | http://fortune.com/2016/12/19/alphabet-waymo-minivans/

*6 참고 | Amir Efrati, ‘Waymo’s Big Ambitions Slowed by Tech Trouble’, The Information reporting, 2018. 8.

*7 참고 | 정구민, <CES 2018, 인공지능 하드웨어가 중요해진다>, LG CNS blog, 2018. 2.

*8 참고 | 정구민, <인공지능 탑재한 자동차가 온다>, KAMA Web Journal, 2018. 10.

*9 참고 | https://mc.ai/self-driving-cars-are-new-rocket-science/

*10 참고 | KITTI Dataset, http://www.cvlibs.net/datasets/kitti/eval_object.php

*11 참고 | 정구민, <[CES 2018] 진화한 엔비디아 인공지능 자율주행 플랫폼>, 아이뉴스24, 2018. 1.

*12 참고 | NVIDIA DRIVE Hardware, https://www.nvidia.com/ko-kr/self-driving-cars/drive-platform/hardware/

*13 참고 | Matthew Lynley, ‘Google is making a fast specialized TPU chip for edge devices and a suite of services to support it’, Tech Crunch, 2018. 7.

*14 참고 | ISO/PAS 21448, ‘Road vehicles -- Safety of the intended functionality’, 2018. 5.

*15 참고 | NVIDIA News, ‘NVIDIA Announces World’s First Functionally Safe AI Self-Driving Platform’, NVIDIA, 2018. 1.

*16 참고 | 정구민, <[MWC 2018] BMW가 소개하는 완전 자율주행 사용자 시나리오>, 아이뉴스24, 2018. 3.