자율주행, '엔드투엔드와 모듈' 방식의 차이

[IT 이야기] 모빌리티

by 까칠한 펜촉 Feb 04. 2025

아래로

2025년, 자율주행자동차 시대의 개막?

자율주행자동차

자율주행자동차(Autonomous Vehicle)

UAM(Urban Air Mobility), 상용 Robot과 함께 현존하는 모빌리티(Mobility) 미래상의 끝장판이다. 현존한다는 의미는 현재 대부분의 빅테크와 완성차업계가 생각하는 양산 가능한 수준의 모빌리티 신기술이라는 의미다. 물론, 일론 머스크의 '스페이스 X'처럼 우주 항공 산업으로 먼저 진출한 바는 있겠지만 그건 어디까지는 일론 머스크이기 때문에 가능할 것 같다.

자율주행자동차(Autonomous Vehicle) 기술은 2000년대 미국의 국방고등연구계획국(DARPA)의 'DARPA Grand Challenge' 대회로부터 본격적인 연구개발이 되었다. 많은 연구소와 기업, 대학들이 참여하면서 자율주행과 관련한 하드웨어, 소프트웨어, 알고리즘이 비약적으로 발전을 하였다. 그리고, 2010년대 중반, 구글의 Waymo 프로젝트가 본격화되면서 '구글, 애플 등'의 빅테크, '테슬라, 리비안, 페러다인 퓨처 등'의 전기차 계열의 완성차, 'GM, 포드, 도요타, 볼보, 폭스바겐, 현대자동차 등'의 완성차도 모두가 2025년 자율주행자동차 상용화를 목표로 기술 개발에 막대한 투자를 하게 된다.

2025년에 자동차 업계에서 어떤 의미가 있는지 모르겠지만 2025년에는 자율주행 4단계의 자동차를 도로에서 쉽게 만나볼 수 있을 거라는 의견들이 지배적이었다.

[자율주행 5단계]

자율주행 5단계

그런데, 어떤가? 2025년이 됐는데, 우리 주변에서 자율주행자동차를 쉽게 볼 수 있는가? 특정 관광지에서 시험 운행하는 로봇택시나 버스 등의 상용 자율주행차가 있다고는 하나 일반 도로급에서는 자율주행 4단계 수준의 자동차를 보는 건 불가능할 것이다. 아마도, 코로나 팬데믹을 전후로 해서 자율주행 기술 개발은 어떤 벽에 부딪친 듯하다.

자율주행 기술의 3단계, 4단계까지는 'Lidar, Camera, Radar 실시간 데이터 + 정밀지도(HD Map)등'의 센서 퓨전기술로 어느 정도 '인지부(部) 기술'을 발전시켜 왔는데, 여기에 들어가는 비용이 막대하여 양산에 이르는 Cost 수준으로 추가적인 연구개발을 하기엔 부담이 있었을 테고, '판단부(部) 기술'에서는 여전히 법적, 윤리적 문제가 해소되지 않을 뿐더러, 수많은 유형의 도로와 주행 상황에서 불특정 하게 발생하는 변수에 대한 판단을 머신러닝(Machine Learning) 수준의 인공지능으로 대처하긴 어려웠을 것이다. 이런 리스크를 줄이기 위해 대두된 것이 또 스마트 하이웨이(Smart Highway)인데 쉽게 말해 고속도로, 자동차 전용도로를 우선으로 도로 인프라와 자동차가 실시간 통신을 통해 자동차 주행의 정밀도와 안전성을 높이자는 의미였다. 이에 필요한 기술이 V2V, V2X(Vehicle to Everythings), Edge Computing 등인데 역시 도로 인프라에도 막대한 비용이 소요된다.

스마트 하이웨어

여기까지 언급한 것이 사실 자율주행 자동차 기술 중, 소위 '모듈(Module)' 방식과 그 단점의 나열이다. 더군다나 이 모듈 방식은 자율주행 5단계, Full Self-Driving으로 발전하기에 수많은 제약과 단점을 갖고 있는 방식이다. 이런 과정에 재조명된 것이 테슬라 자율주행시스템의 엔드투엔드 방식이며, 최근엔 중국의 화웨이뿐만 아니라 현대자동차도 기존의 모듈 방식에서 엔드투엔드 방식의 연구개발을 선언하며 자율주행자동차 상용화를 위한 전략을 전환하게 됩니다. 이것이 바로 현대자동차의 XP2 프로젝트이고, XP2 프로젝트는 이후 다음 글에서 정리하겠다.

[엔드투엔드와 모듈방식의 비교]

엔드투엔드와 모듈방식 비교

엔드투엔드와 모듈방식을 좀 더 자세한 비교 해 보면 아래와 같다.

[엔드투엔드(End-to-End) 방식]

정의: 엔드투엔드 방식은 입력(예: 센서 데이터)에서 출력(예: 조향, 가속, 브레이크)까지를 하나의 통합된 모델(주로 딥러닝 기반)로 처리하는 방식

동작 원리: 센서 데이터(카메라, 라이다, 레이더 등)를 직접 입력받아, 딥러닝 모델이 주행 결정
- 중간 과정(객체 탐지, 경로 계획 등)을 명시적으로 분리하지 않고, 모델이 데이터로부터 직접 학습

장점
- 단순성: 복잡한 모듈 간의 통합이 필요 없어 설계가 간단
- 데이터 기반 학습: 대량의 데이터를 통해 최적의 주행 전략을 학습할 수 있음
- 유연성: 새로운 환경에 적응하기 위해 모델을 재학습시키는 것이 비교적 용이

단점
- 해석 불가능성(Black Box): 모델의 내부 동작을 이해하거나 디버깅하기 어려움
- 안전성 문제: 예측 불가능한 상황에서의 대처가 어려움
- 데이터 의존성: 고품질의 대량 데이터가 필요하며, 데이터 편향 문제가 발생할 수 있음
- 사례: NVIDIA의 DAVE-2 시스템은 카메라 입력을 직접 받아 조향 각도를 출력하는 엔드투엔드 방식의
대표적인 예

[모듈(Modular) 방식]

정의: 모듈 방식은 자율주행을 여러 단계(센서 처리, 인지, 계획, 제어 등)로 나누고, 각 단계를 독립적인 모듈로 설계한 뒤 통합하는 방식

동작 원리
- 센서 처리: 카메라, 라이다, 레이더 등에서 데이터를 수집하고 전처리
- 인지(Perception): 객체 탐지, 차선 인식, 보행자 감지 등을 수행
- 계획(Planning): 경로 계획, 장애물 회피, 주행 전략을 수립
- 제어(Control): 조향, 가속, 브레이크 등을 조작하여 차량을 제어

장점
- 명확성: 각 모듈의 역할이 명확하며, 디버깅과 수정이 용이
- 안전성: 각 단계에서 검증이 가능하며, 예측 가능한 동작을 보장
- 모듈화: 특정 모듈만 업그레이드하거나 교체할 수 있어 유지보수 용이

단점
- 복잡성: 모듈 간의 통합과 협업이 복잡하며, 설계 비용이 높음
- 유연성 부족: 새로운 환경에 적응하려면 각 모듈을 개별적으로 수정해야 함
- 성능 병목: 모듈 간의 데이터 전달 지연이나 오류가 전체 시스템 성능에 영향을 미칠 수 있음
- 사례: Waymo, Tesla(초기 버전) 등 대부분의 상용 자율주행 시스템은 모듈 방식을 사용

[향후 전망]

엔드투엔드: 딥러닝 기술의 발전과 함께 점차 주목받고 있지만, 안전성과 해석 가능성 문제로 인해 아직 상용화에는 한계가 있음

모듈: 현재 상용화된 자율주행 시스템의 주요 방식이며, 안전성과 신뢰성 측면에서 여전히 우위를 점하고 있음

하이브리드 접근: 두 방식의 장점을 결합한 하이브리드 방식이 연구되고 있음. 예를 들어, 모듈 방식의 안전성을 유지하면서 엔드투엔드 방식의 유연성을 부분적으로 도입하는 방식

결론적으로, 엔드투엔드 방식이나 모듈 방식 모두에 장점과 단점, 한계가 분명하여 두 가지 방식의 장, 단점을 혼용한 방식의 개발이 될 것이라는 의견들이 많지만 개인적으로는 엔드투엔드 방식을 중심으로 해서 일부 모듈 방식을 차용하는 것으로 연구개발이 될 것이라는 생각을 한다. 왜냐면, 인지부의 측면에서는 우천 시나 야간, 계절의 변화가 극심한 한국 같은 곳에서는 카메라 센싱만으로는 주행 차량의 안전을 담보할 수 없으니 정밀지도(HD Map)가 저가형 라이다 장비와 연계하는 방식이 필요하겠지만 판단부에서는 기존의 머신러닝, 딥러닝의 수준으로는 운전 상황의 다양성을 모두 커버하긴 불가능할 것이기에 생성형 인공지능으로부터 다양한 학습을 거친 AI Agent 즉, AI Driving Assistant가 반드시 필요할 것이기 때문이다.

자율주행 자동차에서는 뭘 하고 싶은가요?

초기 구글 Waymo 프로젝트는 벨로다인의 9천만 원 ~ 1억 원가량의 라이다를 부착한 도요타의 프리우스(Prius) 차량으로부터 시작되었다. 이때 자율주행을 위한 각 모듈의 가격과 프리우스 차량 가격을 합한 금액이 약 2억 5천만 원 정도 한다고 기억한다. 그래서, 우수게 소리로 2억 5천만 원짜리 프리우스를 살래? 포르셰나 페라리 슈퍼카를 탈래?라고 물으면서 자율주행차의 양산 가능성에 대해서 자조석인 농담을 했던 기억이 있다.

ADAS(Advanced Driving Assitance System) 2가지 이상의 기능이 혼합(Smart Cruise Control + Line Keeping Assistance System)된 것이 자율주행 2단계이다. 그리고, 이 기능이 혼합된 지는 십 수년이 지났다. 과연 언제쯤 우리가 상상하는 자율주행 자동차가 도로를 달리게 될지 모르겠지만 이 글에서 얘기하고 싶었던 건, 사실 '테슬라(Tesla)'이다.

결국, 테슬라(Tesla)의 오토파일럿 기능이 Full-Self Driving의 조상이고, SDV(Software Defined Vehicle)의 표준이다.

토니 스타크가 일론 머스크이고, 일론 머스크가 토니 스타크이다.

- 까칠한 펜촉 -

keyword