테슬라는 어떤 AI 특허가 있을까? - 1
가즈아를 외치고 싶은 마음에 살펴본다.
안녕하세요. 특허개미 이호준 변리사입니다.
사실은 AI데이 전에 정리하고 싶었던, 그렇지만 모두가 공감하는 이유 때문에 쓰지 못했던(바쁜 생업과 비례하는 저질체력) 테슬라의 자율 주행 AI는 어떻게 특허로 나와 있을지에 관한 이야기입니다.
1. 테슬라는 AI에 대해서 어떻게 특허를 가지고 있을까?
테슬라가 어떤 회사인지는 더이상 설명이 필요 없을 것 같습니다.
2020년, 그리고 2021년 폭발적인 주가 상승을 보여 주며 주주들을 부의 추월 차선으로 보내주고 못 탄 우리는 휴게소에 둔 그런 회사입니다.
주가는 21년은 경쟁자들의 등장으로 연초 조금 주춤하며 우리에게 기회를 주고 다시 달로 떠나 버렸다가, 다시금 금리 인상과 전쟁으로 탑승의 기회를 주었습니다.
우리는 테슬라의 진정한 장점은 자율주행과 이를 통해 만들어내는 비즈니스라고 믿고 있습니다. (+공용화를 통한 파괴적인 원가혁명)
테슬라의 자율 주행은 AI를 기반으로 하여 남들과 다르다는데 어떤 기술로 되어 있을 지 한번 특허를 통해 알아보도록 하겠습니다.
TSLA 주가 차트 (일봉) https://kr.investing.com/equities/tesla-motors-chart일단 인공지능 기술에 대해서 간단히 살펴보고, 일단 테슬라에 어떤 자율주행 특허가 있을지 인공지능 기술을 통해서 테슬라가 필요로 할 만한 기술들(즉, 가지고 있을 만한 특허들) 한번 예상을 해 보겠습니다.
2. 인공지능이 뭔데? 그걸 하려면 뭐가 필요한데?
인공지능을 위해서는 기계학습 요즘에 딥 러닝이라고 하는게 필요합니다.
그러면 기계는 어떻게 학습을 하는가 하면, 사람이랑 비슷합니다.
우리가 모르는 게 있으면 뭘 하나요? 구글을 찾아보죠
그리고 구글에서 찾은 정보들을 조합해서 어떤 결론을 내죠
여기서 우리가 낸 결론은 우리가 찾은 정보에 포함된 결론일 수도 있고, 우리가 찾은 정보들에서 만들어낸 즉, 찾은 정보에 포함되지 않은 새로운 일 수도 있습니다.
즉, 사람의 학습은 어떤 데이터에서 지식을 얻고 지식에 기초해서 새로운 데이터에 대한 판단을 할 수 있도록 하는 일련의 과정입니다.
자 그럼 기계 학습 우리가 딥러닝이라고 부르는 기술을 한번 살펴보죠
실제는 훨씬 복잡하지만 이건 정말 단순화한(강조) 설명입니다.
데이터가 있고, 이 데이터를 처리할 수 있는 인공 신경망이 있고, 어떤 정답이 있습니다.
간단하게 말하자면 인공 신경망은 어떤 계산 식과 유사한 역할을 합니다. 함수처럼 데이터가 입력으로 들어가면 출력이 나옵니다.
입력 데이터를 인공 신경망에 입력한 다음에 출력과 우리가 알고 있는 정답이랑 비교하고, 출력과 정답이 다르다면 정답을 출력할 수 있도록 인공 신경망을 조금씩 바꿔 나가는 것이 학습 과정입니다. 이건 딥러닝 중 일부인 지도 학습에 대한 설명이고 비지도학습과 강화학습이 있지만 이건 나중에 살펴보겠습니다.
즉 인공지능은 데이터들을 통해 입력과 출력의 관계를 학습하고, 어떤 데이터가 입력되면 그와 관련한 출력을 내놓도록 학습됩니다. 우리도 어떤 상황이나 물음이 주어지면 그에 관련한 판단을 내 놓잖아요? 똑같습니다.
출처: https://www.flickr.com/photos/lge/38614838124/in/photostream/자 그러면 자율주행에서 데이터는 운전 상황에 관련한 모든 정보(시각적 정보, 음향 정보 등)이고, 인공 신경망은 운전 상황을 인지하고, 판단하고, 상황에 맞는 동작을 결정하도록 학습될 수 있습니다.
그래서 뭐가 필요 하다고요?
많은 (정제된) 데이터, 좋은 신경망 구조, 그리고 파워풀한 연산능력이 필요합니다.
각각 살펴 볼게요.
많은 (정제된) 데이터
많은 데이터가 왜 필요하냐 하면 다양한 상황에 대한 학습이 필요하기 때문입니다. 예를 들어서, 레이싱 게임 해보신분들은 아시겠지만 같은 코스라고 해도 방향이 정방향이지 역방향이지에 따라 완전히 다른 코스가 됩니다. 이런식으로 운전에 대한 상황은 매우 다양하고, 약간의 변수로도 다른 상황이 되게 됩니다.
자 그러면 우리가 운전을 하면서 마주치는 모든 상황들 앞에 트럭이 있는 상황, 앞에 트럭이 구름이랑 비슷한 흰색인 상황, 트럭이 검은색인 상황, 앞에 세단이 있는 상황, 고라니 나오는 상황, 배달 오토바이 있는 상황. 날씨가 맑을 때, 흐릴 때, 눈올 때, 밤일 때 낮일 때, 등등 생각해 보면 정~말 많은 데이터가 필요할 거라 당연히 짐작을 할 수 있겠죠.
자 그러면 테슬라는 이미 몇 백만대가 팔렸고, 거기에 카메라가 달려 있고, 그 카메라에서 이미지를 촬영을 하고 있죠. 많이들 테슬라의 Software power를 따라오기 어려울 거라고 말하는 이유가 바로 이미 테슬라가 판 수많은 자동차들이 데이터를 수집하고 있기 때문이라고들 하죠.
정제된 데이터
자 그럼 정제된 데이터라는 건 뭐냐면요, 인공지능에서는 Garbage in, garbage out(GIGO)라는 말이 있습니다. 데이터가 쓰레기 같은 게 들어가면 그걸로 학습된 인공 신경망도 쓰레기라는 이야기인데요.
자 이게 왜 그러냐면 아까 인공 신경망은 학습 데이터를 통해 학습한다고 말씀을 드렸죠 근데 이 학습 데이터가 뭔가 편향되어 있거나, 아니면 정답이 제대로 표시가 안되어 있거나, 하는 경우가 바로 garbage data라고 할 수 있겠습니다.
예를 들어서, 채팅을 하는 인공지능이 있는데, 사람들이 거기 가서 맨날 욕만 하거나, 뭔가 좀 인종 차별적인 이야기만 하거나 한 경우에는 그 채팅 인공지능은 결국 욕만 하거나 인종 차별 주의자가 되겠죠.
자 그러면 예를 들어서 흰 구름이 낮게 뜬 걸 열심히 찍은 학습 데이터가 매우 많고 흰색 트럭에 대한 학습 데이터가 아에 없는 경우에 인공지능은 약간 높은 위치에 있는 트럭을 구름이라고 판단할 수도 있겠죠. 왜냐면 본적이 없으니까. 또 예를 들어서, 정지선을 잘 안지키는 운전자의 운전 데이터를 통해서 자율 주행 차가 학습이 되었다고 한다면, 그 자율주행 차도 결국 정지선을 잘 안 지키겠죠. 왜냐면 보고자 자란게 그거니까.
아주 학습이 잘 된 인공지능 이죠? 정지선을 넘어간 것 같지만 학습 데이터가 그렇기 때문에 잘 배운 것뿐입니다. 앞으로 순진한 인공지능이 보고 배울 수 있으니 조심하도록 하죠.
https://cm.asiae.co.kr/article/2017062214213606601자 그러면 예시에서 살펴본 일들이 일어나지 않기 위한 정제된 데이터가 뭐냐? 편향(데이터가 골고루 섞이지 않고 특정 유형의 데이터만 너무 많이 포함하는 경우)이 되지 않어야 될 것이고, 올바른 정답이 매칭이 되어 있으면 좋겠죠.
https://medium.datadriveninvestor.com/how-to-deal-with-class-imbalance-b151b9b5659f위 그림이 전형적인 편향된 데이터입니다. Imbalance data 라고 하죠. 딱 봐도 파란색이 많죠? 저기서 파란색이 정지선을 안 지킨 샘플이라면? 바로 위와 같은 K 자율주행 모델이 탄생할 수도 있습니다.
https://bair.berkeley.edu/blog/2018/05/30/bdd/위 그림은 운전하면서 획득된 이미지에 여러 색깔로 구분이 되어 있는 것을 볼 수 있습니다. 이렇게 특정 부분들이 표시된 데이터, annotation된 데이터가 있으면 학습이 쉽습니다. (필수는 아니지만, 현재 기술로는 없으면 거의 불가능 하다고 보시면되요.) 이건 디지털 곰인형 눈 붙이기(인적 노가다) 또는 자동 라벨링(auto labeling) 기술로 탄생합니다. 테슬라도 이거 힘들어서 새로운 부서를 만들었죠? 기술도 개발하고 있을 거에요.
데이터 수집 관리 기술
자 그리고 하나 더 추가로, 테슬라 같은 경우에는 차에 카메라가 엄청 많고 그걸 다 동영상을 촬영해서 데이터화 한다고 하면, 엄청나게 많은 데이터가 될 것인데, 이걸 또 전송을 하고 저장을 하고 학습을 시키려면 엄청난 저장공간도 필요하고 학습에 컴퓨팅 파워도 많이 소모가 될 겁니다.
그러면, 테슬라에서는 수집된 데이터들을 정제하기 위한 기술들이 있을 것으로 예상이 됩니다. 예를 들어서, 데이터 편향성을 제거하기 위한 기술들 (예를 들어, 수집된 적 없는 새로운 패턴에 대한 데이터를 우선적으로 저장하고 수집이 많이 된 데이터, 즉 더 이상 학습을 할 필요가 없는 패턴에 대한 데이터는 저장을 하지 않거나, 서버로 전송하지 않는다던 지), 아니면 데이터에 올바른 정답을 매칭하기 위한 기술들 뭐 그런 것 들이 잇겠죠.
테슬라가 학습을 어떻게 하는지는 아직 모르지만 좀 쉽게 데이터에 정답을 매칭해 학습하는supervised-learning이라고 가정한다면, 이 수많은 운전 데이터에 정답을 매칭 해 주는 작업도 어마어마한 일이 될 겁니다. 그러면 그것도 줄여주는 기술이 있겠죠.
자 그러면, AI를 위해서는 정제된 많은 데이터가 필요하니까, 테슬라에는 데이터를 수집하기 위한 기술, 수집된 데이터를 정제하기 위한 기술, 수집된 데이터에 대한 labeling 기술, 데이터를 저장하기 위한 기술들, 필요한 데이터가 없으면 만드는 기술(!)에 관련한 특허가 있을 수도 있겠죠.
파워풀한 연산 능력
파워풀한 연산 능력은 학습을 위해 필요한 것입니다. 아까 인공 신경망은 계산식 같은 거라고 했죠.
학습을 하려면 안 그래도 많은 데이터를 인공 신경망으로 복잡한 연산을 돌려야 하고, 심지어 이걸 몇 번을 돌려야 합니다. 엄청난 연산 능력이 필요하게 됩니다. 이게 무슨 말이냐면 전기를 엄청 먹는다는 거죠. 알파고가 이세돌과 붙을 때, 1메가와트(그러니까 100가구에서 사용할 만한 전력)의 전력을 소모했다고 알려져 있습니다. 이걸 차에서 할 수 있을까요? 불가능하죠. 즉, 각각의 차에서 학습을 하기는 어려울 것이라는 것입니다.
만약에 각각에 차에서 한다고 가정을 하면, 차의 주행거리가 늘어날수록 자율주행 실력이 좀더 올라갈 수도 있겠죠. 그러면 차를 사면 길들이기처럼 초반 수 천Km를 운전을 해서 데이터를 수집하고, 차가 학습을 할 수 있도록 전기도 빵빵하게 충전을 해 놓고 학습을 시켜야 오토 파일럿을 사용할 수 있을 겁니다. 그리고 내 차랑 다른 사람 차랑 자율 주행 실력이 다를 수도 있겠죠.
그런데, 우리가 테슬라를 사면 바로 자율주행도 되고, 남 차랑 내 차랑 별로 차이도 없죠.
자 이걸 구현을 하려면, 아마도 테슬라는 자율주행 AI 모델을 서버에서 학습을 시켜서 테슬라가 자랑하는 OTT로 각 차들에게 업데이트 해 주는 구조일 거라 생각됩니다. (Dojo라고 생각하신 분? 정답입니다.)
즉, 차에서 수집되는 데이터는 모두 데이터 센터로 가고, 그곳에서 정제되어 신경망을 학습시키고, 학습된 신경망이 OTT를 이용하여 각 차들에게 전달되고, 각각의 차들은 이 신경망을 이용해서 자율주행에 활용하는 구조 일거라 예상할 수 있습니다.
그러면 다음 시간에는 특허들을 살펴보며 보다 자세히 알아보겠습니다.
조금 스포하자면, 미국에 현재 권리자 기준으로 대략 특허권 700여건, 디자인권(기술은 쏙 빼고 눈에 보이는 예뻐보이는 그 디자인을 보호하기 위한 권리) 100여건이 있습니다.
저자 소개: 이호준 변리사는 샤오미, 바이두 등 국내외 유명 대기업, 뷰노 등 AI스타트업의 사건을 처리한 경험을 가지고 있습니다. 이호준 변리사는 빅뱅벤처스의 이사로 인공지능과 관련한 기업들의 투자 심사를 수행하고 있습니다. 업무 문의는 hjlee@abcip.co.kr 로 부탁드립니다.
