라이다 센서를 통해 그려본 애플 아이폰5G,AR 글래스
아이폰5G 및 아이패드 프로 2020 의 애플 키노트 2020
텐서플로우 개발자 서밋에 이어 두 번째로 인공지능 기조연설 시리즈를 이어가겠습니다. 올해 초 3월 둘째 주 애플이 소개한 새로운 아이패드 프로 2020 동영상을 보다가 한 가지 놀라운 점을 발견했습니다. 바로 라이다 스캐너 때문이었는 데, 라이다는 자율 주행 자동차에나 사용하는 것인데 이것을 도대체 왜 아이패드 프로에 탑재했을까 문득 의문이 들어서 2주 동안 시간을 내어 연구 조사하게 되었습니다. 물론 여러분들은 그동안 소문만 무성했던 애플 AR 글라스는 언제쯤 출시될까? 더 궁금하실 텐데, 그러한 물음에 대해 퍼즐 조각들을 맞추는 것처럼 이야기해 보겠습니다.
아이패드 프로 2020의 새 AR 실험
라이다(Lidar)는 앞에서 말한 것과 같이 여러 다양한 센서들로 주변 환경의 3D 맵을 구축할 수 있기 때문에 사실 자율 주행 자동차나 아이패드 프로와 같은 장치에서 유사한 맥락을 가질 수 있습니다. 라이다는 레이더(Radar)가 무선 신호를 쏘는 방식과 유사한 방식으로 단거리 버전의 레이더처럼 거리와 위치를 측정하기 위해 빛의 파동을 사용합니다. AR 서비스를 위해 심도 센서가 포함시켰고, 라이더 스캐너까지 아이패드 프로에 추가 해 넣었습니다.
[그림 1] 아이패드 프로 2020의 라이다 센서 탑재인스타그램 계정으로 올라온 3분짜리 이 비디오에서는 코로나 바이러스 출현과 확산이 아니었다면 애플 키노트에서 보여줬을 것이라고 확신합니다. 게임, 의료 및 인테리어 디자인 시나리오에서 라이다 센서를 통한 스캐닝 방식을 완벽하게 보여 주었습니다. 어쩌면 이것은 애플의 AR 안경을 착용하기 위한 준비를 위해서이지 않을까 생각이 더 확실하게 들기 시작했습니다.
그 근거는 작년 가을쯤, iOS 버전이 13.1로 업그레이드되고 xCode 11의 내부 리소스를 살펴봤는 데 스마트 안경에 대해 언급되었습니다. iOS 13.1에서 처음으로 헤드셋 이동 경로를 발견한 개발자들 중 하나인 스티븐 트로프톤-스미스는 애플이 만드는 미래의 헤드셋이 무엇이든지 간에 잘 동작하기 위해 애플은 첨단 AR 기술을 사용할 거라고 확신한다는 인터뷰를 한 매체를 통해 밝혔습니다.
물론 AR 서비스가 아이폰과 아이패드에서 흥미로운 용도를 가지지만, 오히려 스테레오 헤드마운트 AR과 한 쌍으로 어울릴 때 더 빛나게 될 것입니다. 더욱더 확실한 증거는 작년 여름에 헤드셋 기반의 "혼합 현실 시스템"에 대한 특허권을 애플이 내었는 데, 필수 사양으로 라이더 센서의 경험이 되어 서술되어 있었습니다.
애플의 라이더 스캐너는 속도, 정확성, 모션 캡처 등의 장점을 측정 앱에서 더 세밀하게 동작한다고 강조했습니다. Ruler View라는 것이 새롭게 생겼는 데, 이케아 플레이스(Ikea place) 경우, 라이다 센서를 통해 스웨덴 상품 디자인을 보여주었습니다. Complete Anatomy의 아이패드 앱 개발자도 라이다 센서와 소프트웨어 결합은 미래의 의료계의 변화시킬 잠재력이 있다고 내다보았습니다. 핫 라바 게임을 만든 Mark Laprairie 는 거실을 스캔하고 그 환경에서 완전한 그림을 그려 가상 세계로 가져와 게임을 즐길 수 있도록 보여주었습니다.
라이다 스캐너를 이용한 저조도 환경에서 즉시 촬영할 수 있는 iPhone Pro 5G 카메라
또 한가지의 애플의 라이다 스캐너 활용 사례로 오늘자, 10월 13일, iPhone 5G 발표에서 iPhone 12 Pro Max 에서 역시 누구나 예상하듯이 라이다 스캐너 센서가 포함되었습니다. 이 부분을 iPhone 제품 라인 매니저인 프란체스카 스위트가 한 부분을 맡아서 설명했습니다.
[그림 2] 아이폰12 Pro 5G에 탑재된 라이다 스캐너 애플이 아이폰을 발표할 때 마다 공들이는 부분이 바로 카메라 모듈이라는 것을 이미 알고 있을 것 입니다. 그중에서도 심도 기술의 한계를 계속해서 극복하기 위해 다양한 실험들을 했는데, 현 시점에서는 그러한 솔루션은 라이다 스캐너를 사용하는 것 입니다. 라이다 스캐너에는 조명을 감지하는 조명 감지(Light Detection)와 빛이 피사체에 닿은 후 반사되는 거리(Ranging) 기술을 측정할 수 있습니다.
아이폰에서의 라이다 스캐너는 iOS 14의 심도 프레임워크 및 A14 Bionic 칩의 머신러닝으로 아이폰 주위 환경을 파악해 정말한 심도 맵을 구축해 준다고 합니다. 촬영할 대상과 공간 스캔 및 사진과 영상 효과 증강현실 대상의 정확한 배치가 가능한 데, 향후 애플 글래스도 아이폰 5G에서 사용했던 방법 그대로 적용할 수 있습니다.
[그림 3] 라이다 스캐닝을 통해 조명 감지 및 피사체에 닿은 후 반사되는 거리 측정 다시 아이폰12 프로 이야기로 돌아가 좀더 구체적으로 라이다에 대해 말하자면, 증강현실을 즉시 실행하고
앱에 무한한 기회를 제공한다고 주장했습니다. 또한 라이다 스캐너는 프로 카메라 시스템의 수준을 다른 차원으로 끌어 올립니다. 예를 들어, 어둠 속에서도 볼 수 있는 라이다의 힘으로 저조도 환경에서도 자동으로 초점이 맞춰져 초점 정확도가 개선되고 촬영 시간을 줄이는 효과를 누릴 수 있다고 합니다.
초점을 찾아서 맞추어 나기보다는 촬영 대상을 파악해서 즉시 초점을 맞추고 촬영합니다. 사진과 동영상 모두 가능한데, 라이다 스캐너 덕분에 저조도에서의 초점 시간이 6배까지 줄어들어서 그 순간을 놓치지 않고 대상을 선명히 포착할 수 있다고 발표했습니다.
또한 야간 모드를 위해 저조도에서 심도를 개선해 놀라운 야간 모드 인물 사진을 찍을 수 있습니다. 얼굴의 놀라운 디테일과 사진 전체의 생생한 색과 배경에 있는 번지는 빛의 보케를 보여주면서 아이폰12 프로의 새로운 라이다 스캐너 데모를 마쳤습니다.
[그림 4] 아이폰12 프로 맥스의 라이다 스캐너와 그외 기능들과의 통합된 예왜 AR 서비스에서 라이더 센서가 필요한가?
그렇다면, AR 서비스에서 라이더 스캐너가 왜 필요할까요? 이 물음에 대한 대답을 첫 번째로 스탠퍼드 컴퓨터 이미지 연구소 책임자인 고든 웨즈스테인가 해 주었습니다. 가상 물체를 맨 위에 배치하려면 실제 물체의 위치를 정확하게 알아야 한다고 말합니다. 주변의 환경을 이해하는 데 도움을 줍니다. 예를 들어, 테이블이나 의자의 위치를 파악하고 시각적인 물체를 어디에 두어야 할지 사용합니다.
특히, 라이다 스캐너는 해당 위치의 정확한 3D 맵을 만드는 데, 전체 영역에서 레이저를 스캔하여 빛이 물체에 도달하고 반사하는 데 걸리는 시간을 확인하여 물체까지의 거리를 측정합니다. 또한 라이다 스캐너와 더불어 ToF(Time of Flight) 센서는 16피트(5미터) 범위까지 도달할 수 있는데, 실내와 실외 모두 동작하여 즉시에 지도를 그릴 수 있습니다. 지금까지 ToF 기술은 화상 탐사선을 포함하여 지형 매핑에 사용되었고, 라이다 스캐너와 결합하여 자율 주행 차량이 주변의 물체를 감지하는 데 사용되었습니다. 그러므로 아이패드 프로와 같은 기기에서 배터리 소모를 적게 하고, 정확한 심도 선명도를 요구하는 데 중요한 역할을 합니다.
[그림 5] 라이다 스캐너가 ToF 센서를 통해 그리는 증강현실 세계두 번째 대답은 AR 센서는 태블릿을 사용하지 않거나 AR 안경을 벗을 때 훨씬 더 중요합니다. 스마트폰 화면을 통해 가상 세계의 좁은 부분을 참조해야 하는 대신에 라이더 스캐너는 여러분이 시야를 볼 때 여러분 주위를 감싸는 경험을 가능합니다. 또한 라이더 센서는 부품 공간을 많이 차지 않기 때문에 소규모 장치에 이상적입니다. 저전력, 경량, 소규모, 고품질 심도를 제공하는 데, 한 번에 전체 방이 아닌 공간의 부분 지점을 식별하여 작동하기 때문에 여러 가지를 컴포넌트들과 함께 결합하여 서로 방해하지 않을 수 있습니다.
세 번째 대답은 실내가 아닌 실외에서 우리가 AR 서비스를 사용할 때 그 복잡함을 더 증가되는 데 그때 훨씬 더 적합할 수 있습니다. 서던 캘리포니아 대학의 크리에이티브 테크놀로지 인스티튜트의 혼합현실(MR) 연구소 책임자인 제시카 브릴하트는, "집과 같은 실내에서 정적으로 스마트폰을 사용하는 것이 아니라, 집 밖에 나가 걸어 다닐 때 위치에 따라 계속해서 여러분 시야의 원근감을 투시하면서 공간에서의 위치도 더 매끄럽게 맞추어줘서 불편함이 없게 보여 주는 데 라이다 센서가 큰 역할을 한다." 고 강조했습니다.
특허 분석으로 알아본 미래의 애플 AR 헤드셋 및 안경
특허 분석에서도 위의 인터뷰와 유사한 점들이 일치되는 것들을 많이 발견하였습니다. 언제나 애플은 실제 판매가 되기 전까지 거의 비밀리에 프로젝트를 진행하지만, 현재 AR/VR 기기의 대한 새로운 5가지의 특허 출원을 볼 때 애플은 AR/VR 헤드 마운트 디스플레이가 머리에 착용하거나 벗을 때 어떻게 보이고 소리가 나는지 어떻게 활용할 수 있는지 광범위하게 세세히 준비하고 있다는 것과 곧 멀지 않아 시장에 선을 보일 것이라는 것을 알게 되었습니다. 특히, 이미지 최적화 및 VR/AR 내 물리적 컨트롤러로 이미지나 데이터를 복제하고 완벽한 음성 및 오디오 보장에 이르기까지 헤드-마운트 디스플레이 또는 AR 안경 등을 스마트폰 다음의 먹거리로 준비하고 있습니다.
[그림 6] 애플 특허에 나타난 AR HMD(헤드-마운트 디스플레이) 및 안경 구조헤드-마운트 디스플레이 같은 경우, 업무 하는 데 부담되지 않고 무겁지 않게 고품질 이미지를 사용자가 볼 수 있게끔 하는 것이 중요합니다. 만일 기기에서 보기 흉하고 부피가 크며 원하는 수준의 광학 성능을 나타낼 수 없다면, 사용자들은 콘텐츠를 보는데 매우 불편할 것입니다. 이러한 문제점을 VR인 경우 이미지를 생성하는 프로젝트와 사용자가 보는 렌즈를 나누어 해결합니다. 그러나 AR인 경우, 해당 이미지는 사용자가 보고 있는 실제 이미지들과 결합해야 합니다.
도파관 디스플레이 시스템에 관련된 첫 번째 특허에서는, 실제 환경과 가상의 이미지를 결합할 때 이 도파관(waveguide)이라는 광학 시스템을 사용합니다. 이것은 조명 수준을 높이고 선명하게 하기 위해 광선 분열기 구조(beam splitter structure)로 내장되어 있습니다. 상세한 구조를 살펴보면, 이미지 광을 방출하는 디스플레이, 도파관 및 이미지 광을 도파관으로 결합시키는 입력 연동장치를 가지고 있습니다. 광선 분열기 구조는 도파관의 측면 영역에 걸쳐 광선을 복제할 수 있습니다. 아이박스에는 넓은 영역의 시야를 위해 디스플레이로부터 균일한 세기의 빛을 제공할 수 있습니다.
스캐닝 디스플레이 시스템에 관련된 두 번째 특허 또한, 사용자가 보는 시각 이미지, 조도 및 해상도에 관련된 것입니다. 충분한 광학 밝기, 디스플레이 해상도 및 휴대성을 갖춘 프로젝션 및 디스플레이를 갖춘 헤드 마운트 디스플레이나 안경을 가지는 것은 쉽지 않다고 서술하고 있습니다. 예를 들어, 안경이 떨어질 때 낙하 충격 및 온도/습도에 따른 열 부하에 따른 추가 주의를 기울어야 한다고 합니다. 또한 반사경은 헤드셋을 잘못 사용하면 손상될 수도 있고 모양이 흉하게 변형될 수 있습니다. 사용자의 시야대로 화면을 스캐닝하거나 회전할 때, 반사경 크기와 회전 속도에 문제가 생길 수 있습니다.
따라서 이러한 경우에 원거리 영역에서 이미지 해상도를 최대화하기 위해 광학 시스템이 반사경을 스캐닝할 때 큰 반사 영역은 직경 1.2-2.0mm를 제공하는 것이 바람직하다고 특허에 밝히고 있습니다. 그러나 또 이것은 반사경을 고속으로 스캐닝하면, 큰 반사경은 물리적으로 화면이 변형되게 보이며, 이미지 광이 발산되어 원거리에서 이미지 해상도가 제한다는 것을 초래합니다. 그러므로 이것을 해결하기 위한 제안된 시스템은 대각선으로 정렬되고 수직으로 정렬되어 조금 비켜놓은 발광 소장의 배열 방식을 사용한다고 합니다. 그렇게 하면 광학 시스템이 여전히 헤드셋의 제한된 폼 팩터에 맞도록 허용하면서 높은 프레임 비율에서 고해상도 이미지를 제공할 수 있다고 합니다.
실제 세계와 가상 세계의 물체를 결합할 경우, 그 이미지를 표시할 뿐만 아니라 해당 사용자가 헤드 마운트 디스플레이를 씌고 외부 물체를 보고 조작할 수 있어야 합니다. 이때 사용자가 보유하고 있는 컨트롤러와 같은 장치로 조작하기가 쉽지 않습니다. 이에 관련해서 세 번째 특허인 "추적 및 드리프트 보정" 특허로 콘텐츠 제공 장치와 관련하여 이러한 개별 장치의 위치를 적절히 추적할 수 없으며, 사용자의 상호 작용을 안내하기 위해 별도의 장치로 나타낼 수 없습니다. 예를 들어, 컴퓨터가 생성한 세계 환경을 제공하는 HMD를 착용한 사용자는 컴퓨터가 생성한 세계에서 자신의 스마트폰의 터치스크린에 표시되고 입력장치로 사용합니다. 이때 실제 환경과 휴대폰 화면 위치가 정확히 일치해야 합니다. 사용자가 가상 리모컨 상의 가상 버튼을 가상으로 터치할 때, 사용자는 실제로 제 2장치의 터치스크린으로 대응합니다. 이것은 가상 환경과의 상호 작용을 제어하거나 달리 시작하는 입력으로서 인식됩니다.
외부의 입력과 출력 장치를 내부의 디스플레이와 함께 접근할 수 있는 전자 장치에 대한 특허는, 머리 둘레에 헤드-마운트 디스플레이를 쓰지 않고 콘텐츠를 볼 수 있는 현상에 관련된 것입니다. 특히, 이 아이디어는 사용자가 그러한 헤드셋을 벗을 때, 외부의 기기와 어떻게 상호 작용하는 것인지에 대해 착안했는데 이미지를 헤드 마운트 디스플레이의 접안렌즈에 투사하는 방식보다 가장 가까운 표면에 투사할 수 있도록 사용자가 외부 인터페이스를 통해 제어할 수 있도록 했다는 것이 핵심입니다. 덧붙혀, 그 이미지를 사용자가 상호 작용할 수 있도록 가상 키보드가 포함될 수 있다고 하는 데 애플 연구소의 팀 내에서 실제 테스트해 보고 추가 여부를 확정할 수 있을 것 같습니다.
[그림 7] 볼링핀 소리를 전달하는 멀티모달 오디오 스트레오 디스플레이끝으로 멀티모달 오디오를 갖는 디스플레이 시스템에 관련된 특허에서는, 이미지를 표시하는 근거리 디스플레이와 함께 헤드-마운트 디스플레이에 제공되는 오디오 유형에 맞게 조절할 수 있는 안경태가 있어야 한다고 서술되어 있습니다. 왜냐하면, 이 시스템에서의 오디오 동장의 유연성은 다양한 환경에서 여러 가지 설정을 할 수 있어야 하는데, 착탈식 이어폰이 외부 잡을 차단하고 몰입적으로 오디오를 들을 수 있도록 해줍니다. 이것은 이미 Airpods Pro에서 구현되고 있는데, Airpods Pro의 노이즈 캔슬링 기술도 궁극적으로 AR 글래스로 가기 위한 선상에 놓여있다고 말할 수 있습니다.
애플이 AR 앱 생태계에 거는 기대
끝으로 왜 애플은 가장 이동성이 낮은 아이패드 프로에 먼저 라이다 스캐너를 탑재했는지 이제 말하지 않아도 알겠지요? 가장 쉽게 생각하자면 아직 라이다 센서 공급자들이 아이폰 수량을 충족 못 시켰기 때문이라는 추론을 할 수 있습니다. 아마 올 가을에 나오는 차세대 메이저 업그레이드 버전인 아이폰에 탑재될 수도 있을 것 같습니다.
[그림 8] 애플의 AR 앱 생태계를 보여주는 IKEA AR 앱또한 개발자 생태계 측면에서 보자면, 지난 몇 년 동안 WWDC에서 ARKit 프레임워크를 밀고 있지만 이 기술은 Pockmon Go를 제외하고는 아직 주류를 이루지 못하고 있습니다. 만일 새로운 제품 범주에 진입하려면, 애플 개발자들 또한 완전히 숙련된 경험이 필요합니다. 따라서 아이패드 프로를 통해 개발자들이 라이다 스캐너와 ToF 센서를 설치하게 되면, 한 단계 수준 높은 AR 서비스를 발전시켜 앱에 적용하기 위해 익히게 될 것이며 개발자들에게 새로운 가능성을 열어 줄 수 있습니다.
왜냐하면 AR/VR과 같은 몰입형 미디어에는 하드웨어 문제보다 콘텐츠 부족하면 더 큰 문제가 발생합니다. 매력적인 콘텐츠가 부족한 경우 애플이라고 할지라도 몰입형 기술이 실패할 수 있으므로 비슷한 운명을 걸을 수 있기 때문에 서서히 지금부터 앱 생태계를 준비하기 위해서입니다.
애플의 팀 쿡 회장도 올해 1월 아일랜드 연설에서 AR 관심을 들어내면서 "아이폰 다음으로 큰 것이며 우리의 삶 전체에 퍼질 것이다!"라고 강조했습니다. 물론 정확히 언제쯤 출시된다고 이야기하지 않았지만 The Information 지는 2022년을 목표로 하고 있다고 밝혔습니다.
그러나 covid-19의 파괴적이고 장기적인 경제 악영향을 고려할 때, 애플의 AR/VR의 헤드 마운트 디스플레이나 안경들이 언제, 어떻게 출시될지 모릅니다. 다시 세계 경제가 살아나려면 최소 몇 년에서 몇십 년은 걸리테니깐요! 하지만 장기적으로 재택근무나 가족과 함께 사회적 거리두기를 한다면 AR/VR 기기들이 가족들을 즐겁고 안전하게 즐길 수 있는 하나의 아이템이 되지 않을까 기대합니다.
애플 VR/AR 관련된 시스템 특허들
US Patent No. 20200089014 - Waveguided Display Systems
US Patient No. 20190377181 - Optical Systems for Displays
US Patient No. 20200088994 - Scanning Display Systems
US Patient No. 20200089313 - Tracking and Drift Correction
US Patient No. 20200089008 - Display Devices With Multimodal Audio
더 읽을 거리들
iPad Pro 2020 - Your next computer is not a computer: https://www.youtube.com/watch?v=09_QxCcBEyU
This is iPhone 12 Pro - Apple: https://www.youtube.com/watch?v=cnXapYkboRQ&list=PLHFlHpPjgk72jb60xIb7Jrx4sG06os6bx
Apple, 획기적인 LiDAR 스캐너를 탑재한 새로운 iPad Pro 공개 및 iPadOS에 트랙패드 지원 도입 - Apple 공식 보도자료: https://www.apple.com/kr/newsroom/2020/03/apple-unveils-new-ipad-pro-with-lidar-scanner-and-trackpad-support-in-ipados/
