병렬(Parellel)의 미학 2

두번째 이야기. 여러개의 눈을 가진 스마트폰

Chapter1. 요즘 유튜브 안보는 사람이 있나요?

  유튜브(Youtube)에는 1분에 약 500시간 분량의 영상이 업로드된다. 전 세계 23억 명의 사람들이 그 영상을 본다. 지금은 바야흐로 미디어 콘텐츠의 시대다. 유튜브, 틱톡(TikTok), 인스타그램(Instagram) 등 수많은 플랫폼에서 자신의 일상과 활동을 동영상, 사진으로 촬영하고 이를 공유한다. 이런 미디어 콘텐츠를 본격적으로 대중화 시킨 숨은 조력자가 있다. 스마트폰이다. 우리의 일상을 바꾼 혁신의 아이콘으로서, 이제는 누구나 필요한 필수품이 된 스마트폰은 전용 카메라와 버금가는 화질과 성능으로 누구나 손쉽게 미디어 콘텐츠 제작하게 해준다. 스마트폰으로 촬영을 하고 심지어 편집까지 가능하다. 이렇게 콘텐츠의 진입장벽을 낮추어준 덕분에 우리는 재미난 미디어 콘텐츠의 홍수 속에서 살아간다. 그런데 이 스마트폰을 들여다보면 10여 년 전 우리 일상에 스며들기 시작했을 때와는 사뭇 다른 모습이다.

 

아이폰 11 프로 (출처 : 애플)

Chapter2. 아이폰11 프로 인덕션 에디션

  2019년 9월, "And then there was Pro"라는 슬로건 함께 아이폰11 프로가 세상에 공개되었다. 이제까지 스마트폰이 도달하지 못한 최고의 컴퓨팅 성능과 후면에는 3개의 카메라가 장착되었다. 이게 사람들의 이목을 끌었다. 다음날부터 인터넷에서는 꼭 주방기구인 인덕션처럼 생겼다며 아이폰 11 프로 인덕션 에디션이라는 별명과 함께 아이폰 위에서 요리를 하는 패러디 사진들이 난무하였다. 애플은 왜 이런 선택을 한 것일까? 이러한 방향을 이해하려면 먼저 스마트폰 카메라가 가지고 있는 한계에 대해서 알아야 한다.

  스마트폰은 공간이 부족하다. 요즘 스마트폰을 분해해보면 대부분 공간을 배터리가 차지하고 있다. 다른 부품들은 배터리 주변으로 빽빽하게 아주 작은 크기로 배치가 되어있다. 이러한 상황에서 카메라 센서의 크기를 키우기에는 힘이 든다. 카메라는 센서가 커질수록 화질이 좋아진다고 해도 과언이 아니다. 센서가 클수록 더 많은 빛을 받아들일 수 있고 이는 화질로 직결된다. 스마트폰 카메라가 아무리 좋아졌다고 해도 전문가용 카메라가 따로 출시되는 것도 이 센서 크기의 한계도 한몫을 한다. 또한 두께도 부족하다. 센서는 기본적으로 카메라 렌즈와 어느 정도 거리가 떨어져 있어야 한다. 우리 눈을 보면 각막이 가장 바깥에 있고 상이 맺히는 망막이 가장 안쪽에 있는 걸 보면 그 이유를 알 수 있다. 상이 맺힐 거리가 필요하다. 하지만 스마트폰은 점점 얇아지지 않는가. 센서가 클수록 렌즈도 커지고 거리도 멀어져야 하는데 이 공간이 부족한 것이다. 흔히 말하는 카메라가 튀어나온 모양, `카툭튀`도 이 때문에 생긴다.

삼성전자 갤럭시 노트 20의 후면 카메라 (출처: 삼성전자)

  공간은 부족하고 사람들은 점점 좋은 카메라를 찾고 있다. 병렬 구조가 그 해결책이 되었다. 다양한 사양을 가진 카메라 센서를 여러 개 넣어 필요에 따라 카메라를 선택해서 쓰는 것이다. 하나의 센서로는 전문가 카메라에 비할 바가 안 되겠지만 각각의 단점을 보강해 줄 수 있는 다양한 카메라를 넣어 이 정보를 유기적으로 사용하는 전략. 이게 지금의 스마트폰 제조사들이 택한 멀티 카메라 전략이다. 비록 인덕션이라는 별명이 붙었지만 말이다.

  아이폰 11 프로를 예로 설명을 하면 후면에 총 3개의 카메라가 들어간다. 초광각, 광각, 망원 이렇게 3가지 종류다. 먼저 초광각 카메라는 이름에서 알 수 있듯이 넓은 각을 보면서 찍을 수 있는 카메라다. 광활한 초원, 멋진 해변의 넓은 모습을 담고 싶을 때 사용하면 된다. 지금 머리를 고정한 상태에서 눈만 돌려서 양옆을 보면 생각보다 사람이 넓은 영역을 볼 수 있는 것을 알 수 있다. 이렇듯 우리의 시야에 들어오는 넓은 풍경을 담기에 적당한 카메라가 초광각 카메라다. 하지만 넓은 영역을 찍으려다 보니 어쩔 수 없이 생기는 왜곡은 이 카메라의 단점이다. 다음은 광각 카메라다. 적당한 광각과 초점거리로 만들어지는 자연스러운 원근감은 우리가 일반적으로 기대하는 카메라를 생각하면 될 것 같다. 마지막 망원 카메라는 긴 초점거리로 좁은 영역을 보지만 멀리 있는 사물을 찍기에 유리한 점을 가지고 있다. 이렇게 초광각, 광각, 망원을 보자면 각각 풍경, 적당한 거리의 인물, 멀리 있는 사물들을 찍기에 적당한 카메라라고 할 수 있다. 이렇게 필요에 따라서 카메라를 선택하여 사용할 수 있는 이점을 사용자에게 제공한다. 하지만 이것만이 멀티 카메라가 가지고 있는 이점일까?

Chapter3. 병렬의 미학. 여러개의 눈으로 본다

  인간이 2개의 눈을 가지고 있는 이유는 무엇일까? 한쪽 눈이 아파서 안대를 해본 경험이 있는 사람은 양쪽 눈으로 세상을 보는 게 얼마나 중요한 일인지 알 것이다. 인간은 양쪽 눈을 사용해 거리감을 인지한다. 머리를 고정하고 왼쪽 눈과 오른쪽 눈을 번갈아 감아보면 보이는 모습이 다른 것을 쉽게 알 수 있다. 가까이 있는 물체일수록 왼쪽 눈과 오른쪽 눈이 보는 위치가 다를 거고 멀리 있는 물체, 풍경일수록 각각의 눈이 보는 모습이 크게 다르지 않을 것이다. 우리는 이 차이를 시시각각 뇌가 인지하며 멀리 있는 물체와 가까이 있는 물체를 구별한다. 우리는 2개의 눈이라는 카메라를 가지고 세상을 입체로 보고 있다.

  멀티카메라도 이처럼 여러 개의 카메라에서 찍힌 정보들을 통합하여 새로운 정보를 만들어 낸다. 단순히 여러 개의 카메라로 다양한 화각과 초점거리로 사진만 찍어내는 것이 아니라 알고 있는 정보들을 가지고 새로운 정보를 유추해 내는 것이다. 병렬의 미학이 시작된다.

인간이 사물을 입체로 보는 원리. 왼쪽 눈과 오른쪽 눈의 시선이 다르다.

멀티 카메라, 여러 개의 눈으로 공간을 인지한다.

  인간의 눈이 양쪽 눈의 정보 차이로 공간을 인지하는 것(Depth perception)처럼 카메라도 같은 방식으로 처리를 할 수 있다. 과거에는 같은 화각을 가진 똑같은 카메라를 다른 위치에 2개 이상 배치하여 이러한 공간정보를 인식하였다. 흔히들 스테레오 카메라 (Stereo camera)라고 불리는 형태이며 LG사의 옵티머스 3D 같은 스마트폰이 이러한 형태를 가지고 있었다. 같은 화각을 가진 정보를 가지고 계산을 해서 상대적으로 쉽게 공간의 정보를 인식할 수 있다. 이렇게 공간의 정보를 인식한다면 무엇을 할 수 있을까? 먼저 사물의 깊이 정보를 알 수 있어서 배경을 흐리게 하여 피사체가 도드라지게 하는 아웃포커싱(Out focusing) 효과 등을 적용할 수 있다. 또한 더 나아가 동영상을 2개의 카메라로 동시에 촬영한다면 공간에 대한 3D 정보까지도 스캔을 할 수 있다. 최근에는 화각이 다른 카메라를 가지고도 이러한 깊이 정보를 계산할 수 있는데 이는 인공지능의 발전에 덕분에 개발이 가속화되었다. 아이폰에서 처음으로 듀얼 카메라가 적용된 아이폰 7 Plus에서는 광각과 망원 카메라로 이러한 깊이를 계산한다.

좌측 2개의 사진이 스테레오 카메라로 찍은 사진, 우측 2개의 사진은 깊이 정보 (출처 : Github. than-li-coding/SemiGlobalMatching)

스마트폰 카메라 최대의 적. 어둠을 이겨낸다.

  어두운 공간에서 센서가 큰 카메라가 유리할까 센서가 작은 카메라가 유리할까. 당연히 센서가 큰 카메라가 조금이나마 더 많은 빛을 모을 수 있어서 어두운 환경에서도 더 깨끗한 사진을 촬영할 수 있다. 하지만 스마트폰 카메라의 경우 앞에서 이야기했듯이 센서의 크기를 키우는 데 한계가 있어서 이런 어두운 곳에서의 촬영, 저조도 촬영에 취약하다. 이러한 문제를 해결하기 위해 멀티카메라가 나섰다. 흑백 카메라를 이용하는 방법이다. 일반적으로 색채 카메라는 흑백 카메라의 센서를 빨강, 파랑, 초록 색깔별로 한 번 더 나누어서 사용을 해서 센서에서 한 점의 크기가 더 작아진다. 즉 색깔별로 나누어서 봐야 하므로 흑백 카메라보다 적은 빛에 약하다. 그래서 멀티 카메라 중 하나를 흑백 카메라를 넣는 것이다. 어두운 곳에서 흑백 카메라로 사진을 찍고 거기에 칼라 카메라로 찍은 색채 정보를 합성하는 방식으로 촬영을 하는 것이다. 대표적으로 중국의 스마트폰 제조사 화웨이의 P20 프로 트리플 카메라에 이 방식이 적용되었다.

4 X 4 크기의 칼라, 흑백 센서 예시

  최신 스마트폰 개발에서 카메라는 많은 영역을 차지하고 있다. 신제품이 발표될 때마다 많은 크리에이터들이 사진을 찍어 올리며 성능을 비교하기도 하고 유튜브에서는 한 번에 다양한 스마트폰으로 같은 영상을 찍은 비교 콘텐츠들을 쉽게 찾아볼 수 있다. 전문가용 카메라를 따라잡고 개인 미디어 제작의 최강 솔루션이 되고자 하는 스마트폰 카메라의 개발이 계속된다. 최근에는 내부 기계식 광학 줌, 픽셀 병합 (Nona-Binding), 라이다 센서 적용 등 스마트폰 카메라에 다양한 시도를 하고 있다. 이러한 다양한 기능들이 또 멀티 카메라 구조에서 어떠한 새로운 기능을 소비자들에게 선사할지 그 미래가 주목된다.