지상파 방송사의 VR(가상현실)/AR(증강현실) 콘텐츠
# HD 방송제작 #VR #AR #AI
2017년 올해도 어느덧 4분기를 향하고 있는 현재의 시점에서 국내 TV 방송제작은 어떤 방향으로 흘러가고 있을까? HD 방송의 정착화, 5월 지상파 방송사의 UHD 본방송 개시, 4K 드론(Drone) 촬영 등 여러 가지 의제들이 있지만, 필자가 우선 순위로 3가지를 꼽아본다면 UHD 방송과 Mobile 콘텐츠 그리고 가상현실 (VR , Virtual Reality) & 증강현실 (AR, Augmented Reality, 이하 VR/AR) 이라고 생각한다. 따라서 이번 칼럼에서는 열거한 3가지 중에서 4차 산업혁명의 중심이라고 할 수 있는 VR/AR HD 방송 콘텐츠 제작을 각 방송사 실제 제작 사례를 중심으로 살펴보기로 한다.
VR/AR 분야는 어느날 갑자기 생겨난 분야는 아니다. 이미 1세기 이상 1, 2차 산업혁명이 진화를 거듭하면서 3차 산업혁명 전자기술의 발전에 따른 결과물이다. 컴퓨터와 인터넷 기반의 지식정보의 혁명과 디지털 공간의 확장 그리고 디지털 내에서의 융합을 통한 기술적 진보 및 사회 경제적 충격을 의미한다. 이러한 흐름속에서 출현한 4차 산업혁명은 진보된 디지털 물리적 영역과 융합됨으로서 사이버-물리 시스템 또는(아날로그의) 디지털 변환으로 확장되었다. 따라서 현재의 4차 산업혁명 핵심 요소는 고도화된 디지털 기술, 즉, 사물인터넷(IoT), 클라우드(Cloud), 빅데이터(Big Data), 모바일(Mobile 5G), 보안(Security), 인공지능(AI)으로 대표되는 I-C-B-M-S-A이라고 할 수 있다.
불과 얼마전까지 가상현실(VR) 분야는 증강현실(AR)의 일부로 인식되었지만, 최근에는 관련 시장이 증가하면서 별도로 구분되면서 새로운 시장을 형성중이다.
2. VR/AR의 개념. 주요 차이점
가상현실(VR, Virtual Reality)의 사전적 정의는 실제와 유사하지만 실제가 아닌 인공 환경을 의미한다. VR은 모든 시야를 디스플레이가 제공하는 가상 이미지로 채우는 것이며, 즉 실재하는 공간이나 이미지를 컴퓨터 그래픽으로 구현한 것을 말한다. 즉 컴퓨터를 이용하여 만들어낸 가공의 상황이나 환경을 사람의 감각기관을 통해 느끼게 하여 사용자가 몰입감을 느끼고 상호 작용하게 하는 기술이다.
방송사에서는 일반 HD 스튜디오 (크로마키어판)에 등장인물을 출현시키고 배경화면으로 실시간 렌더링 그래픽, 컴퓨터와 카메라에 엔코더가 부착된 VR 장비 그리고 비디오 영상 스위처로 구성된 화면을 출력한다.
증강현실(AR, Augmented Reality) 개념이 시작된 시기는 1966년 Ivan Sutherland 가 발명한 HMD(Head Mounted Display)로 가상 세계로 통하는 문이라고 명명하면서 부터이다. 이후 1990년 미국 보잉사의 Tom Caudell이 작업자들이 비행기에 전선을 조립하는 과정을 도와주는 시스템 개발하였고, 처음으로 AR(Augmented Reality)라는 어휘를 사용하기 시작하였다.
증강현실은 이용자의 실물 환경에 가상의 데이터를 맵핑하여 다양한 정보를 자연스럽고 실감 있게 제공하는 일체의 시스템과 콘텐츠로 구성된다. 따라서 가상현실과 증강현실의 가장 큰 차이점은 얼마만큼의 가상의 데이터를 채우느냐로 결정된다.
방송에서의 VR, AR이라는 의미는 TV라는 매체의 특성으로 인해 소비자의 능동적인 직접 체험이 다소 제한된 개념으로 사용되었다. 이러한 제약을 극복하기 위해 별도의 스마트폰 앱을 제작하거나 TV화면 QR 코드를 통해 모바일 기기와 연동을 시도하는 등 다양한 노력이 진행 중이다. VR 제작 환경은 가상의 공간 구현을 위해 크로마키를 이용한다는 사실을 제외하면 AR 제작 환경과 동일하다고 할 수 있다.
AR (Augmented Reality) 개념은 현실의 정보에 가상정보 합성한 형태이다. 현실을 기반으로 가상정보를 실시간으로 결합하여 보여주는 기술을 말한다. 세트를 제작해서 세트 앞에 서서 진행자가 제작하는 방식이 있으며, 현실을 기반으로 가상정보를 결합 또는 가상을 기반으로 현실정보를 결합시킨 형태로서 혼합현실(Mixed Reality) 이라고 불리기도 한다.
3. 지상파 방송 3사, VR/AR HD 프로그램 제작 사례
그동안 전통적인 방송 영상 콘텐츠 시장의 구조와 가치 사슬을 살펴보면 크게 기획 - 제작 - 송출 - 유통 부문으로 나뉘며, 각각의 가치사슬 단계에서 나타나는 특징이나, 행위, 투입 요소가 상이하였다.
그러나 4차 산업혁명 시대가 도래 하게 되면서 각 가치사슬별 변화와 더불어 전체적인 구조의 변화가 불가피 할 것으로 보인다.
현재 시점에서 속단하기는 어렵지만, 우선 빅데이터와 인공지능의 발전은 인간의 창의적 역할을 보완 또는 대체할 가능성이 높다. 즉, 기획 단계에서는 기획력의 보완으로써 빅데이터와 인공지능(딥러닝)이 작용하게 될 것인데, 실제로 기획이나 작가의 창작 영역에서 인공지능이 대체라고 표현하기는 어렵고, 보완하는 역할을 하게 될 것이고 이러한 양상은 점진적으로 확대될 것이다.
제작 단계에서는 작가와 연출의 역할을 인공지능이 일부 보완하게 됨은 물론, C-P-N-D-U의 확장된 가치사슬에서 이용자가 제작에 참여 및 관여하게 됨으로써 가치사슬 구조에 변화가 생길 전망이다. 또한 이용자의 미디어 이용 단말이 다양해지면서 VR/AR과 같은 초실감형 상호작용 콘텐츠의 제작과 제작기술의 고도화가 어우러지는 계기가 될 것이다. 즉, 제작단계는 이용자 단계를 포함, 기술발전에 다분히 의존적인 형태로 제작 형태의 변화가 발생할 것으로 보인다.
여기에서 그동안 지상파(계) 방송사에서 VR/AR 장비를 활용하여 제작된 새로운 유형의 방송 프로그램을 소개하면 다음과 같다.
3-1. KBS 한국방송
KBS 한국방송의 경우, 생로병사의 비밀 (2002년부터)을 필두로 과학카페, TV 유치원 ‘파니파니’, 날씨, 각 선거 방송 등에 활용하였다. 초기 파일럿 형태의 단순한 프로그램으로 출발하였지만, 최근에는 VR/AR 적용하는 카메라 대수의 증가와 다양한 실험적 프로그램을 선보이면서 시장을 선도해 나가고 있다.
원본보기
KBS 9시 뉴스 AR 기술 활용 스튜디오 제작 사례(KBS뉴스 세트 위에 3D 그래픽을 실시간으로 합성해 제작/방송). /사진출처= KBS 9시 뉴스. 나로호 3차 발사 성공_2013.1.30
원본보기
KBS 과학카페 활용 사례 /사진출처= KBS_TV기술국 제공
원본보기
KBS N VR 기술 스튜디오 제작 사례(KBS N 크로마판 세트 위에 진행자와 그래픽 합성 제작방송). /사진출처= KBS N Copa 아메리카 센테나리오_2016.6
3-2. MBC 문화방송
MBC 문화방송의 경우, 광복 70주년 신바람 페스티벌 불꽃축제 (2015.9.1) : 타임랩스 기법 촬영(2분 6초), 잠실 롯데 월드타워 VR 영상제작 (2016.7), 예능 프로그램 무한도전, 골프대회 등 사내 프로그램을 활용한 VR 영상제작, 방송 스튜디오 프로그램에서의 VR/AR 기법 활용 : 복면가왕. 쇼 음악중심. 라디오 스타, 또한 매년 개최되는 상암 DMC페스티벌 VR의 중심지 MBC 구현, 날씨. 선거방송 등에서 활용하였다.
원본보기
MBC 스튜디오 교양 프로그램 활용 사례 /사진출처= MBC_제작기술국 제공
3-3. SBS 서울방송
SBS 서울방송의 경우, 제 15대 국회의원 선거에서 VR 장비 국내 방송사 최초 도입 운용 (1996) 하였고, 이후 날씨, 금요터치, 접속 무비월드, 뉴스인 뉴스, 선거 방송 등에 활용중이다.
원본보기
SBS 8시 뉴스 적용 사례. 이슈 브리핑 등 /사진출처= SBS_뉴스텍 제공
4. VR/AR HD 부조정실-스튜디오 기본 장비 구성 (*실제 구성 사례)
VR/AR HD 스튜디오 시스템을 구성하고 있는 주요 장비 스펙들과 워크 플로워를 살펴보면 다음과 같다. 여기에서 제시하는 주요 메이커는 참고용일 뿐이며, 각 사 환경에 맞추어 설계하면 된다.
* Hw : HP 8600 / Sw : WASP3D
* Camera : Ikegami 790EX HD
* Tracker (카메라의 움직임 및 위치 정보를 감지하는 장비)
: Equipment for detecting the movement of the camera, and position
information
* Tracking Head : Stypekit Jimmy House. 실제 카메라의 Pan/Tilt/Zoom/Move
* Audio Delay : Indigo I/O Module
* VR/AR 동시에 2D/3D 자막 지원
* 3ds max/Maya 등의 파일과 호환 가능
* 360도 카메라에 AR 표현 : UHD, 4K 지원 가능
* 트레킹 헤드 드론 장착 + GPS 활용한 AR 구현 베타 테스트 수행 단계
* VR/AR과 함께 홀로그램(Hologram) 표현 가능
* 다양한 활용도 : 자막기, 타이틀, 브릿지를 실시간으로 제작
원본보기
HD 스튜디오 VR/AR 시스템 기본 구성 Work Flower /사진출처= KBS N 스튜디오 구성 사례 (2017)
5. 방송사는 왜 VR/AR 방송 콘텐츠 제작에 관심을 가지고 있나?
여기서 문득 한가지 궁금증이 있다. 그동안 지상파 방송사들은 뉴미디어 출현시 앞다투어 경쟁적으로 참여해 왔다. 초기 케이블 방송, DMB 방송이 그래왔다. 2010년에는 3D TV 제작을 야심차게 추진했지만 곧 시장 확대 실패라는 쓴맛을 경험한바 있다. 현재 지상파 방송사들은 또 다른 새로운 도전에 직면해있다. VR/AR 콘텐츠 제작 이외에도 최우선 순위로 UHD 본방송이라는 과제를 안고 있다.
그렇다면 지상파 방송사들은 왜 VR/AR 콘텐츠 제작에 관심을 가지고 있는 것일까? 혹시 관심이 없는 건 아닐까? 물론 여러 가지 이유가 있을 수 있다. 내부 사정으로 열거해보면, 예컨대 광고 수익의 정체/감소 타개책으로? 또는 인터넷 포털사 동영상 시장 확대를 견제하기 위해서?, 또는 모바일 분야로 빠져나가는 시청자들을 붙잡기 위해서? 신규 부가수익사업 창출? 등등. 어찌됐든 각 방송사마다 속사정은 다르겠지만 어느 정도 예상은 가능할 것이다.
5-1. VR/AR HD 방송제작 체크 포인트
인간이 인지하는 시각정보는 정보 수용량에서 차지하는 비중이 약 83%로, 청각 11%, 후각 3% 등 다른 감각에 비하여 월등한 수준의 정보를 차지한다고 한다. 이러한 시각정보를 기초로 VR/AR 기술은 단순히 체험하는 수준을 넘어 교육, 스포츠, 헬스케어 등 다양한 산업에 응용 할 수 있을 것으로 전망된다.
그동안 콘텐츠는 항상 미디어 기술의 발전과 긴밀한 관계를 맺으면서 발전되어 왔다. 형식 없는 내용은 없듯이 기술적 특성이 그 형식적 한계를 구성해나가는 가운데 이를 토대로 새로운 내용적 실험들이 더해지면서 콘텐츠가 진화해온 것이다.
VR/AR 경험을 구성하는 기술들이 진정으로 획기적인 변화를 반영하며 발전하고 있다면, 이들은 필연적으로 새로운 경험 양식을 만들어가게 될 것이다. 최근의 콘텐츠 융복합화의 흐름 중 VR/AR 경험과 관련해서는 주로 재현 기술과 수용 방식의 경험, 그리고 인식 기술과 구성 방식 경험의 특성을 검토할 필요가 있다.
VR/AR 방송 프로그램 기획-제작자 관점에서 고려해야 할 사항중에서 담당 PD는 기획/ 제작 회의를 통하여 프로그램 세트를 Real 세트로 할 것인지 아니면 가상 세트로 할 것인지를 결정해야 한다. 이후 담당 PD와 기술감독, 가상 스튜디오 스텝들을 만나 컨셉 회의를 하며 세트의 크기, 무대의 위치, 컬러 톤을 결정해야 한다.
가상 스튜디오 디자이너는 컴퓨터 그래픽을 이용하여 실제 세트가 아닌 그래픽 배경을 제작하여 최대한 자연스럽게 출연자들과 배경이 어울리게 하는 역할을 수행하며, 제작자(PD) 구상이나 기획 의도를 최대한 이해하고 그것을 Visualization화하여 효과적인 최고의 영상으로 보여 질 수 있도록 해야 한다. 이후에 최종 스튜디오 생방송 (Live) 또는 녹화 (Recoding)를 수행하며, 인코딩 및 인제스트 파일 캡처 과정을 거쳐 송출 (On-Air)로 이어진다.
기술적 관점으로 스튜디오 비디오 스위처 (VideoSwitcher)를 통하여 합성 제작된 크로마 키어(Chroma Keyer)로 운용하며, 합성될 인물과 배경 그래픽간의 적절한 매트값 설정과 합성된 영상의 색상 및 레벨 조정하여 완성도 높여야 한다. 이 때 가상 스튜디오 운용 소프트웨어로는 Vizrt , ORAD, WASP3D, BRAINSTORM 등이 사용되고 있다.
VR 카메라 운용은 카메라의 앵글 이미지는 캡처(Capture)되어 Control Work Station 컴퓨터에 저장되며, Video Delay를 사용하여 실질적으로 발생되는 합성 영상의 시간만큼 카메라의 영상을 지연시켜 일치 시켜주어야 한다. 실제로 카메라당 2 ~ 4 Frames 정도 딜레이가 발생된다. 발생 원인으로는 배경 그래픽의 실시간 렌더링 소요시간, 트래킹 센서의 영향 때문이다. 또한 스튜디오 조명의 색온도는 (+-) 2000 LUX 정도 이상으로 맞추어 주어야 한다.
그렇다면 VR/AR 기반 방송 콘텐츠 제작에 있어서 가장 중요하게 대두되는 문제는 무엇이 있을까? 주요 체크 포인트를 무작위로 열거해 보면 다음과 같다.
- 임장감(Presence) 증대
- 몰입감(Immersiveness) 증대
- VR/AR 카메라, 피사체의 움직임 범위
- VR/AR 주간 및 야간 촬영시 체크사항
- 실내 세트 촬영시 협소성 극복 방안
- HMD(Head Mounted Display)와 시뮬레이터를 활용한 오프라인용 VR/AR 체험
- 출연자 의상. 분장
- 기타
6. 주요 시사점. VR/AR 콘텐츠 제작의 미래 발전 방향
앞서 열거한바 있지만, 현재 국내 지상파 방송사들은 차세대 콘텐츠 플랫폼이라 할 수 있는 UHD 포맷, 4K 영상 콘텐츠 제작 이라는 대명제가 주어져 있다. 또한 빠르게 앞서 나가고 있는 글로벌 미디어 그룹과 국제 표준화 제정 등의 환경도 적극적으로 대응하면서, 의무 편성/전송도 해야 하는 결코 녹록치 않은 여정이 기다리고 있다. 그렇지만 여기서 새로운 프리미엄 포맷이라 할 수 있는 VR/AR 콘텐츠 제작을 넋 놓고 외면만 하고 있을 것인지 반문하지 않을 수 없다.
콘텐츠 제작 미래 방향으로 필자는 VR/AR 콘텐츠 등 신 유형 콘텐츠 제작에 있어 가장 중요한 요소가 인적 구성원들의 열린 마인드라고 생각한다. 기획자, PD, 카메라, 기술, 작가, 편집, 세트, 자막, 그래픽 디자이너 등 기존의 경험 많은 제작 스텝들이 새로운 분야에 대한 호기심과 도전 정신이 가장 중요하다고 생각한다.
이미 수년전 3D 영화붐에서 의욕적으로 3D 영화제작이 시작되었지만, 부족한 인력과 시설 투자 미비로 쓰라린 실패를 경험했듯이, 새로운 콘텐츠 제작에 있어서의 이벤트성 서비스 한계 인식(탈피)가 무엇보다 시급한 실정이다. 앞으로 수많은 시행 착오를 각오하고 각 방송사 특성에 맞는 최적의 제작기법 축척이 필요한 시점이며, 여기에 VR/AR 장르를 접목해 단계적으로 실행해나가는 과정이 필요해 보인다.
최근 정부 정책을 살펴보면 4차 산업혁명으로 VR/AR 분야를 지목하면서 투자에 있어 조금 서두르는 모양새다. 그러나 아직 여러 가지로 준비가 부족한 산업계 입장에서 Hot 이슈가 아닌 중장기적 접근이 아쉬운 대목이다.
방송사 측면에서도 뉴스 보도, 선거 이벤트 프로그램 위주 탈피 노력과 교양, 예능, 스포츠 프로그램 확대, 활동 영역 증가에 따른 다양한 운영방법 등 R&D (장비도입. 인력 운영. 그래픽 개발)에 고민해야 한다.
VR/AR은 실시간(Real time) 그래픽 합성 작업을 요구하며 정교하고 무거운 CG를 컨버팅 하기에 어느 정도 한계가 있다고 할 수 있어 작업 효율화 문제가 해결되어야 한다. VR/AR 핵심이라 할 수 있는 Markless에 대한 Tracking 제작기술 know-how 확보 또한 중요하다. VR/AR 드라마, 영화 분야의 다양한 시청환경도 극복 과제 (현재 공공장소에서 사용이 어렵다) 중의 하나이다. 더불어 가상(증강)현실 기반의 콘텐츠를 쉽게 만들 수 있도록 저작도구 개발 및 기술 표준화 연구가 필요해 보인다.
VR/AR 기법을 활용한 방송제작 시장 접목은 이제 서막에 불과하다. 반대로 얘기하면 그만큼 발전 가능성이 무궁무진하다는 뜻일 것이다. 일선 방송 제작자들은 이러한 신기술을 어려운 분야가 아닌 새로운 도전으로 받아드릴 수 있기를 요청 드린다. 제작 현장에서 VR/AR 장비를 적극 활용한 보다 세련되고 향상된 콘텐츠를 만들어 시청자들이 원하는 시청권을 제공해줄 때 제작자와 시청자가 공감하는 능력은 향상될 것이다.
결국 정답은 정해져 있기 않기 때문에 각 주체들과 여기에 속한 사람(인력)들의 다양한 도전이 더 가치 있는 시점이라고 할 수 있다. 새로운 분야의 도전 그리고 성공과 실패. 만약 실패를 하더라도 제작 노하우를 쌓을 수 있기에 아름답게 받아들일 수 있는 격려 분위기를 조성하는 것이 중요하다는 생각을 해보면서 본 칼럼을 마친다.
* 본 칼럼은 2017.8.21일자 디지틀 조선일보에 게재되었음을 알립니다.
