by
May 03. 2024
케이팝의 언어 장벽을 무너뜨릴 주인공은 "AI 보이스"
지난 글에서는 AI 음성 기술이 케이팝 프로듀싱에 기여할 수 있는 다채로운 활용성에 대해 살펴보았습니다. 이번 글에서는 AI 음성 기술이 가지는 또다른 이점에 대해 이야기하고자 합니다.
AI 음성 기술은 케이팝 아이돌과 글로벌 팬덤 간의 언어 장벽 문제를 해소하는 데에 기여할 수 있습니다.
한국의 엔터4사 (SM, YG, JYP, HYBE)케이팝 업계에서 글로벌 시장의 중요성은 나날이 커지고 있습니다. 한국의 4대 엔터사 중 하이브와 JYP는 2023년 해외 매출 비중이 각각 63%와 52%로 국내 매출을 앞질렀으며, SM과 YG 역시 49%와 34%로 해외 매출 비중이 절반에 육박합니다 (이은영 10).
이러한 추세를 토대로, 하이브의 방시혁 대표를 비롯한 케이팝 산업의 리더들은 글로벌하게 보편적 가치에 접근할 수 있는 출구와 입구들을 더 많이 만들어야 한다는 목적의식을 기반으로 더 넓은 시장에서 더 넓은 소비자층을 만나려 노력하고 있습니다 (이선희, 정주원 11).
이러한 노력에 힘입어 한국의 음악과 영화, 드라마, 애니메이션 등 10개 분야에 대한 외국인의 호감도는 2017년 60.8%, 2018년 69.1%, 2019년 70.6%, 2020년 74.9%, 2021년 77.7%로 매년 증가했습니다 (오영학 3)
하지만 한편으로는 빌보드 핫100 차트에 K팝 아티스트가 진입한 횟수가 전년 대비 53% 감소하고, 동남아시아 주요국에 대한 음반 수출량이 30% 감소하는 등 부정적인 지표 역시 부분적으로 나타나고 있습니다. (유병연 3) K-콘텐츠에 대한 호감도는 올라감에도 불구하고 이를 제대로 활용하지 못해 실적은 성장 둔화 기조를 보이고 있는 것입니다.
이러한 현상의 배경은 무엇일까요? 여러 이유가 있겠지만, 해외 팬들이 케이팝과 K-드라마를 비롯한 한류콘텐츠를 소비할 때 가장 크게 걸림돌이 되는 것은 언어적 문제일 것임이 자명합니다. 한국어가 어렵고 생소하거나 자국어로의 번역이 미흡해 발생하는 언어적 문제들은 매년 제대로 해결되지 않고 반복되고 있는 것으로 나타났습니다.
이는 케이팝 산업이 한국인과 한국어를 기반으로 운영되는 이상 이는 필연적으로 맞닥뜨릴 수밖에 없는 문제이고, 이에 해외 케이팝 팬덤에서는 다양한 국적의 팬들이 직접 자국어로 번역한 자막을 자체적으로 제작해 아이돌의 영상 콘텐츠에 삽입하는 식으로 이를 극복하고 있습니다.
보이그룹 빅스의 영상에 직접 제작한 태국어 자막을 삽입해 시청하는 태국 팬들자막은 기획사 측에서 별도로 제공하지 않아도 팬덤 내에서 자체적으로 제작하기가 쉽고, 아이돌의 본래 목소리와 억양을 유지할 수 있기 때문에 많이 사용됩니다.
하지만 자막은 문자로 표기되어야 하는 제약 때문에 의성어 표현 등과 같은 음감의 표현을 그대로 전달하기 어렵고, 음성과 동기화된 자막을 제공할 때 시차가 발생할 수 있으며, 화면 일부(대체로 하단)에 제공되는 자막을 따라 읽기 위해 화면 자체의 영상에 집중하지 못해 몰입도가 낮아지는 단점이 있습니다 (박주연 외 2).
아이돌에게 인간적인 호감을 느끼게 만드는 것이 중요한 케이팝 산업의 비즈니스 모델 특성상 영상의 의미전달성과 몰입도는 매우 중요한데, 자막만으로는 언어 장벽을 충분히 뛰어넘을 수 없다는 것입니다.
하이브의 새로운 프로젝트 미드낫(MIDNATT)AI 음성 기술은 이에 대한 대안이 될 수 있습니다. 이미 하이브는 미드낫 프로젝트에서 다국어 발음 교정 기술을 통해 미드낫의 곡 <Masquerade>를 한국어, 영어, 스페인어, 일본어, 중국어, 베트남어 등 6개 언어로 동시 발매한 바 있습니다.
다국어 발음 교정 기술은 가수가 부른 특정 언어를 자연스러운 발음으로 교정하고 구현하는 기술입니다. 별도 섭외한 6개국어 원어민이 내레이션 발음을 노래 박자에 맞춰 데이터로 녹음하고, 이를 미드낫이 부른 각각의 외국어 버전 노래에 적용하는 방식입니다.
내레이터의 음성 데이터에서 발음과 강세 등의 요소만 가져와 적용함으로써 아티스트의 음색과 음정 등 가창 스타일과 음악적 표현을 훼손하지 않고 외국어 발음만 자연스럽게 교정할 수 있게 된 것입니다 (이태수 9).
이렇게 글로벌 팬들이 자신이 좋아하는 가수의 노래를 그의 목소리 그대로 자신의 모국어로 들을 수 있는 꿈과도 같은 일이 현실화됩니다. 이는 한국어 음성을 번역된 텍스트로 읽어 이해하던 기존 방식에 비해 시각과 청각이 일치되어 흐름이 끊기지 않기 때문에 의미전달성과 몰입도에 있어서 비교우위를 가집니다.
영화 더빙을 통해 캐릭터들의 목소리를 듣는 것이 대화의 맥락과 서사 구조뿐만 아니라 그 캐릭터의 상태, 위치, 관계 등을 더 용이하게 이해할 수 있도록 해 준다는 연구 결과에서 알 수 있듯이 (Mera 73), 아이돌의 목소리와 억양을 보존해 외국어로 변환시키는 AI 음성 기술은 팬들이 언어의 장벽을 넘어 대화를 자연스럽게 이해하고 아이돌에게 더 깊은 인간적 호감을 가지도록 만들 것입니다.
이후의 내용은 4편에서 이어집니다.
참고문헌
