HeyGen, AI로 글로벌 서비스 대응하기
5부. 한 개의 영상을 30개의 언어로? with HeyGen
필자는 글로벌 서비스 플랫폼에서 프로덕트 디자이너로 일하고 있다. 현재 인도와 한국을 중심으로 서비스를 만들고 있기 때문에 기본적으로 '영어/힌디어' & 한국어를 주 언어로 서비스를 만들고 있다.
하지만, 인도는 2021년 기준으로 14.08억 명의 인구가 살고 있으며, 20개가 넘는 다양한 언어를 주 언어로 사용하고 있다.
현대 인도에서 힌디어와 영어를 가장 많이 사용하고 있으며, 그중에서도 영어는 한국인에게도 익숙한 언어이기 때문에 영어를 주로 사용하고 있다. 인도 사용자들에게 적합한 서비스를 만들기 위해 힌디어로도 서비스를 만들고 있지만 (영어 -> 힌디어) 번역을 필자 스스로 할 수는 없다. 번역을 해주시는 분이 따로 계시고, 단순 복사 붙여 넣기만 하는 수준에 그치는 점이 아쉬웠다. 그리고 번역을 하는 데에도 많은 시간이 걸린다.
하지만 서비스를 만들면서 필자 스스로 단 한 글자도 읽고 쓸 줄 모르는 힌디어를 인도에서 가장 많이 사용하며, 필자의 생각만큼 영어를 자유롭게 사용할 수 있는 사람들이 인도에는 많지 않다는 것을 알게 되었다.
요즘은 AI로 영상을 만들고 있는데, 퀄리티 높은 영상을 만들 때는 리소스가 상당히 많이 들어갔다. 따라서 20개가 넘는 주요 인도어로 번역한 영상을 만들기는 어렵겠다는 생각이 들었다.
필자는 영어를 읽고 해석하는 데에 큰 문제는 없지만, 영어로 자유롭게 소통하는 수준은 되지 못한다. 따라서 다른 직군에게 부탁하지 않고 나 스스로 만들 수 있는 방법은 없을까, 혹은 한국어로 생성한 영상을 자동으로 번역해 주는 서비스를 없을까?라는 생각이 들었고, 그런 서비스를 찾다 보니 HeyGen이라는 서비스를 알게 되어 소개해드리려고 한다. 필자와 같은 고민을 하고 계시거나 글로벌 서비스를 만들고 계신 분들께 도움이 되었으면 한다.
HeyGen - Create & Edit AI Videos Online - Translate Videos with AI
앞서 말씀드렸듯이, 오늘 소개해드릴 서비스는 'HeyGen'이라는 서비스이다.
HeyGen의 가장 큰 특징은 '말하는 내 모습을 다국어로' 만들 수 있다는 것이다. 음성 번역은 물론이고 입모양까지 바꿔주는 것을 보면 상당히 자연스러운 모습을 볼 수 있다.
HeyGen의 가장 각광받는 기능인 Instant Avatar를 먼저 설명드리려고 한다. HeyGen에는 공짜로 사용할 수 있는 다양한 아바타들이 이미 생성되어 있다. 해당 아바타들을 사용하면 입모양을 그대로 따라 하는 영상을 생성할 수 있다. 또한 본인의 영상을 첨부해 본인이 다양한 언어로 말하는 영상을 만들 수도 있다.
Edit Avartar 버튼을 클릭하면, [배경 지우기 / 뷰 모드 설정 / 페이스 스왑 / 보이스] 다양한 설정을 통해 나만의 아바타로 편집이 가능하다.
하지만, 필자가 주목한 기능은 HeyGen의 Labs에 있는 'Video Translate'라는 기능이다. 해당 기능에 대해 간단히 말하자면 [한국어로 제작한 영상 -> 영어, 힌디어 등의 다양한 언어의 영상]으로 만들어 주는 기능이다. 물론, 입모양도 실제 말하는 것과 동일하게 번역해 준다.
그럼, 이제 영상을 한 번 만들어보자!
우선 HeyGen으로 영상 번역을 하기에 앞서, [한국어로 된 영상]을 제작했다.
(HeyGen에서도 영상을 제작할 수 있다.)
하지만 필자는 '한국어 음성 : Clova / 이미지 : Midjourney'으로 생성한 후,
음성과 이미지를 합쳐 D-ID로 영상을 만들었다. (elevenlabs에서 음성을 생성할 수도 있었으나 한국어인 경우 clova가 가장 자연스럽게 느껴졌다.)
말하는 것이 엄청 자연스럽지는 않지만, 이 정도로 실제 사람이 말하는 것처럼 보이는 게 필자는 엄청나게 신기하게 느껴졌다. 이제 이 영상을 HeyGen에서 다른 언어로 즉각 번역해 보자!
HeyGen으로 번역하기
사용 방법은 간단하다. 내가 녹화한 영상이나, 번역을 하고 싶은 영상을 업로드하면 절반은 끝났다.
1. 번역하고 싶은 언어 선택
2. 화자가 몇 명인지 선택
하고 기다리면 끝이 난다.
[현재를 기준으로 번역할 수 있는 언어]
English - American Accent / English - Your Accent / Arabi / Bulgarian / Croatian / Czech / Danish / Dutch / Filipino / Finnish / French / German / Greek / Hindi / Indonesian / Italian / Japanese / Korean / Malay / Mandarin / Polish / Portuguese / Romanian / Russian / Slovak / Spanish / Swedish / Tamil / Turkish / Ukrainian
이 중에서 몇 가지 실험한 영상을 보여드리려고 한다.
Japanese - 일본어 ver.
English - 영어 ver.
Hindi - 힌디어 ver.
German - 독일어 ver.
영상 번역을 하면서 느낀 점은, 정확히 해당 언어를 사용하는 사람들이 이 영상을 보아도 자연스러운지는 잘 모르겠다는 것이다. 하지만 정확한 것은 예전보다 놀라울 정도로 AI 영상 서비스도 발전하고 있다는 것이다. 딥페이크뿐 만 아니라 각종 AI 영상, 음성, 번역 서비스가 나날이 업데이트된다. 필자가 서비스를 익히고 적응하는 속도보다 서비스 발전 속도가 더 빠른 느낌이다. 또한 20개가 넘는 언어로 번역하는 것이 단, 클릭 한 번으로 이루어질 수 있다는 게 놀라웠다.
앞으로는 글로벌 서비스로의 진출도 더 수월해지지 않을까?라는 생각이 들었다. 또한 해당 서비스, 기능을 이용하면 유튜버 혹은 강의를 찍으시는 분들도 클릭 한 번으로 세상의 모든 시청자들과 소통할 수 있을 것이라고 생각했다. 언어의 장벽 때문에 고민을 했던 분들이나 좀 더 넓은 세계의 사용자들을 만나고 싶었던 디자이너, 기획자분들께 도움이 되었으면 좋겠습니다.
(HeyGen을 결제한 김에 조만간 HeyGen의 새로운 기능을 한 번 더 소개하러 오겠습니다!)
