음성복제 AI의 현주소와 활용사례
의뢰가 들어온 건 올봄이었다.
오랫동안 각종 매체에서 강연과 집필을 이어오신 일본 교수님이었는데, 본인의 모습과 목소리를 AI로 재현해 줄 수 있겠냐는 부탁이었다. 고령으로 체력이 예전 같지 않지만, 사람들에게 아직 전하고 싶은 것들이 많다고 하셨다.
나는 ElevenLabs로 강연 영상에서 추출한 오디오로 목소리를 복제하고,
Seedream과 Seedance로 선생님의 모습과 움직임을 만들었다.
마지막으로 Lipsync AI를 통해 목소리와 입 모양을 맞췄다.
며칠 시행착오를 거친 끝에, 교수님과 나 모두 어느 정도 만족할 만한 결과물이 나왔다.
주변 사람들도 감쪽같다고 했다.
그런데 완성본을 넘기던 순간, 머릿속에서 한 가지 생각이 떠나질 않았다.
이렇게 쉽게 한 사람의 얼굴과 목소리를 흉내 낼 수 있는 세상에서,
우리는 어떻게 속지 않고 살 수 있을까?
수많은 음성생성 AI 중, 단연 선두에 있는 건 ElevenLabs다.
2022년 런던에서 설립된 AI 음성 합성 서비스로, 신경망 기반 음성 합성 기술(Neural TTS)을 사용하는데, 사람의 목소리에서 고유한 패턴, 주파수, 리듬, 강세, 호흡 방식을 학습해 새로운 문장을 그 사람이 직접 말하는 것처럼 자연스럽게 생성한다.
이미지/영상생성 AI인 Seedream과 Seedance는 TikTok으로 유명한 ByteDance(중국)의 서비스로, 최근 인스타그램을 뜨겁게 달궜을 만큼 성능이 뛰어나고, 비용은 놀랄 만큼 저렴하다.
그리고 목소리와 영상을 최종적으로 하나로 연결해 주는 건 Sync.so의 립싱크 AI다.
2023년 샌프란시스코에서 설립된 이 회사의 창업팀은 옥스퍼드대학교 출신 연구자들로, 영상 속 사람의 입 모양을 어떤 음성에도 자연스럽게 맞춰주는 기술을 연구 개발하고 있다.오해하기 쉬운데, '무'에서 새로운 영상을 만드는 것보다 이미 존재하는 영상과 음성을 분석해서 입모양을 수정하는 것이 기술적으로 훨씬 더 어렵고, 비용도 많이 든다.
목소리와 영상이 합쳐지면, 결과물은 실제 그 사람이 말하는 것과 구별하기 어려워진다.
2026년 3월, 음성 AI 품질 벤치마크 1위에 오른 건 미국 기업이 아닌, Fish Audio라는 중국 스타트업.
이 회사에서 출시한 Fish Audio S2는 15초짜리 음성 샘플만으로 즉시 복제가 가능하다. 짧은 음성 메모 하나, 전화 통화 몇 마디면 충분한 분량이다.
불과 1년 전까지만 해도 음성복제란 일부 전문가의 영역이었고, 비용 부담도 있었다.
지금은 의지만 있으면 누구나 할 수 있다. 그리고 그 문턱은 앞으로도 계속 낮아질 것이다.
이 새로운 음성복제 AI 기술은 이미 수많은 사람들의 생활에 기여하고 있다.
ALS(루게릭병)로 목소리를 잃어가는 환자.
진단 직후 자신의 목소리를 저장해두면, 병이 진행된 이후에도 그 목소리로 말할 수 있다.
목소리는 그 사람의 일부다. 신체를 잃어가면서도 그 일부를 지킬 수 있다는 건 결코 작은 일이 아니다.
실제로 연구에 따르면, 범용 합성 음성보다 자신의 목소리로 복제된 디지털 음성을 사용할 때 환자들이 훨씬 더 심리적으로 연결감을 느끼는 것으로 나타났다.
시각장애인.
AI 음성을 탑재한 스크린 리더는 시각장애인이 인터넷을 탐색하고, 책을 읽고, 다양한 텍스트 콘텐츠에 접근할 수 있도록 돕는다. 예전에는 기계적이고 단조로운 음성뿐이었다면, 지금은 자연스럽고 감정 표현이 담긴 목소리로 정보를 전달받을 수 있다.
기업 고객 상담원.
은행, 통신사, 유통 기업들이 AI 음성을 고객 상담 시스템에 도입하고 있다.
24시간 응대가 가능하고, 언어나 억양도 고객에 맞게 조정할 수 있다. 단순 반복 문의는 AI가 처리하고, 상담사는 더 복잡한 문제에 집중할 수 있게 됐다.
영상 콘텐츠 제작자.
2024년, 여러 제작사들이 AI 더빙을 도입해 비용을 40% 이상 절감했다고 보고했다.
유튜버들은 자신의 영상을 외국어로 더빙할 때 낯선 성우 목소리가 아닌 본인의 목소리 질감 그대로 전달할 수 있다.
멸종 위기 언어를 가진 소수 민족.
사라져가는 언어를 사용하는 화자의 목소리를 디지털로 기록하고 보존하는 데도 이 기술이 활용되고 있다. 마지막 화자가 세상을 떠나도, 그 언어의 소리는 남길 수 있다.
2025년 7월, 플로리다주에 사는 어머니 Sharon Brightwell는 딸의 목소리로 걸려온 전화를 받고, 현금 1만 5천 달러를 보냈다. 그리고 얼마 후 진짜 딸과 통화하고 나서야 AI 목소리로 걸려온 사기임을 알았다.
같은 해 초, 이탈리아에서는 국방장관의 목소리를 복제한 사기단이 재계 거물들에게 전화를 걸었다.
납치된 기자를 구하려면 몸값이 필요하다는 내용이었다. 경찰이 자금을 동결하기 전, 적어도 한 명의 피해자가 약 100만 유로를 이체했다.
CrowdStrike의 2024년 보고서에 따르면, 음성을 이용한 피싱 공격은 전년 대비 442% 증가했다고 한다.
한국도 다르지 않다. 가족을 사칭하는 보이스피싱은 이미 오래된 수법이다.
여기에 AI 기술이 더해지면, 피해자는 목소리나 사진만으로는 도저히 구별하기 어렵다.
수십 초의 음성 샘플 하나, 혹은 사진 한 장이면 충분한 지금, 유명인은 물론이고 우리 모두, 자신의 목소리와 얼굴이 언제 어떻게 악용될지 알 수 없다.
칼이 있다고 해서 칼이 나쁜 게 아닌 것처럼,
AI가 이 모든 것의 원흉은 아니다.
분명 피해보다, 혜택을 보는 사람이 더 많을 것이라 믿는다.
역사가 늘 그래왔듯, 기술을 두려움으로 막을 수는 없다.
그렇다면 남은 선택지는 하나.
오늘 AI가 무엇을 할 수 있는지 아는 것.
내일 AI가 어디까지 발전할지 호기심을 놓치지 않는 것.
AI는 "내가 따라가기 힘든 최신 기술"이 아니다.
우리 삶에 필수불가결한 사회 인프라 그 자체로 진화중이다.
우리가 정말 경계해야할 건 기술이 아닌,
아무것도 모른 채로 살아가는 만용이 아닐까?
최대한 사실 확인을 거쳤으나, 오류가 있을 수 있습니다.
잘못된 내용을 발견하셨다면 댓글로 알려주세요.
AI 음성복제에 대한 상세한 내용은 아래 페이지에서 확인할 수 있습니다.
https://www.knowai.space/class/elevenlabs-voice-cloning-guide-2026