포유류가 일하는 AI 음악기업?

뉴튠! 서울대 김희철이 떴다!!

바야흐로 AI 만능 시대입니다. 대화, 그림, 기사, 소설, 보고서까지 모든 영역에서 AI가 활약(?)하며 사람들을 놀라게 하고 있습니다. 이제 우리의 하루에서 AI 기술이 들어가지 않은 것은 거의 없는 정도가 됐습니다. 아직 많은 사람이 쓰고 있지만 조만간 우리의 하루에 들어올 AI의 새로운 침투 영역을 소개하려고 합니다. 바로 ‘음악’입니다. 

우리에게 ‘음악’은 언제부터 있었을까요? 먼 옛날 문자가 생기기 전에는 흥얼거림으로 내용을 전달할 정도로 음악은 우리와 함께 해 왔습니다. 수천 년 이상이 된 음악에 AI가 들어온다? 음악 제작자 외에 모든 사람들이 자신만의 음악을 만들고 즐길 수 있다는데요. 어떻게 이런 일이 가능할까요? 

음악을 사랑하는 공학도들이 모여 만든 ‘뉴튠(Neutune)’, 이 곳에서 일하는 서강윤 매니저님을 만나봤습니다. 서 매니저님은 서울대 재학시절부터 락밴드 보컬로 활동한 음악가입니다. 대학가요제에서 수상했던 실력파이기도 합니다. 현재도 포유류라는 예명으로 꾸준히 활동하고 있습니다. 

포유류…? 아니, 서 매니저님을 통해서 뉴튠이 얼마나 흥미로운 기업인지 한 번 알아봅시다.

(**포유류의 음악을 들어봤는데 노래가 정말로 좋았습니다. 한 번 들어보시면 감성 촉촉...)

2009년 쇼음악중심 출연 당시 화면

Q. 안녕하세요. 자기 소개 부탁드립니다.

A. 안녕하세요. 음악AI 스타트업 뉴튠에서 일하고 있는 서강윤이라고 합니다. 포유류라는 이름으로 노래하고, 음악을 계속 만들고 있습니다. 2006년 서울대 재학 시설 대학가요제에 출전해 은상을 받았습니다. 이후에는 대학가요제에 나갔던 입상자들과 함께 뭉쳐 밴드 ‘나폴레옹 다이너마이트(Napoleon Dynamite)’를 결성했습니다. KBS 드라마 ‘얼렁뚱땅 흥신소’의 오프닝곡을 부르기도 했습니다. 동아리로 시작해서 인디밴드로 활동하고 나름대로 왕성하게 활동을 했어요. 락페스티벌도 나가고 쇼음악중심에도 출연했죠. 한 동안 공중파에서 인디밴드의 방송출연이 금지된 적이 있는데(카우치 노출 사건), 그 이후 나폴레옹 다이너마이트가 최초로 나간 거예요. 

(@온라인에서 찾을 수 있는 매니저님에 관한 글을 추가합니다. 나폴레'용'은 서 매니저님의 예전 활동명입니다. 나폴레'옹' 아님!!)

-단연 눈에 띄는 멤버는 TV 출연으로 ‘서울대 김희철’이란 닉네임을 얻은 나폴레용. 서울대학교 불어교육과에 재학 중인 그는 훤칠한 키, 잘생긴 외모에 구수한 부산 사투리로 주목받아 포털사이트 검색어 1위에 오르며 네티즌의 관심을 모았다. 

-나폴레용은 “다른 밴드에 비해서 특별히 고생했다고 생각진 않는다”면서도 “가끔 하는 행사 외에는 수입이 없으니 합숙할 때 매우 저렴한 베트남 쌀로 밥을 해먹었다. 물에 조미료만 넣고 국을 끓여먹은 적도 있다”며 애써 웃었다.

출처 : https://www.fnnews.com/news/200802191829082583

-‘나폴레옹 다이나마이트’ 멤버들이 본 서강윤씨는?

최선생 : 잘 때도 눈을 뜨고 자는 무서운 녀석이다. 잠꼬대도 한다. 도통 어떻게 생겨먹은 녀석인지 알 수가 없다. 하지만 깊이를 알 수 없을 만큼 속도 깊다.

페드로 : 자유로운 영혼의 소유자다. 세상일에 별로 신경 쓰지 않고 구애받지 않는다. 

싸이저 : 강윤이를 보고 있으면 ‘인도’에 온 느낌이다. 매사에 긍정을 넘어 해탈의 경지에 이른 것 같다. 멤버들은 달심이라고 놀린다.

D : 한마디로 보헤미안, 히피다. 막사는 것 같으면서도 생각이 깊다. 틱틱 거리는 말버릇 탓에 미울 때도 있지만, 밥 한끼 사주면 좋아하는 순진한 녀석이다.

출처 : https://www.snunews.com/news/articleView.html?idxno=6407

2008년 KBS 1대100 출연 당시 화면 

Q. 뉴튠은 어떤 회사인가요?

A. KAIST 맥랩(Music and Audio Computing Lab) 출신 이종필 대표가 2020년 만든 스타트업입니다. 최근 국내 최초로, AI 음악 생성 서비스 ‘믹스오디오(MixaudioDJ)’ 서비스를 공개했습니다. 믹스오디오DJ는 원하는 장르나 분위기, 사용자의 상황과 기분을 문자로 입력하면 그에 맞는 음악을 10초 만에 생성해 들려주는 서비스입니다. ‘비 올 때 듣기 좋은 노래’, ‘무중력 상태에 있는 것 같은 기분의 음악’ 등 이용자가 원하는 분위기나 느낌을 입력하기만 하면 됩니다. 한글과 영어 모두 가능합니다. 같은 내용을 입력하더라도 생성할 때마다 새로운 음악이 나옵니다. 애니메이션 이미지와 음악 설명도 함께 제공돼 더 풍부한 감성을 느낄 수 있습니다. 앞으로는 사용자의 기분에 맞춰 자동으로 음악을 생성해 주는 AI 기술로까지 연결할 계획입니다. 

Q. 이전에 출시했던 배경음악 서비스도 굉장히 흥미로웠는데요. 

A. 네, 다양한 배경음악을 검색하고 편집할 수 있도록 도와주는 ‘포인튠(Pointune)’이라는 서비스인데요. 2021년 한국콘텐츠진흥원의 지원을 받아 개발한 프로그램으로, 원하는 음악의 유튜브 링크(URL)를 검색창에 입력하면 가장 유사한 분위기의 음악을 찾을 수 있습니다. 사용자의 취향과 목적에 맞게 구성하거나 자유롭게 편집을 할 수도 있습니다. 음악에 사용된 악기별 소리를 따로 제공하기 때문에 원하는 악기 소리만 추가하거나 제외하는 것도 가능합니다. 포인튠을 이용하면 음악 전문가가 아니더라도 간편하게 음악을 탐색하고 편집할 수 있게 되는 겁니다. 

Q. 믹스오디오가 CES 2023에서 혁신상을 받은 거죠?

A. 네. 현장에서 반응이 좋았어요. 우리 기술의 핵심은 ‘아티스트의 음악을 이용자가 가지고 놀 수 있게 만든다’, ‘수동적인 리스너(listener)를 넘어 자신만의 분위기로 음악을 재창작할 수 있게 만든다’는 개념이거든요. 현재 도끼, 수란, 넉살, 딥플로우 등 힙합 아티스트분들과 같이 이야기를 하면서 음악 데이터를 확보하고 있습니다. 

Q. 뉴튠은 왜 이런 기술을 만드는 건가요?

A. 우리는 모든 사람들이 자신만의 방식으로 즐겁고 자유롭게 음악을 즐기는 세상을 원합니다. 음악 전문가나 제작자가 아니더라도 편하게 음악을 만들고 창조하는 거죠. 레고블록을 생각하면 좋을 것 같아요. 레고블록을 가지고 사람들이 자신만의 완성된 모형을 만들잖아요. 위에서 말했듯이 뉴튠은 음악을 악기별, 소리별로 다 분해할 수 있어요. 소리를 분해하고 또 다시 재조립해서 자신만의 음악을 만든다는 것, 정말 멋있지 않나요? 그래서 음악에 대해 전문지식이 없는 사람들도 풍부하게 음악과 함께 놀 수 있게 된다면 멋있을 것 같아요. 음악이 미술과 무용, 기술로 자연스럽게 확장되고 경계없이 왔다갔다 할 수 있는, 그런 것들을 지향하고 있습니다. 

Q. 와, 대단합니다. 뉴튠에서 매니저님은 어떤 일을 하시나요?

A. 이것저것 하고 있습니다. 지금처럼 회사를 알리고 홍보하는 역할도 하고요. 또 같이 협업할 음악가들을 섭외하고 음원 만들어서 계약하고 하는 등의 작업도 겸합니다. 멜론이나 스포티파이에 유통하는 일도 제 일입니다. 이런 전반적인 과정을 관리하고 있습니다. 

2022년 스타트업콘에 참석한 서강윤 매니저님

Q. 뉴튠의 원년멤버는 아니신 걸로 알고 있어요.

A. 원래는 유아용품 회사에서 브랜드 매니저 일을 했습니다. 지금 하고 있는 일이랑 결이 많이 다르죠. 제가 대학교 때 같이 밴드 동아리를 했던 친구가 소개해줘서 지난해 5월 이 회사로 옮기게 됐어요. 

Q. 이야기를 듣다 보니 뉴튠은 개발자도 매니저님도 모두 음악을 하는 분들이시네요.

A. 네, 맞아요. 이 대표를 포함해 여러 공동창업자가 모두 카이스트 맥랩 출신이에요. 맥랩이 기술이나 공대생 출신만 가는 곳이 아니라 음악, 디자인, 예술경영 등을 전공했던 분들도 가는 곳이거든요. 맥랩이 있는 문화기술대학원이라는 곳의 정체성 자체가 음악을 중심으로 한 융합이에요. 그러다 보니까 저희도 ‘음악’이라는 공통 분모지만 다들 장르가 달라요. 제가 락밴드를 했다면 위형석 CSO는 힙합음악 동아리 출신이고, 박승순 이사는 전자음악을 하는 분이세요. 대표님은 음악을 만들기보다는 완전 헤비 리스너(heavy listener)로, 멜론 초창기 VVIP였죠. 이 외에 DJ나 합창단 혹은 군악대를 나온 친구들도 있고 굉장히 다양한 친구들로 꾸려졌어요.

2010년 타임투락페스티벌에 참석한 나폴레옹 프로젝트의 보컬 나폴레용

Q. 이야기를 듣다 보면 뉴튠은 정말 특별한 기업인 것 같아요.

A. 그렇게 말해줘서 감사합니다. 우리의 정체성은 융합입니다. 믹스오디오라는 서비스를 만들었는데 믹스라는 말도 ‘섞는다’라는 뜻이잖아요. 영역별로 다양한 커리어를 가진 사람들이 모인 것도 그렇고, 여러 장르의 음악 취향이 모인 것도 그렇고요. 또 우리 회사에는 프랑스인 개발자 3명도 있어요. 국적도 하나가 아니라는 거죠. 사실 이거는 부가적인 거고, 우리가 가진 핵심은 AI 기술인데요. 음악 정보를 나누고 분석하고 섞을 수 있다는 겁니다. 음악이라는 것을 떠올려 보면 그 안에 엄청 여러가지 소리들이 다 뭉쳐져 있는 거거든요. 드럼소리, 기타소리, 사람의 목소리 등. 우리는 그것을 각각 다 발라내고 각각의 것이 어떤 느낌인지, 어떤 분위기인지, 어떤 악기인지를 다 파악할 수 있어요. 이런 분석 기술은 뉴튠이 세계 최고라고 생각해요. 거기에 그치지 않고 우리는 분리된 음악을 사용자가 원하는대로 재조립할 수도 있죠. 레고블록처럼. 우리는 이걸 ‘블록뮤직’이라고 부르는데, 이게 우리의 특별함이라고 생각해요. 음악의 수준도 굉장히 괜찮고 생성 시간도 굉장히 빠르죠. 메타나 구글이 우리보다 5배 정도 더 걸린다고 보면 돼요. 또 뉴튠 서비스의 장점은 우리가 쓰는 데이터 모두 작곡가들과 라이선스 계약을 맺었기 때문에 저작권 이슈에서 자유롭다는 거죠. 물론 사용자가 우리 음악을 이용해서 만든 것을 수익화하려고 하는 것은 또 다른 문제고, 우리의 데이터를 이용해 음악을 만들고 즐기는 것은 문제가 없습니다. 

Q. 뉴튠에서 일하는 건, 어떤 느낌인가요? 음악을 잘 알고 해야만 입사할 수 있나요?

A. 아닙니다. 어쩌다 음악을 사랑하는 사람들이 모이게 된 거고요. 저는 이 곳에서 일하면서 음악에 대한 관점이 확장된 것 같아요. 예전에는 음악을 볼 때 예술의 시선으로만 봤다면, 지금은 분석적으로 보고 분해하고 이런 시각도 갖게 된 것 같아요. 감정을 멜로디로 푼다는 개념을 넘어서 좀 더 다양한 방식으로 음악을 만들고 즐길 수 있어서 즐거워요. 원래는 기타를 들고 코드를 잡고 멜로디를 흥얼거리는 방식으로 음악을 만들었다면 지금은 해체한 소리들을 어떻게 조합할지도 많이 생각하는 편이에요. 음악을 만들고 즐기는 방식이 넓어졌다고 보면 될 것 같아요.

Q. 포유류에 대해서 더 알고 싶어요. 활동명이 포유류인 이유가 무엇인가요?

A. 혼자 싱어송라이터로 활동하고 있는데요. 순수하게 어감이 좋아서 포유류라고 했어요. 포유류가 알을 낳는 동물이 아니고 새끼를 자기 몸에 품었다가 세상 밖으로 내보내는, 그런 동물인 게 좋았어요. 저에게 음악을 만든다는 것은 그런 느낌이거든요. 내 안에서 기억이나 감정들이 들어와서 한참 동안 머물다가 어느 순간 음악으로 나오는 것 같아요. (포유류의 노래 중에는 낙타, 고양, 말 등 포유류가 제목인 것이 있습니다)

2022년 제로원행사에 참석한 서강윤 매니저님

Q. 앞으로의 목표가 있나요?

A. 뉴튠이 지금 국내 최초로 챗GPT AI 음악 생성 서비스를 시작한 건데요. 이 시장을 좀 더 키워서 음악인과 비음악인의 경계를 허물고 싶어요. 사실 음악이 진입장벽이 좀 있잖아요. 악기를 한다거나 작곡을 한다고 할 때 장비가 필요하거나 전문가로부터 무언가를 배워야만 할 것 같은 느낌? 그래서 선뜻 즐기기가 어렵다는 분들이 있어요. 그런데 그 벽을 낮추고 싶어요. 전문음악인이 아니어도 음악을 만들고 나만의 분위기로 편곡할 수 있고 이것을 나눌 수 있다면 또 다른 문화를 만들 수 있을 거라고 믿어요. 뉴튠의 최종 목표는 영하 ‘HER’에서 나오는 사만다 같은 걸 만드는 거예요. 내가 무언가를 특별하게 요구하지 않아도 내 비서처럼 내 기분과 상황에 맞춰 음악을 즐길 수 있도록 도와주는 개인화된 음악 비서요.

Q. 뉴튠의 서비스로 우리 사회는 어떤 변화가 생길까요?

A. 음악은 크게 두 가지로 나눌 수 있다고 생각해요. BGM의 영역과 아티스트의 영역이요. BGM의 영역은 이미 조금씩 AI 기술이 침투하고 있구요. 하지만 아무리 기술이 발전해도 아티스트의 영역을 AI가 대체하긴 힘들다고 생각합니다. 다만 아티스트가 음악을 만들 때 기존에 100의 노력이 필요했다면 AI의 도움으로 50, 30으로 조금씩 수고가 줄어들고, 그 진입장벽이 허물어질 것이라 생각해요. 그렇게 되면 아티스트로서 테크닉보다는 음악적 영감과 아이디어, 또 쉽게 따라할 수 없는 각자만의 감성 등이 더욱 중요해지겠죠. 

#뮤직테크 #인공지능 #AI #뉴튠 #Newtune #서강윤 #포유류 #스타트업 #카카오벤처스 #벤처캐피탈 #투자#음악