brunch

매거진 해경의 관점클랜

라이킷 4 댓글

You can make anything
by writing

C.S.Lewis

계정을 잊어버리셨나요?

by 해경 Nov 28. 2017

“음악과 데이터 그리고 인간”

커먼즈펍 #2 by 코드

## 행사를 주최한 C.O.D.E. 에 대하여

제가 발룬티어로 활동하고 있는 사단법인 코드는 (구)CCKorea 라는 단체였다가 이름을 바꿔 항해를 계속하는 단체입니다. 사무국을 준비 중이라고 하니 사무국도 곧 꾸려질 것 같습니다.

코드의 활동은 데이터를 기반으로 활동하는 커먼즈 랩이라는 활동분야와 커먼즈 활동을 다루는 커먼즈 미디어라는 분야 이렇게 크게 두 가지로 나누어진다고 합니다. 앞으로 코드가 어떤 일을 하게 될지 기대해주세요.

## 오프닝

이번 “음악과 데이터 그리고 인간” 커먼즈 펍에서는 TED의 강연중 하나인, Ryan Holladay: To hear this music you have to be there. Literally라는 영상으로 시작되었습니다. 한번 영상을 보고 오시죠.

유튜브 링크: https://youtu.be/-aouBn7IKIo

그리고 영상에 이어 배경음악 서비스를 제공하고 있는 회사, 원트리즈 뮤직의 발표가 이어졌습니다.

(원트리즈 뮤직과 코클레어 AI 의 강의는, 강의를 메모한 뒤에 강의 형식으로 가상으로 작성했음을 알려드립니다.)

## 원트리즈 뮤직 강의

원트리즈 뮤직의 발표는 세 부분으로 이루어져 있습니다. 원트리즈 뮤직이 무엇을 하는 곳인지 설명하는 첫 번째 부분, 데이터에 대해서 다룬 두 번째 부분, 음악과 인공지능을 다룬 세 번째 부분이 되겠습니다. 그럼 원트리즈 뮤직이 무엇을 하고 있는지 들어보죠.

### 원트리즈 뮤직

저희 원트리즈 뮤직은 장소 기반 음악의 안티 테크 뮤직 버전이라고 보셔도 무방합니다. 저희는 매장 음악 서비스를 제공하고 있습니다. 고려대 교내 벤처로 시작했고 7년 정도 되었습니다. 규모는 스타트업이라고 할 정도입니다.

마트, 호텔, 백화점 같은 공간의 배경음악을 디자인합니다. 음악을 디자인한 뒤 각 매장에 송출하죠. 그렇죠. 저희는 매장음악 서비스를 제공하는 회사 원트리즈 뮤직입니다. 저희 서비스의 이름은 라임덕( [프리미엄 매장음악 서비스 라임덕 http://www.rhymeduck.com )이라고 합니다. 저희가 하는 일에 대해 설명드리자면, 선곡 작업 부분이 있습니다. 이 작업은 적합한 음악을 고르거나 어울리는 음악을 제작해 송출하는 작업입니다. 선곡 작업만 하는 것이 아닙니다. 매장에는 성우의 멘트가 필요한 경우도 있고, TTS 기능을 적용해야 하는 경우도 있습니다. 저희는 이것들을 토털 솔루션으로 제공하고 있습니다. 대형마트의 경우에는 음악이 아닌 광고음악이 나갈 경우가 많이 있습니다. CM 송 같은 것 말이죠. 직접 제작할 때도 있고요 음원을 받아서 편성한 뒤 송출하는 경우도 있습니다. 이때는 저희 서비스가 수익 플랫폼의 역할도 하게 됩니다.

편하게 방송실이라고 생각하시면 되겠습니다.

매장음악을 제공하는 전체 과정은 다음과 같습니다.

피드백 과정에 대해 조금 더 말씀드리겠습니다. 피드백 과정을 통해 얻어낸, 방송하지 말아야 할 금기 사항이 몇 가지 있습니다. 우선 그에 대해 이야기해보죠.

LG 매장인데 삼성 브랜드에서 송출되었던 CF 음악이 나가는 일 [절대 금지]

매장에서 싫어하는 가사: 굿바이, 잘 가, 이별 내용 [금지]

비속어를 사용하는 곡 [필터링 필요!]

비속어가 아니더라도 비속어처럼 들리면 안 됩니다! [예: 씨발라먹어]

후크송 (후크송의 경우 버퍼링이 있다는 항의가 들어올 때가 있습니다.... [ ;;;; ])

위와 같은 금기 사항들이 있습니다. 이런 곡에 해당하는 경우가 발생하면, 피드백을 받아서 곡을 선곡에서 제외합니다.

다음으로 말씀드릴 것은 저희가 운영 중인 또 다른 서비스가 있습니다. 저희는 삼성전자의 MILK 서비스를 운영 중입니다. 선곡과 큐레이션을 하고 있는데요. 이는 저희의 핵심역량이기도 합니다. 그래서 MILK 서비스를 운영할 수도 있는 것입니다.

### 데이터

저희 핵심역량 이기도 한 선곡에 중요한 요소는 무엇이 있을까 생각하면, 데이터를 꼽지 않을 수 없습니다. 선곡에 많은 영향을 줍니다. 예를 들어서 이런 것들을 꼽을 수 있습니다. 업종, 판매 제품(가격), 고관여 제품인지 저관여 제품인지, 타겟 고객층은 누구인지, 영업시간, 인구 밀도, 직영점/가맹점 여부, 날씨, 시즌, 추구하는 컨셉 등등이 모두 데이터이기도 하고, 선곡에 많은 영향을 주는 요소 이기도 합니다.

선곡할 때 사용하는 기준으로 음악 요소들이 있을 텐데요, 예를 들면 이런 것들이 있습니다.

장르, 분위기(태그), 템포, 가사: 언어와 뜻, 보컬: 성별과 보컬 유무, 인지도, 앨범 발매 시기, 저장상태(음질, 볼륨, 스테레오)

위의 보컬 부분에서 보컬 유무라는 것은, 가수가 노래를 부른 노래인지 아니면 그냥 연주만 되는 곡인지를 말하는 것이고요. 많은 사람들이 생각하지 못하시던데 저장 상태도 중요합니다. 저장상태가 나쁘면 방송하기 나쁘겠죠. 그래서 음질, 볼륨, 스테레오 같은 것들도 데이터화 해서 관리해야 합니다.

음악 선곡에 대한 노하우를 묻는 경우가 있습니다. 이것은 핵심 역량이기 그럴 텐데요, 답을 한다면 단연 데이터를 꼽을 수 있을 것 같습니다.

그래서 메타데이터를 구축하고 있습니다. 위에서 말씀드린 것처럼 매우 중요한 피드백 과정에서 얻은 피드백을 포함하고 있습니다. 저희는 꾸준히 데이터를 쌓아가고 있어요. 어떻게 활용할지 고민 중입니다. 고민 아닌 고민이네요.

저희는 데이터와 관련된 연구를 지속적으로 하고 있습니다. 공간과 음악이 어떠한 상호작용을 하고, 어떠한 영향들을 끼치는지 연구하고 있습니다. 예를 들면 익숙하지 않은 음악을 틀었더니 매장에 오래 있더라, 느린 음악을 틀었더니 밥을 느리게 먹더라 하는 내용들 말이지요.

아, 다른 건 모르겠는데 이런 알쓸신잡도 있습니다. 매장은 빠른 노래를 선호합니다. 고가의 비싼 매장은 클래식과 뉴에이지 음악을 선호하는 경향이 있습니다.

### 음악과 인공지능(데이터 활용)

저희가 인공지능을 접목하는 목적은 다음과 같습니다.

노동 집약적 서비스 모델에서 탈피

시간이 지날수록 서비스 질이 고도화될 수 있도록 하자 (타사 대비 차별성 확보)

고객 만족도를 높이자

사고 위험률을 줄이자

저희는 인공지능을 이용해 채널 추천 시스템을 만들고 있습니다. 일단 음악을 MIDI로 쪼개서 이것을 가지고 정보를 분석합니다. 오픈소스가 있어서 큰 힘이 되어주었습니다.

이 정보 분석 과정에서 리듬, 키, 템포, 피치 같은 것들을 추출하여 기록합니다. 저희는 매주 1500개 채널 정도를 업데이트하고 추출하고 있습니다.

예를 들면 이런 걸 추출하려고 합니다. 들으면 “행복하다”라고 느끼는 요소가 무엇인지를 추출하려고 하고 있습니다.

또 자동 선곡 시스템도 만들고 있습니다. 딥러닝을 이용합니다. 음악을 인공지능으로 분석해서 어떤 음악인지 맞추는 작업을 하고 있어요. 예를 들면 음악의 장르를 맞추는 것과 같은 작업을 말이죠. 예를 들면 이런 작업을 하고 있습니다. 럭셔리한 느낌을 주는 음악을 분석해 내는 것이죠. 이런 것들을 활용하면 라디오 기능을 구현할 수 있을 것이라 생각합니다.

저희 발표는 이렇게 마치도록 하겠습니다. 다음 발표는 코클레어 AI 에서 해주실 겁니다.

## 코클레어 AI

[Cochlear.ai | Understanding the semantics of audio](http://cochlear.ai)

저희는 오디오 인공지능 리서치 집단입니다. 서울대학교 융합기술 대학원 뮤직&리서치 그룹에 소속되어 있다가 나와서 스타트업을 만들었습니다.

저희는 목소리로부터 무언가를 뽑아내는 일을 합니다. 그것은 음성인식이 아닙니다. 저희는 음성인식을 제외한 모든 것을 한다고 보시면 될 것 같습니다.

예를 들어보죠, 환경으로부터 소리적 특성을 구분하여 AI를 통해 그것이 집의 소리 인지, 도로인지, 마트 인지 알 수 있습니다.

또 다른 예를 들어볼까요. 목소리를 통해서 감정을 식별합니다. 우울한지, 기쁜지, 화났는지를 구별해 보는 것입니다.

그것도 부족한 것 같으니 다른 예를 들어보겠습니다. 예를 들어서 “잘한다 잘해”라는 말은 어감에 따라서 부정도 될 수 있고 긍정도 될 수 있을 것입니다. 이렇게 소리로 서로 다른 의미를 파악하는 것도 할 수 있겠죠. 저희는 그런 일을 하고 있습니다.

음악이 디지털이 되고, 저장되면서 DSP를 쓰기 시작했습니다. 음악은 상당히 복잡도가 높은 데이터라고 생각합니다. 저는 이 복잡도가 높은 데이터를 이해함에 있어서 항상 이것을 기준으로 삼아 이해했습니다. 바로, 음악을 그래프로, 맵으로 만들어 이해하는 것이죠.

음악 관련 프로젝트 중에 SM 엔터테인먼트랑 진행했던 프로젝트가 있어서 소개해드리면 좋을 것 같습니다. “음악, 인공지능을 켜다”라는 이벤트였는데요. 저희는 건축가 하태석 씨, 뮤지션 하림, 장준호 씨와 함께 작업을 했습니다.

첫 미팅에서는 솔직히 답이 안 나왔어요. “뭘 할까?”란 질문만 할 뿐이었습니다.

저희가 할 수 있는 것의 키워드를 뽑아보니, 공간, AI 알고리즘, 음악이 나오더군요. 그래서 ‘공간’에 대해 정의하는 것부터 시작했습니다. 그렇고 공간에 대해 이야기를 나눴고, 그 와중에 핵사곤 모양의 공간을 생각했습니다. 우리는 반투명 스크린의 핵사곤 모양 공간을 설치하기로 했습니다. 사족이지만, 왜 헥사곤을 했냐고 물으시면 대답 못 드립니다. 그냥... 했어요... 하태석 씨 작품에 영향을 받은 것도 있었지만요... 그냥 했어요...

그다음은 음악에 대해서 질문을 던졌습니다. 당시에는 “왜 음악을 들을까?”라는 질문을 던졌습니다. 저희는 두 가지 정도로 이 질문에 답했습니다. 자기 기분을 Drive 하고 싶어서 음악을 듣는다고 생각했습니다. 즐거워지고 싶으니까, 거기에 맞는 음악을 듣는 게 아닌가 한 것이죠. 자기 주도적 음악이라고 할 수 있겠네요. 반면 녹아들고 싶은 음악이 있을 수도 있을 것 같습니다. 그러니까, 노을을 보면서 노을을 더 잘 즐길 수 있는 그런 음악 말입니다.

그렇게 저희는 공간 생성 음악 <에트모>라는 것을 생각했습니다.

[Atmo: Generative Music for Spatial Atmo-sphere (에트모: 공간 생성 음악) H/L - YouTube]

유튜브: https://youtu.be/lZka9VVT3cI

인간이 살면서 처하는 상황과 맥락을 기계가, 오디오가 이해하고 그것을 바탕으로 상황과 맥락에 따라 생성되는 음악을 만들고 싶었습니다. 최대한 직관적인 음악을 하고 싶었지만, Ambient music 이 되고 싶었으나 배경음악이 되는 것은 싫었습니다.

다음으로는 음악을 어떻게 만들 것인가라는 생각을 해야 했습니다. 멜로디, 비트, 규칙 따위에 대한 생각을 하다가 음악을 입자로 이해하자는 발상을 했습니다.

그래서 작은 음악 입자를 뮤지션이 제작하고, 많은 음악 입자를 상황이 인지해 건드려 연주하도록 했습니다. 물론 하모니를 해치지 않도록 입자를 구성해야 했습니다.

하나 말씀드리자면, 매우 리얼타임에 대해서 집착을 했었습니다. 실생활에서 놓치는 여러 가지 소리를 잠깐 듣고 잃어버리는 소리를 되찾아 주목하게 해주고 싶었기 때문이죠.

그래서 시각화에 유석규 씨와 현대 무용가를 모셔 함께 했습니다. 그렇게 환경음을 인지하고, 그에 맞는 것을 하나씩 랜덤 하게 트는 AI를 만들었습니다.

저희 AI 시스템에 대해 간단히 설명드리자면 네트워크를 만들어서 환경의 소리를 인지하게 만들었습니다.

그리고 이것으로 무엇을 할 수 있냐는 질문을 던지실 텐데, 음악이 삶에 침투하는 과정이 많습니다. 저희는 그 장소에 있는 각기 다른 소리를 활용할 수 있었다는 것에 의미를 두고 싶습니다. 또, 사실 오늘 토크에서 새로운 자극, 모티베이션을 받을 수 있을 것 같아서 기대를 하고 왔습니다.

사단법인 코드가 마련한 커먼즈펍 두 번째 시간, "음악과 데이터 그리고 인간"에서 마련된 강의를 모두 들으셨습니다. 뒤이어 Q&A 가 있었지만, 제가 미쳐 Q&A 는 제대로 기록하지를 못했네요. 매달 마지막 주 월요일 열리는 커먼즈펍에 참가하셔서 좋은 질문 많이 던져주시고, 그 뒤 커뮤니티 파티에서도 많은 이야기를 나눠 보세요.

현장 스케치 사진입니다.

뮤지션 조PD 님의 인기가 대단했어요.