t-sne를 활용한 <Bird Sounds> 소개
Kyle Mcdonald의 아티스트 살롱 @ 아트센터 나비
오늘 아트센터 나비에서 Kyle Mcdonald 의 아티스트 살롱을 듣고 왔다. 그는 NYC의 ITP와 CMU의 Studio for creative inquiry와 더불어 한국, 일본 등 아시아를 오가며 활발하게 활동하고 있는 미디어 아티스트다. 이번에 아트센터 나비에서 주최했던 <네오토피아> 전시에 작품을 출품한 것을 계기로 아티스트 살롱을 진행했다.
눈에 띄는 프로젝트 중 하나가 <Bird Sound>, 수천만 종의 새 소리를 지도 모양으로 시각화한 작품이다.
프로젝트 사이트 : https://experiments.withgoogle.com/ai/bird-sounds/view/
지구 상에 수천 종의 새가 살고 있고, 이들의 소리는 모두 달라서 구분하기가 쉽지 않다.
Kyle 팀에서는 새의 울음 소리라는 데이터셋을 컴퓨터에게 인식, 머신러닝을 통해 컴퓨터가 이들을 구분할 수 있도록 하였다. <Bird Sound> 웹 사이트에 들어가면 새 종류에 따라 유사한 소리를 구분하여 시각화한 것을 볼 수 있으며, 다양한 새를 입력하면 유사한 새 소리를 지닌 새들을 분류하여 보여준다.
DUCK을 검색할 경우 다양한 오리 소리를 들을 수 있다. 사람이 가지고 있는 지문은 언뜻 보기엔 비슷해보이지만 같지 않다. 그래서 사람이 구분하기엔 쉽지 않지만, 컴퓨터는 구분할 수 있다. 컴퓨터는 모든 것을 숫자로 보기 때문에 이를 세밀하게 구분할 수 이는 것이다.
이를 보다 쉽게 시각화할 수 있도록 t-sne라는 알고리즘을 사용하였다. t-sne는 이렇게 각각 구별된 사운드를 비교하여 비슷한 객체끼리 묵어 x,y,z 3차원의 공간에서 시각화해준다. t-sne를 이용하면 어떤 데이터가 어떻게 분포되어있는지 쉽게 보여주므로 데이터의 인사이트 파악에 유용하다.
더욱이 이 데이터 시각화 기술은 사운드 뿐만 아니라 글자, 이미지까지도 분류가 가능하기 때문에, 추후에 더욱 다양한 곳에서 유용하게 사용할 수 있을 것으로 보인다.
아직 미디어 아티스트 분야 및 컴퓨터 과학 분야에 대해 공부한지 얼마되지 않아, 차근차근 이해하려고 노력하는 중이라 위 프로젝트는 나에게 너무도 어려웠다.. (지금도 이해하려고 하는 중)
이번 살롱을 통해 한번 더 자극을 받게 되었다.
