brunch

You can make anything
by writing

C.S.Lewis

by 프로토타입L Jan 03. 2018

감상하는 데이터

문학적 정보 시각화 프로젝트 Gazing Poetic Sound

게으른 탓에 개인 프로젝트를 별로 많이 하지 못하고 있지만, 지난해 조금은 실험적인 작업을 하나 완성했다 - 여름 내 뚝딱 뚝딱 만든 Gazing Poetic Sound (詩의 소리 관측하기). 텍스트인 시를 경험하는 ('보는') 새로운 방법, 즉 텍스트의 음성학적 속성과 운율을 부호화하여 소리의 역동성과 패턴을 시각적으로 관찰하는 방법을 제시한다. 데이터를 시각화한다고 하면 흔히 어떤 인사이트를 발견하고 행동을 유발시키는 등 실용적인 응용을 생각할텐데, 조금 색다르게 시각화 기법으로 감상하는 데이터의 가능성을 탐색해보았다. 시를 감상하고, 밤하늘의 별을 바라보듯이 말이다.

한글날 기념 의도가 있어서 그 즈음 후기를 글로 정리해야지 했는데 이런, 한글날이 지난 지 벌써 3개월.. 이번 포스트를 통해 작업 과정을 되새겨보고 고민과 경험을 공유한다.

1. 작업 구상

생각의 발전:

한글은 아름답고 독특한 체계를 갖고 있어서 좋고 신기하다 -> 한글을 사용한 혹은 한글과 관련된 뭔가를 만들어보자 -> 그런데 한글을 모르는 사람이 그걸 본다면 이해할 수 있을까 -> 흔히 모르는 언어를 접할 때, 그것이 글로 적힌 것이라면 그냥 이미지로 '보이고', 말이라면 의미 없는 '소리'로 들릴 것이다 -> 그렇다면 언어를 시각적으로 경험한다는 건 어떤걸까. 우리가 처음 언어를배울 때 이미지로 이해하고, 글씨를 쓴다기 보다는 그리는 것과 같은 경험을 재현해보자.

공부:

기존의 text visualisation 작업, 툴과 페이퍼를 찾아보았다. Literature 혹은 Poetry visualisation에 관해서도 아주 많지는 않지만 진행된 연구가 있었다. 가장 도움이 됐던 페이퍼는 Rule-based visual mappings–with a case study on poetry visualization (A. Abdul-Rahman and et al., 2013)이다.

더불어 한글의 체계와 구성요소, 시 이론과 음성학에 관해 기초적이지만 정확한 지식이 필수적이기 때문에 단기간이지만 많이 찾아 읽고 한국어를 가르치는 친구의 도움도 받았다.

다듬어진 생각과 소망:

언어에는 소리와 의미라는 두 가지 측면이 있다. 그러나 실제 언어를 사용할 때 우리는 의미에 주로 신경을 쓰고 소리에 대해서는 주의를 덜 기울인다. 이번 작업을 통해 언어에 소리라는 측면이 있다는 점을 부각시켜보면 어떨까. 텍스트의 음성학적 속성을 시각적으로 매핑하는 기법을 통해서 말이다. 이러한 목적에 가장 부합하는 텍스트는 '시'라고 생각한다. 왜냐하면 시는 의미는 물론 '소리'가 고도로 중요한 문학적 형식이기 때문이다. 시에서는 소리는 중요한 시적 장치로서 의미/메시지를 강화하거나 약화하기 위해 소리를 의도적으로 선택하고 배열한다.

좋은 시, 아름다운 시는 여러 번 읽고 자세히 읽게 된다. 아름다운 시를 가지고 만든 데이터 시각화 결과물도 그랬으면 좋겠다. 하얀 종이 (또는 스크린) 위 까만 글씨를 정보 시각화 작업을 통해 다르게 표현해 보고, 다르게 체험하고 새롭게 읽어보자.

2. 시 텍스트 선정

처음에는 자연스럽게도 가장 잘 알려진 시, 예를 들면 한컴타자 연습에도 수록된 윤동주의 '별 헤는 밤'이라던지 혹은 '서시', 아니면 김소월, 정지용 등 대중적으로 알려진 시인의 시를 선정하려고 했다. 그런데 적당한 운율감, 연 구분, 적절한 길이, 내용 면에서는 시각적 이미지가 그려지는 조건을 충족시키는 시를 찾기가 쉽지 않았다. 그러다가 우연히 이준관 선생님의 '부흥이 우는 밤' 이라는 시를 접하게 되었다. 시인은 특히 동시로 유명한 분이지만 부흥이 우는 밤이 특별히 잘 알려진 시는 아니다. 그런데 예시로 채택하기에 아주 적합했고, 개인적으로 이 시가 더 알려져야 한다고 생각한다.

부흥이 우는 밤

이준관

돌이끼 푸른 성 터를 끼고 돌아

호랑거미 거미줄 타고 내려오고

달빛에 주동이 흐늘히 젖어

부흥이 우는 밤이 있었다.

개들이 짖어대면 별이 떨어졌다.

개의 귀에 대고 무슨 소리가 들려올까

들어보면 나의 귓속엔 푸른 별들이

가득 찼다.

아랫녘 마을의 불빛들은 도토리열매처럼 열려,

깨물면 떫은 맛이 들었다.

기다림은,

나는 우물 속을 들여다보았다.

우물은 늙은 노새처럼 슬픈 눈을 가졌다.

기다림에 지친

성터의 돌들을 주워

손에 쥐면 그대로 소리 없이 바스라져 버렸다.

꽃 속에 숨은 두근거리는 천둥의 심장

죄 지은 듯 그 꽃잎 따먹고

나는 그리움을 지녔다.

서러운 해오라기의 긴 모가지를......

3. 표현 방법: Visual encoding

정보 디자인은 어디에 담을 것인가, 무엇을 포함할 것인가, 그리고 결정적으로 어떤 형태로 가공하여 보여줄 것인가 등 의사결정의 연속이다. 데이터의 형태, 데이터가 다루는 주제와 의미, 시각적 완급조절, 조화, 독자 혹은 이용자의 data literacy 등 많은 것들을 동시에 고려하지만 가장 중요한건 전달하고자 하는 메시지와 이미지를 (coherent한 방향으로) 강화하는가이다. 그리고 때로는 그것을 실현할 수 있는 자원(능력과 시간)이 있는가에 따라 타협을 해야하는 순간도 많았다.

어디에 담을 것인가:

시는 글이지만 시각, 청각, 촉각 등 다양한 감각을 불러일으키는 신비한 글자의 모음이다. 내가 '부흥이 우는 밤'을 읽고서 마음 속에 떠오른 이미지는 '별이 총총 뜬 깜깜한 시골의 밤하늘'이었다. 시에 사용된 한글 자모 하나 하나, 소리 하나 하나가 넓고 깊은 밤하늘 위에 박힌 별처럼 빛나면서 예쁜 노래를 불러주는 모습이 상상됐다. 우리가 숨을 죽이고 가만히 별을 바라보듯이 시를 바라보는 체험을 유도해보자는 생각에 이르렀다. 조용하고 정적인 분위기와 체험을 위해 포스터 형식을 택하기로 했다.

무엇을 포착할 것인가 - 즉, 어떤 정보를 취할 것인가:

부흥이 우는 밤은 4연 20행으로 이루어졌으며, 567개의 한글 자모(음절로는 248음절)가 사용되었다. 데이터 홍수 시대, '빅데이터'라는 단어를 예능에서도 쓰는 시대에, 시 한 편을 뭘 만들겠다는건지, 데이터라고 부를수나 있는건가 싶을 수도 있겠다. 그런데 시 한 편만 가지고도 추출해낼 수 있는 정보가 매우 많다. 문학 분야의 선생님들이나 학자들이 시나 소설 등 문학 작품을 분석할 때 보는 모든 것들을 데이터화 할 수 있다. 그리고 데이터는 시각화할 수 있다. 아마 고등학교 문학 시간에 시 한 편을 배우면 선생님을 따라 열심히 글자에 동그라미를 치고 선을 그어가며 운율이나 여러가지 시적 기법들을 분석한 경험이 있을텐데 바로 그런 모든 시의 특징이 풍부한 데이터이다. 앞서 언급한 A. Abdul-Rahman의 페이퍼가 그러한 작업을 도와주는 툴 개발의 핵심적인 부분을 설명하고 있다.

처음의 야심(!)은 시에서 취할 수 있는 모든 데이터를 활용해서 시의 언어를 어휘적, 음성적, 그리고 의미구조론적 등 다양한 층위에서 바라보고, 또 서로 상호작용하는 모습까지 총체적으로 표현하는 것이었다. 그러나 작업을 진행하다 보니 이 모든걸 한 지면에 담을 방도를 찾기 어려웠다. 언젠가 화면 전환과 다른 인터랙션이 가능한 툴로 만들게 된다면 시도해 볼 수 있을 것이다. 그렇게 이번 작업은 음성학적 패턴과 관계에 오롯이 집중하게 되었다. 소리와 의미의 상호작용은 관찰자의 상상 속에서 충분히 일어날 수 있기도 하고..

어떻게 정보를 의미있는 방식으로 가공, 재탄생 시킬 것인가 - 시적 텍스트의 부호화:

567개의 한글자모, 그 자체가 가지고 있는 음성학적 속성, 모여서 만드는 패턴과 리듬을 가지고 무얼 보여줄 수 있을까. 분석력과 더불어 상상력을 동원하면 선택지는 무궁무진하다. 크게 보면 데이터를 aggregate and summarise하는 방법과 개별 데이터 포인트를 직접 보여주는 방법이 있을 텐데, '양'으로 치면 많지 않은 데이터이기 때문에 하나 하나 보여주는 방식을 택했다.

여기서 가장 핵심은 한글 체계에 따라 텍스트에 나타난 음성 정보를 분류하고 그것을 시각적 심볼로 변환하는 일이다. 이는 음성 정보에 대응되는 시각적 언어체계를 만들어내는 일이기도 하다. 여러 시행착오와 브레인스토밍, 리서치, 벤치마킹을 거쳐서 시의 일반적인 '음악성'과 부흥이 우는 밤을 읽고 내 마음에 떠오른 '별이 총총 뜬 시골의 밤하늘'에 착안해 악보와 별을 주요 메타포로 최종 심볼 세트를 결정했다.

7개의 가로줄로 이루어진 악보는 시의 행을, 심볼은 음소/ 한글 자모를 나타낸다. 심볼 하나 하나가 한글의 음성학적 속성을 부호화하여 보여준다. 음소들은속성에 따라 심볼로 치환되고, 쓰여진 순서대로 하나씩 악보 위에 놓여지는데 개구도(0-6도)에 따라 몇 번째 줄에 위치할 지가 결정된다.

영어나 다른 많은 언어는 한 글자씩 가로로 하나씩 쓰여지며 syllable/음절을 이루는 것과 달리, 한글의 음절은 2-3개의 자모가 '모여' syllable 'block'을 이루며 만들어진다. 음성학적 분석과 시각화(심볼 변환)를 위해 음소 하나 하나를 가로로 재배열했다. 예전에 이런 식으로 한글을 풀어쓰는 실험이 진행된 적도 있다고 한다. 익숙한 한글을 이렇게 저렇게 뜯어보는 경험은 그 특징을 새삼 확인하게 해주었다.

음소 레벨의 분석과 매핑을 마치고, 시 전체를 보며 운율과 리듬을 분석해보았다. 이렇게 상당히 가내수공업적인 방식으로 파악한 다양한 운율과 패턴은 앞서 개발한 심볼 체계에 따라 심볼로 변환되었다.

4. 완성, 그리고 후속 작업 구상

영어와 한글 두 가지 버전을 만들었는데 이곳에 작업노트와 함께 올려두고 본 포스트에는 한글본을 담는다.

이번에는 한글 체계에 대응하는 심볼 체계를 만들었지만, 이걸 일반화 시켜서 어떤 언어에든 적용 가능한 체계를 만든다면 언어 간의 음성학적 특징을 시각적으로 비교해 볼 수 있을 것이다. 이를테면 영어는 한글에 비해 유성음이 많이 사용된다던지. Interaction과 animation 기법을 활용하면 음소가 하늘에서 내려와 악보에 내려앉아 노래(음성)가 되고, 노래는 의미가 되는 과정을 이야기처럼 단계적으로 보여줄 수 있을 것이다. 더 나아가 사용자가 원하는 텍스트를 넣으면 바로 시각화하여 보여주는 툴로 발전할 수도 있겠다. 소리를 시각적으로 보여주는 것에서 그치는 것이 아니라, 글자의 음가에 대응되는 음 체계를 만들어 정말로 소리와 박자를 들을 수 있게 하는 것도 재밌겠다. 다른 한편으로는 '한글'에 집중해서 모아쓰기 등 한글의 아름다운 원리와 특징을 나타낼 수 있는 작업도 해보고 싶다.

keyword