내러티브 시각화와 비주얼 리터러시
*개인적인 사정으로 이번 챕터의 게재가 늦어진 점 사과드립니다.
앞선 챕터에서 나는 왜 사람들이 이야기에 매료되는지에 대한 다소 장황한 설명을 했다. 사람들이 이야기에 매료되는 이유는 각자가 가진 경험에 따라 달라질 수 있겠으나 나의 경우 이야기가 세상과 그 안에서의 나의 경험을 다른 이들의 이야기에 비추어 이해할 수 있는 틀을 제공하기 때문이라고 생각한다. 그렇게 함으로써 이야기는 복잡한 정보를 조직하고 해석하는 데 도움을 줄 수 있고, 더 관련성 있고 기억에 남게 만들 수 있다. 무엇보다 이야기는 우리의 감정을 자극한다.
바로 이러한 감정적 참여가 객관적인 정보를 더 영향력 있게 만들고 기억하기 쉽게 한다. 그리고 이러한 감정적 참여를 더욱 강화하는데 도움을 줄 수 있는 방법이 ‘내러티브의 시각화’라고 생각한다. 무엇보다 이러한 내러티브 시각화는 데이터 자체 (숫자나 텍스트)가 갖는 표면적인 의미를 넘어 다양한 관점에서의 데이터 해석을 통해 청중 혹은 독자에게 상상의 공간을 제공하여 보다 확장된 데이터 분석이 가능하게 한다는 점에서 데이터 시각화는 결국 잘 설계한 이야기를 독자에게 전달하는 효율적인 도구가 될 수 있다.
또한 데이터 스토리텔링에서 내러티브 구조를 설계하는 것이 중요하다고 했는데, 즉 이야기의 맥락과 관련성을 제공함으로써 데이터 스토리텔링을 향상해 청자 혹은 독자가 데이터로부터 더 쉽게 인사이트를 얻을 수 있도록 할 수 있다. 그리고 고전적인 내러티브 요소 (인물, 배경, 줄거리) 또는 트리거(주요 사건, 맥락, 스토리텔러의 관점, 강력한 결론 등)를 통합함으로써 데이터 이면의 의미를 효과적으로 전달하고, 설득력 있는 내러티브를 만들 수 있다. 그렇다면 이렇게 설계된 내러티브를 어떻게 효율적으로 시각화할 수 있을까?
|데이터 시각화, 데이터스토리텔링, 데이터 분석, 데이터 저널리즘의 연구 추이|
먼저 데이터 시각화에 대해 살펴보기 위해서 나는 이 분야의 연구 흐름을 확인해 보는 것이 의미 있을 것 같아서 Google Trends와 Googel Scholar의 결과를 확인해 봤다.
<표 1> Google Trends Search Result: Data Storytelling, Data Analytics, Business Analytics’
<표 2> Google Scholar Search Result: Data Analytics, Data Storytelling, Data Visualization<표 1>과 <표 2>에서 볼 수 있듯이 데이터 스토리텔링은 연구의 초기 단계임을 알 수 있다. 특히, <표 1>의 Google Trends의 결과만 보면 최근 5년간 데이터 스토리텔링은 테이터 분석 혹은 비즈니스 분석 키워드와 비교할 때 함께 이야기한다는 것 자체가 무의미할 정도로 매우 미미했다. 이는 Google Trends는 일반인들이 검색한 쿼리의 축적이기 때문에, 고전전적인 데이터 사이언스 분야, 즉 학계나 일반인들에게 일반적으로 많이 알려진 'Data Analytics’ 키워드만으로 검색된 결과가 아닐까 생각한다.
반면 <표 2>는 실제로 1978년부터 2023년까지의 장기적인 연구 추이를 확인해 보기 위해서 데이터 스토리텔링과 관련된 학술적 논문들을 검색한 결과를 보여주고 있다. 해당 분야의 연구 추이를 확인하기 위해서 학술적인 연구 결과 중 ‘Data Analytics / Data Storytelling’, ‘Data Journalism,’ ‘Data Visualization’로 검색해 본 결과를 보여주고 있다. 흥미롭게도 ‘Data Analytics / Data Storytelling’ 분야의 경우 1980년대에 관련된 연구가 6,050건이 출판된반면 1990년대에 들어 17,100건으로 급격하게 증가 (약 183%) 한 것을 확인할 수 있었다. 유사 카테고리로 Data Journalism으로 검색한 결과 연구의 절대적인 양은 적었으나, 이 역시 같은 시기에 3,300에서 9,420으로 폭발적으로 증가 (185.4%) 한 것으로 나타났다. 또한 ‘Data Visualization’역시 17,600에서 45,100건으로 증가 (156.2%) 한 것으로 나타났다.
여기에서 주목할 부분은 데이터 스토리텔링과 유사 분야의 연구들 (e.g., 데이터 저널리즘, 데이터 시각화)이 1990년대에 들어서면서 폭발적으로 증가한 것이다. 이러한 결과에는 몇 가지 요인을 추정해 볼 수 있다. 첫째, 1990년대 기술의 급속한 발전과 인터넷의 광범위한 보급으로 데이터에 대한 접근성이 높아지고 분석이 용이해졌다는 점이다. 이러한 기술적 변화로 인해 저널리스트와 연구자들은 새로운 방식으로 데이터를 수집, 처리, 제시할 수 있게 되었고, 이는 데이터 기반 스토리텔링이 새로운 연구 및 실무 분야로 등장하는 계기가 되었다. 또한 이 기간 동안 PC와 모바일 단발기의 발전, 데이터 시각화 소프트웨어 도구의 발전은 복잡한 데이터 세트에서 설득력 있는 내러티브를 만드는 것을 용이하게 했다. 생각해 보면, 스마트폰이 보급된 이래 우리는 거의 매 순간 우리 손 안의 스마트폰으로 다양한 형태의 데이터를 확인하고, 데이터를 활용한 2차 자료를 생성하고 있다고 해도 과언이 아니다.
셋째, 정부 기관, 소셜 미디어 플랫폼, 민간 기업 등 다양한 출처에서 빅데이터를 이용할 수 있게 됨에 따라 연구자와 저널리스트들에게 데이터 기반 스토리를 위한 풍부한 자료를 제공했다. 이러한 데이터 세트에 접근하고 분석할 수 있는 능력은 새로운 통찰력을 발견하고 청중과 공감할 수 있는 설득력 있는 내러티브를 만들 수 있게 해 주었다. 그 결과, 데이터 스토리텔링과 데이터 저널리즘에 대한 수요가 증가하면서 이 분야의 추가 연구와 혁신을 촉진하게 되었다.
넷째, 정부, 비즈니스 및 미디어를 포함한 다양한 부문에서 투명성과 책임성에 대한 요구가 증가하면서 데이터 스토리텔링과 데이터 저널리즘의 확산에 중요한 역할을 했다. 데이터 기반 의사 결정에 대한 대중의 관심이 증가함에 따라 데이터를 해석하고 효과적으로 전달할 수 있는 전문가에 대한 필요성도 증가하면서 관련 분야의 연구가 폭발적으로 늘어났다.
|비주얼 리터러시 연구의 주요 발견|
데이터 시각화를 거론할 때 짝꿍처럼 등장하는 것이 바로 비주얼 리터러시 (시각적 문해력)이다. 결국 이야기를 설계하고 이를 시각화하기 위해서는 데이터 리터러시와 함께 비주얼 리터러시 역량이 필요하기 때문이다. 시각적 문해력은 복잡한 시각 정보의 효과적인 생성과 해석을 가능하게 하기 때문에 데이터 및 내러티브 시각화와 관련하여 매우 중요한 역량으로 여겨진다. 특히 데이터 스토리텔링 과정에서 시각적 문해력은 적절한 시각적 표현을 선택하고, 명확하고 영향력 있는 시각화를 설계하며, 청중이 제시된 데이터를 정확하게 해석할 수 있도록 하는 데 중요한 역할을 한다. 이는 원시 데이터와 의미 있는 통찰력 사이의 간극을 메우며, 스토리텔러가 복잡한 정보를 접근 가능하고 매력적인 방식으로 전달할 수 있게 한다.
1990년대 이후 시각적 문해력에 대한 연구는 교육과 커뮤니케이션에서 그 중요성을 강조하며 크게 증가했다 (Avgerinou & Pettersson, 2011; Bamford, 2003; Brumberger, 2011; Felten, 2008; Messaris, 1994;
Metros, 2008; Serafini, 2014). 이론적으로 비주얼 리터러시는 개인이 시각적 메시지를 이해, 해석, 생성할 수 있게 하는 일련의 기술과 역량을 의미한다. 여기에는 색상, 모양, 구성과 같은 시각적 요소를 분석하는 능력, 시각적 관습과 상징성을 이해하는 능력, 시각적 정보의 신뢰성과 효과를 평가하는 능력, 시각적 미디어를 사용하여 아이디어와 개념을 효과적으로 전달하는 능력 등이 포함된다. 시각적 리터러시는 또한 시각적 콘텐츠의 제작과 소비에 있어 비판적 사고, 문화적 인식, 윤리적 고려를 필요로 하며, 시각적 도구와 소프트웨어를 사용하는 기술적 능력도 포함된다 (Bamford, 2003; Kress, 1996, 2009; Serafini, 2014).
나 역시 박사과정 동안 비주얼 리터러시 역량을 키우는데 많은 시간을 보냈고, 그 과정에서 만난 Kress 교수님은 나에게는 정말 행운과 같은 존재였다. 나는 북한이탈청년들이라는 독특한 이주그룹의 초국가적 이주 경험을 캡처하기 위해서 그들 스스로 자전적 경험을 쓸 수 있는 디지털 자서전 작성 플랫폼을 개발했고, 참여자들은 내 기대보다 훨씬 멋지고 훌륭한 그들의 삶의 이야기와 이주 동안의 개인적 경험을 글쓰기 플랫폼에 정성껏 작성했었다. 어떤 이들은 그들이 북한에서 찍었던 사진이나 이주 과정에서 중국이나 캄보디아 혹은 태국 국경에서 찍은 사진 등을 게시했었고, 어떤 참여자는 북한에서 배운 프로파간다 노래를 YouTube에서 찾아서 제공하기도 했다. 그러나 이러한 다양한 멀티모달 데이터를 어떻게 분석하고 해석해야 할지 난감해하던 차에 Kress 교수님을 만났고, 그를 통해 사회 기호학적 멀티모달 분석 방법론을 알게 되면서 엄청난 양의 귀한 자료들을 분석하고 스토리를 만드는 작업을 할 수 있었다.
Prof. Gunther Kress (1940-2019)Kress 교수님은 멀티모달 리서치 분야의 세계적 석학으로 2019년 불의의 사고로 돌아가시기 전까지 University College London의 Knowledge Lab 내에서 멀티모달 리서치 그룹을 이끌고 있었고, 나는 그가 매 학기마다 여는 Reading Images 세미나에 참석해서 머리털 나고 처음으로 텍스트 외에 사운드, 이미지, 영상과 같은 멀티모달 데이터를 어떻게 유용하게 분석할 수 있는지에 대한 이론과 실제를 배울 수 있었다. 특히 그의 책 'Reading images: The grammar of visual design' (Kress & Van Leeuwen, 1996)은 "시각적 문법" 개념을 소개하여 언어 분석과 유사한 시각적 커뮤니케이션 분석 프레임워크를 제공하여 많은 사회과학 연구자들, 그중에서도 멀티모달 분석을 진행하는 연구자들에게 매우 유용한 분석틀을 제공했다. 그의 연구는 멀티모달 요소가 어떻게 의미를 전달하고 문화적 맥락이 시각적 해석에 영향을 미치는지 이해하는 데 중요한 역할을 했다.
|Case Study: 데이터 시각화의 문제점과 해결책|
그럼, 이제부터 데이터 시각화에 대해 본격적으로 실제 사례를 보면서 그 안에 담긴 내러티브가 무엇인지, 데이터 시각화의 방법에 대해 살펴보겠다. [그림 1]은 지난 5월에 발표된 Mckinsey & Company 보고서 중 '생성형 AI가 소프트웨어 제품 출시 시간을 단축할 수 있는 방법'과 관련된 연구결과이다. 연구에 따르면 생성형 AI(gen AI)는 출시 기간을 5% 단축하고, PM 생산성을 40% 향상하며, 직원 경험을 100% 향상함으로써 제품 관리에 상당한 긍정적인 영향을 미칠 수 있다고 보고한다. 또한 생성형 AI 도구는 특히 콘텐츠 중심 작업에 효과적이었으며, ChatGPT와 같은 LLM 기반 생성형 AI 도구가 작업별 특화 도구보다 더 쉽게 사용되고 있는 것으로 나타났다. 그러나 그 영향은 PM의 경험 수준에 따라 달랐으며, 경험이 더 많은 PM들이 더 높은 품질의 결과물을 유지했다. 결과적으로 보고서는 조직이 생성형 AI 도구의 이점을 최대한 활용하고 윤리, 프라이버시 및 지적 재산과 관련된 위험을 완화하기 위해 PM의 역량 강화와 코칭에 투자할 필요성을 강조하면서 결론을 맺는다.
여기까지는 보고서의 핵심 내용을 요약한 것이고 (더 자세한 내용은 [그림 1] 하단의 보고서 링크 참조), 본격적으로 데이터 시각화와 관련해서 이 보고서를 바탕으로 분석을 해 보겠다... 결론부터 말하자면 그냥 예쁘기만 한 것은 훌륭한 데이터 시각화가 아니다!
[그림 1] 생성형 AI와 PM의 생산성간의 영향 관계우선 [그림 1]의 데이터 시각화에는 이야기를 찾을 수 없다. 고전적인 내러티브 요소 (인물, 배경, 줄거리)는 고사하고, 트리거(주요 사건, 맥락, 스토리텔러의 관점, 강력한 결론 등)조차 찾을 수 없다. 여러분들은 어떤가? 위의 데이터를 보고 어떤 이야기를 발견했나? 혹은 저자가 정확하게 무엇을 전달하려고 하는지 알 수 있나? 안타깝게도 위의 데이터 시각화는 원 자료에서 트리거, 즉 데이터에 담긴 주요 사건, 맥락, 결론 모두를 찾을 수 없다. 무엇보다 콘텐츠 중심 과업과 콘텐츠 경량 과업 간의 PM의 생산성을 비교하기 위해서 왜 원형 차트를 사용했는지 이해할 수 없다. 직관적으로도 들어오지 않는다. 보통 이렇게 대비되는 결과를 보여주기 위한 데이터 시각화에는 드라마틱한 차이를 보여주기 위해서 뭔가 극명한 대비를 보여주는 패턴을 사용하기 때문에 이와 같은 원형 차트를 사용하는 것은 잘못된 접근으로 보인다. 조금 더 심하게 말하면 이 데이터를 분석하고 스토리텔링을 한 분석가 혹은 데이터 스토리텔러의 비주얼 리터러시 역량 (앞서 언급한)은 매우 떨어져 보인다. 그렇기 때문에 데이터 스토리텔러에게 있어 비주얼 리터러시 역량이 중요한 것이다.
결론적으로 이 데이터 시각화에서 AI를 사용한 경우와 사용하지 않은 경우의 콘텐츠 기반 과업과 콘텐츠 경량 과업 간의 영향을 보여주는 방식에 대한 6가지 문제점이 보인다. 데이터 시각화 측면에서의 이 문제점을 개선하기 위한 제안을 함께 제시하면서 이번 챕터를 마무리하겠다.
1. 작업 구분의 명확성 부족: 앞서도 말했지만 지금과 같이 대비되는 결과를 보여주는 데이터 시각화의 경우 원형 차트는 잘 사용하지 않는다. 현재와 같이 원형 차트를 사용하게 되면 콘텐츠 중심 작업과 콘텐츠 경량 작업을 명확하게 구분할 수 없기 때문에 AI가 각 작업 유형에 미치는 영향을 직관적으로 이해하기가 어렵다. 이 경우 콘텐츠 중심 작업과 콘텐츠 경량 작업을 구분하기 위해 서로 다른 색상이나 패턴을 사용하여 대비되는 형태로 제시하거나, 이러한 구분을 설명하는 범례를 추가하면 명확성이 더욱 향상될 수 있을 것이다.
2. 중첩된 데이터 포인트: 이것은 원형 차트를 사용하다 보니 발생된 결과이기도 한데, AI가 적용된 작업과 그렇지 않은 작업의 데이터 포인트, 즉 y축 척도가 모든 작업에 걸쳐 일관되지 않아 직접적인 비교가 어렵다. 여기에서는 GIF 이미지를 사용하긴 했으나 독자가 직관적으로 구분할 수 있도록 나란히 배치된 막대 차트 또는 그룹화된 막대 차트를 사용하여 AI가 적용된 작업과 그렇지 않은 작업의 데이터 포인트를 분리한다면 더욱 쉽게 비교할 수 있을 것이다.
3. 부족한 맥락 정보: 현재의 데이터 시각화에는 연구의 핵심 내용과 관련된 예시나 정의와 같은 맥락 정보가 부족하여 연구에 대한 오해를 불러일으킬 수 있다. 본 연구에 있어서 핵심 변인인 생성형 AI가 적용된 태스크와 비적용된 태스크에 대한 범주 정보에 대해 주석이나 간단한 설명을 추가하거나 왜 각 콘텐츠 중심 과업과 콘텐츠 경량 과업을 구분하게 되었는지에 대한 맥락 정보를 제공한다면 독자들이 연구를 이해하는데 도움을 줄 것이다. 또한 본 연구에 적용된 연구 방법론과 표본 크기에 대한 간단한 설명을 차트에 포함하거나 각주로 추가할 필요도 있다.
4. 일관되지 않은 척도: 두 가지 유형의 과업에 대한 영향을 측정하는 척도가 일관되지 않아 데이터 해석에 혼란을 초래할 수 있다. 따라서 모든 데이터 시각화에서 단일한 척도를 사용하면 비교가 정확하고 의미 있게 해석할 수 있을 것이다.
5. 시각적 계층 구조 부족: 제시된 데이터 시각화에서 가장 중요한 데이터 포인트가 무엇인지 명확하지 않기 때문에 독자의 주의를 효과적으로 끌지 못하고 있으며, 결과적으로 주요 인사이트를 빠르게 파악하기 어렵다. 데이터 포인트의 크기와 색상 강도를 다양하게 사용하여 가장 중요한 결과를 강조하는 시각적 계층 구조 기술을 사용하거나, 만일 현재와 같은 원형 차트를 꼭 유지해야 한다면 작은 노드의 크기를 조정하거나 노드 간의 연결선의 긁기를 조정할 수도 있을 것이다. 예를 들어, 가장 큰 영향을 미치는 작업에 대해 더 크고 굵은 노드와 연결선을 사용할 수 있을 것이다.
6. 통계적 유의성 부족: 현재의 데이터는 관찰된 차이가 통계적으로 유의한 지에 대한 표시가 없다. 보통 실증적인 데이터를 사용할 경우 이에 대한 통계적 신뢰성을 어떻게 담보할 수 있는지에 대한 정보를 제공해야 한다.
사실 위에서 제기한 문제점 외에도 개선되어야 할 부분이 더 있을 수 있지만, [그림 1]에 제시된 데이터 가시화와 관련해서 주요한 문제점은 이 정도로 언급할 수 있겠다. 다음 챕터에서는 TimelineStoryteller, Leximancer, Scrollyteller와 같은 데이터 시각화 도구들에 대한 소개와 함께 다양한 형태의 데이터 시각화 사례를 더 분석할 예정이다. 오늘의 내용이 여러분들에게 많은 도움이 되셨기를 바란다.
|더 읽을 자료|
1. Anderson, C. W. (2013). Rebuilding the news: Metropolitan journalism in the digital age. Temple University.
2. Avgerinou, M. D. (2009). Re-viewing visual literacy in the “baind’images” era. TechTrends, 53(2), 28-34.
3. Bamford, A. (2003). The visual literacy white paper. Adobe Systems Pty Ltd.
4. Bradshaw, P., & Rohumaa, L. (2011). The online journalism handbook: Skills to survive and thrive in the digital age. Routledge.
5. Brumberger, E. (2011). Visual literacy and the digital native: An examination of the millennial learner. Journal of Visual Literacy, 30(1), 19-46.
6. Champkin, J. (2011), Making information beautiful — and clear. Significance, 8: 39-41. https://doi-org.libproxy.ucl.ac.uk/10.1111/j.1740-9713.2011.00479.x
7. Chandra Gnanasambandam, Martin Harrysson, Rikki Singh and Chaitra Yarlagadda. (2024 May). How generative AI could accelerate software product time to market. McKensey&Company [Online] Available at https://www.mckinsey.com/industries/technology-media-and-telecommunications/our-insights/how-generative-ai-could-accelerate-software-product-time-to-market#/ (accessed 30 June 2024)
8.Engebretsen, M., & Kennedy, H. (2020). Data visualization in society (p. 441). Amsterdam University Press.
9. Felten, P. (2008). Visual literacy. Change: The magazine of higher learning, 40(6), 60-64.
Kress, G. (2009). Multimodality: A social semiotic approach to contemporary communication. routledge.
10. Kress, G., & Van Leeuwen, T. (1996). Reading images: The grammar of visual design. Routledge.
11. Messaris, P. (1994). Visual literacy: Image, mind, and reality. Westview Press.
12. Serafini, F. (2014). Reading the visual: An introduction to teaching multimodal literacy. Teachers College Press.
13. Wang, Y., Zhang, H., Huang, H., Chen, X., Yin, Q., Hou, Z. & Qu, H. (2018, April). Infonice: Easy creation of information graphics. In Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems (pp. 1-12).
14. Wang, Y., Sun, Z., Zhang, H., Cui, W., Xu, K., Ma, X., & Zhang, D. (2019). Datashot: Automatic generation of fact sheets from tabular data. IEEE transactions on visualization and computer graphics, 26(1), 895-905.
15. Yuan, L. P., Zhou, Z., Zhao, J., Guo, Y., Du, F., & Qu, H. (2021). Infocolorizer: Interactive recommendation of color palettes for infographics. IEEE Transactions on Visualization and Computer Graphics, 28(12), 4252-4266.
