말로만 해서 못 알아들을 때
다중양식 (Multi-modality)을 사용하세요
들어가기 전에: Mode vs. Modality
우리의 뇌는, 눈으로 (visual mode), 귀로 (audial mode), 촉감으로 (tactile mode), 냄새로 (olfactory mode), 혀로 (gustatory mode) 정보를 받아들입니다. 각각의 정보입력 방식을 Mode라고 합니다.
Modality(양식)는 Mode(방법, 형식)를 사용한 감지나 인지 행위를 포괄하는 추상적 용어입니다.
1. 병렬 프로세싱이 가능한 뇌
우리의 뇌는 기본적으로 직렬 프로세싱 (serial processing)을 합니다. 한 번에 한 가지 장면만 볼 수 있습니다. 한 번에 한 가지 음악만 들을 수 있습니다. 그런데, 각각 다른 모드로 입력된 정보는 동시에 병렬 프로세싱 (parallel processing) 이 가능합니다. TV를 보면서 밥을 먹을 수 있습니다. 시각과 청각, 미각 정보가 동시에 처리됩니다. 이런 특별한 뇌의 기능을 활용한 것이 다중양식 정보전달 (multi-modal communication) 입니다.
2. 시각과 청각의 협업의 힘
가장 많은 정보를 처리하는 시각 (70-80%)과 청각(10-20%)이 서로 도우면, 정보 전달 효율이 엄청나게 극대화됩니다. 위험을 알리는 119 구조대가 빨간 불을 반짝이고, 사이렌 소리를 냅니다. 눈과 귀로 동시에 위험하다는 메시지가 확실하게 전달됩니다. 이렇게 multi-modality은 정보전달의 효과를 높입니다. 병렬처리를 통해서 더 많은 정보가 뇌에서 처리됩니다. 시청각 교육의 효과가 좋은 것도 같은 원리입니다.
3. 헷갈리지 않으려면 교차양식(Cross-modality)을 확인하세요
주의할 것이 있습니다. 시각 정보와 청각 정보가 일치하지 않을 수 있습니다. 경고 사이렌이 울렸는데, 주변에 위험한 장면이 보이지 않습니다. 이처럼 2가지 모드의 정보가 시간적으로나 내용적으로 불일치하는 경우가 있습니다. 그래서 다중양식(multi-modality)을 사용할 때는 교차 양식(cross-modality)이 서로 충돌하지 않는지 반드시 확인해야 합니다.
4. 새로운 이슈: 로봇도 인간처럼 학습을 시작하다
어린아이가 태어나 세상을 배울 때 multi-modality를 사용합니다. 보고 듣고 몸으로 느끼면서 생존의 방법을 학습합니다. 이제는 이동이 가능하고 감각 센서가 장착된 AI 로봇이 보고, 듣고, 만지고 하면서 스스로 세상을 학습합니다. 입력된 데이터만으로 학습하는 시대가 지나가고 있습니다. 사람처럼 세상을 학습한 AI 로봇은 점점 더 사람처럼 생각하고 행동하게 될 것입니다. 뇌의 기능만으로 사람과 로봇을 구분하기 점점 더 어려워집니다.
사용자는 새로운 서비스나 제품을 multi-modality를 통해 경험합니다. 예를 들어, 자동차, 스마트폰, 가전 같은 제품은 사용자에게 시각, 청각, 촉각, 후각 정보를 동시에 제공합니다. Multi-modality design이 정교해야 되는 이유입니다. 결국 사용자는 서비스나 제품에 대한 정보를 다양한 modality를 통해 충분히 습득했을 때, 안전하고 편리한 경험을 할 수 있습니다.
