존재하지 않던 새로운 프로덕트를 근거 있게 만드는 방법
나만 알고 싶은 미래형 디스플레이
#Hardware#Emerging interfaces#Interaction devices#Prototyping Platform #Spatial Display#Shape-Changing Interface#Tangible Interaction #Situated Support #Embodiment
위 주제에 관심이 있다면 꼭 읽어보세요!
미래의 디스플레이는 어떤 형태일까?
“디스플레이”라는 말을 들으면, 여러분은 어떤 형태가 떠오르나요? 아무래도 TV나 노트북처럼 납작한 형태의 네모난 화면을 떠올리게 됩니다. 그렇다면, 미래의 디스플레이는 과연 어떤 형태일까요? 미래는 아무도 모르는 영역이지만 이에 대한 대답을 모습이 변화하는 인터렉티브 공중 디스플레이를 통해 흥미롭게 풀어낸 연구가 있습니다.
본 연구에서는 다양한 시각적 형태를 공중에서 구현할 수 있는 플랫폼인 스트레이드: 실로 작동하는 인터렉티브 디스플레이 환경(String-Actuated Interactive Display Environment, STRAIDE)을 선보입니다 (그림 1). 새로운 형태의 디스플레이인 만큼 스트레이드(STRAIDE)의 디자인 과정에서는 다양한 방면에서 고려가 필요했으며 그 과정에서 텐저블(tangible, “만질 수 있다”는 뜻)한 즉, 상호작용이 가능한 공중 디스플레이로 구체화하였습니다.
그림 1. 스트레이드: 실로 작동하는 인터렉티브 디스플레이 환경(STRAIDE)스트레이드(STRAIDE)는 컴포넌트 단위로 구성되며 그림 1에서 보는 것과 같이 동그란 볼 하나가 컴포넌트 하나로 작동됩니다. 또한 수월한 디자인과 동작 구현을 위해 본 장치와 함께 디스플레이를 위한 개발자 도구와 스트레이드(STRAIDE)의 AR 버전도 같이 개발되었습니다.
스트레이드의 세 가지 특성
스트레이드(STRAIDE)는 크게 세 가지 특성을 갖습니다:
물리적 세상에서의 데이터 시각화
디지털 데이터가 물리적인 요소들과 연결되어 있다는 점에서 스트레이드(STRAIDE)는 물리적 세상에서의 데이터 시각화를 가능하게 합니다. 데이터가 어떻게 사물에 연결되고 어떤 맥락에서 물리성을 활용하여 데이터를 물리적으로 나타낼지 생각해야 합니다.
모습이 변화함(Shape-Changing)
데이터 시각화의 특성을 갖고 있기에, 스트레이드(STRAIDE)는 모습 또한 변화합니다. 변화하는 모습과 함께 사용자는 물리적으로 대표된 정보를 만질 수 있게 되는 것이고, 그 정보와 함께 상호작용할 수 있습니다. 또한 모습이 변화한다는 특성 때문에 하나의 몸체로 이루어지기보다는 많은 수의 모듈(앞서 언급된 컴포넌트와 동일한 의미)로 이루어지게 됩니다.
공중에 떠 있음(Mid-Air Interface)
구조물을 공중에 띄우는 방법은 여러 가지가 있지만 그중에서도 자성, 어쿠스틱(음파의 방사압을 사용하는 방법), 그리고 공기의 흐름을 사용하는 방법이 대표적입니다 [1,2,3,4,5]. 하지만 본 연구에서는 설치 예술품들에서 영감을 받아 자주 이용하는 일상적인 공간에서 실을 사용한 방법을 이용하여 위에서부터 조작이 가능하게 하였습니다.
스트레이드의 디자인 과정
모습이 변화하는 인터페이스를 디자인할 때는 크게 네 가지 부분에서 어려움이 있다고 합니다 [6]. 스트레이드(STRAIDE)를 디자인하는 과정에서 아래의 네 가지 부분 또한 디자인적으로 중요한 지점이었습니다.
여러 개의 컴포넌트로 구성되기 때문에, 각 컴포넌트를 일관되게 제작되게끔 모듈화 시키는 것이 중요합니다.
발전된 기술에 따라, 기계적 그리고 전자적으로 모습이 변화하는 인터페이스상에 나타낼 수 있는 아웃풋(시각적, 촉각적, 청각적 등)의 폭이 넓어졌습니다. 따라서, 이런 부분을 잘 고려하여 나타내야 합니다.
모습이 변화하기 때문에 이를 조작하기 쉽게 사용자를 위한 쉬운 조작 툴 또는 프로그램이 필요합니다. 따라서 스트레이드(STRAIDE)는 아이디어 도출, 프로토타이핑 절차를 간소화시키기 위한 사용자를 위한 새로운 형태의 툴을 제공하였습니다.
총체적인 사용자 경험을 증진시킬 미적 아름다움 또한 중요합니다 [7,8].
스트레이드(STRAIDE)에서는 각 컴포넌트가 가질 수 있는 상호작용 메커니즘을 고려해야 했으며 (그림 2) 컴포넌트의 형태, 사이즈, 재료, 모양 변화, 전자 부품과 같은 부분에서 다양한 속성의 컴포넌트를 이용할 수 있음을 인지하고 이를 고려해야 했습니다 (그림 3). 또한, 여러 개의 컴포넌트를 활용하는 스트레이드(STRAIDE) 특성상, 여러 형태의 배치가 가능하며 (그림 4) 스트레이드(STRAIDE)의 1번 특징에서 언급된 바와 같이 스트레이드를 이용한 데이터를 시각화하여(그림 5) 통해 여러 형태의 정보를 표현할 수 있습니다.
그림 2. 컴포넌트의 상호작용 메커니즘
그림 3. 스트레이드(STRAIDE) 컴포넌트 속성
그림 4. 스트레이드(STRAIDE)의 컴포넌트 배치 방법
그림 5. 스트레이드(STRAIDE)의 데이터 시각화 방법그럼, 스트레이드로 무엇을 할 수 있을까?
그렇다면 스트레이드(STRAIDE)를 어떤 식으로 사용할 수 있을까요? 가장 간단한 예는 아무래도 컴포넌트 단 한 개로 실현이 가능한 경우입니다. 예를 들어, 봉투 모양의 컴포넌트를 볼 형태 대신 달아 스마트폰과 같은 디바이스에 연동하여, 읽지 않은 메시지 수가 많으면 많을수록 봉투 형태의 컴포넌트가 밑으로 내려오게 할 수 있습니다. 이런 예시는 컴포넌트를 특정 공간(메시지 공간)을 대표하는 역할로 둔 경우이자 인터렉티브 한 스토리텔링을 적용한 경우입니다 (그림 6).
그림 6. 봉투 모양의 컴포넌트를 활용한 예시또는, 주변 사물과 컴포넌트를 연결 짓는 경우입니다. 식물 근처에 물방울 형태의 컴포넌트를 두어 식물과의 거리가 더 가까워질수록 물이 더 필요하다는 바를 전달할 수도 있습니다. 식물에 물을 준 후에, 사용자는 물방울 컴포넌트를 당겨 타이머를 재설정하면 됩니다. 혹은 스마트 홈 컨트롤러로서 역할을 하며 각각의 컴포넌트가 각 가전제품의 상태를 조절하거나 변경시킬 수 있습니다 (그림 7, B). 혹은 조금 더 많은 수의 컴포넌트를 활용하여 라인 차트의 역할을 하며 미래 텐저블한 그래프 역할도 할 수 있겠습니다(그림 7, C).
다수의 컴포넌트를 활용하는 경우에는 정보 가시화를 통해 일기예보의 역할을 할 수 있으며, 오픈 API로부터 실시간 데이터를 가져와 여러 날씨를 실시간으로 나타낼 수 있습니다. 또한, 게임을 함께 즐길 수 있는 용도로 사용될 수도 있으며 (그림 7, E) 음악 가시화의 역할도 앨범의 색깔에 따라 컴포넌트의 색깔이 구성되며 음악의 BPM에 맞추어 변형되는 형태로 가능합니다 (그림 7, F).
그림 7. 스트레이드(STRAIDE)의 여러 사용방식스트레이드로부터 얻은 인사이트
스트레이드(STRAIDE)를 디자인하는 과정에 있어서 데이터 시각화라는 특성 때문에 모습이 변화한다는 특성을 갖게 되었고 모습이 변화한다는 특성의 제한 때문에 키네틱 아트에 영감을 받아 공중에 떠 있는 형태의 인터페이스를 고려하게 되었습니다. 더욱이, 모습이 변화한다는 제한 때문에 컴포넌트의 “모듈화”를 고려해야 할 수밖에 없었으며 이에 따라, 각 컴포넌트와 가능한 상호작용도 자동적으로 고려하게 되었습니다 (그림 2). 이렇듯 우리가 새로운 방법이나 시스템을 디자인하는 데 있어서 큰 줄기가 되는 특성이 매우 지대한 영향을 미친다는 것 또한 엿볼 수 있는 연구였습니다. 바꿔 말한다면, 이전에 없었던 새로운 시스템을 구현하는 데 있어서 큰 줄기를 잡고 원하는 특성 2~3가지 정도를 선별한 다음, 각 특성에 맞게 디자인을 좁혀가면 된다는 것을 의미하기도 합니다.
그리고, 본 연구에서는 3명의 컴퓨터 공학과 학생을 고용하여 스트레이드(STRAIDE)의 소프트웨어 개발 툴을 6개월간의 한 학기 프로젝트에 사용해 보도록 하고 인터뷰를 진행하였습니다. 해당 프로젝트의 목적은 새로운 형태의 디스플레이인 STRAIDE의 새로운 적용점이나 사용방식을 고안해 내는 것이었습니다. 결과적으로, 그들은 시계, 음악 가시화, 일기예보 등 2D 소프트웨어에서 나타내지는 정보 대부분을 가시화할 수 있었습니다. 그런데 그들과의 인터뷰에서 찾은 놀라운 공통점은 STRAIDE가 컴포넌트로 구성됨에 따라 컴포넌트의 개수에 따른 제한을 받을 수밖에 없는데, 이러한 개수의 제한이 오히려 창의적인 적용 점을 찾아내는 데 도움이 된다는 것이었습니다.
스트레이드(STRAIDE)의 적용 점에서 알 수 있듯 미래의 디스플레이는 하나의 역할뿐만 아니라 여러 역할을 동시에 수행할 가능성이 높습니다. 어떠한 플랫폼이 발전됨에 따라 하나의 플랫폼에 여러 기능이 생기는 것은 어찌 보면 당연한 일인지도 모릅니다. 또한, “텐저블하다 혹은 물리적이다”라는 의미는 미래에 있어 곧 “상호작용이 가능하다”라는 의미를 지닐 날이 머지않을 것입니다.
UX George는 아래 논문을 대신 읽어드렸어요. 여러분이 프로덕트 만드는 시간은 소중하니깐요!
Engert, S., Klamka, K., Peetz, A., & Dachselt, R. (2022, April). STRAIDE: A Research Platform for Shape-Changing Spatial Displays based on Actuated Strings. In Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems (pp. 1-16).
참조문헌
[1] Jinha Lee, Rehmi Post, and Hiroshi Ishii. 2011. ZeroN: Mid-Air Tangible Interac- tion Enabled by Computer Controlled Magnetic Levitation. In Proceedings of the 24th Annual ACM Symposium on User Interface Software and Technology (Santa Barbara, California, USA) (UIST ’11). Association for Computing Machinery, New York, NY, USA, 327–336. https://doi.org/10.1145/2047196.2047239
[2] Themis Omirou, Asier Marzo, Sue Ann Seah, and Sriram Subramanian. 2015. LeviPath: Modular Acoustic Levitation for 3D Path Visualisations. In Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems (Seoul, Republic of Korea) (CHI ’15). Association for Computing Machinery, New York, NY, USA, 309–312. https://doi.org/10.1145/2702123.2702333
[3] S. A. Seah, B. W. Drinkwater, T. Carter, R. Malkin, and S. Subramanian. 2014. Correspondence: Dexterous ultrasonic levitation of millimeter-sized objects in air. IEEE Transactions on Ultrasonics, Ferroelectrics, and Frequency Control 61, 7 (July 2014), 1233–1236. https://doi.org/10.1109/TUFFC.2014.3022
[4] Tobias Alrøe, Jonas Grann, Erik Grönvall, Marianne Graves Petersen, and Jes- per L. Rasmussen. 2012. Aerial Tunes: Exploring Interaction Qualities of Mid- Air Displays. In Proceedings of the 7th Nordic Conference on Human-Computer Interaction: Making Sense Through Design (Copenhagen, Denmark) (NordiCHI ’12). Association for Computing Machinery, New York, NY, USA, 514–523. https://doi.org/10.1145/2399016.2399095
[5] Antonio Gomes, Calvin Rubens, Sean Braley, and Roel Vertegaal. 2016. Bit- Drones: Towards Using 3D Nanocopter Displays as Interactive Self-Levitating Programmable Matter. In Proceedings of the 2016 CHI Conference on Human Fac- tors in Computing Systems (San Jose, California, USA) (CHI ’16). Association for Computing Machinery, New York, NY, USA, 770–780. https://doi.org/10.1145/ 2858036.2858519
[6] Jason Alexander, Anne Roudaut, Jürgen Steimle, Kasper Hornbæk, Miguel Bruns Alonso, Sean Follmer, and Timothy Merritt. 2018. Grand Challenges in Shape-Changing Interface Research. In Proceedings of the 2018 CHI Con- ference on Human Factors in Computing Systems (Montreal QC, Canada) (CHI ’18). Association for Computing Machinery, New York, NY, USA, 1–14. https: //doi.org/10.1145/3173574.3173873
[7] Hypersonic. 2014. Breaking Wave for Biogen-Idec, Inc. from https://www.hypersonic.cc/art#/breaking-wave/ Retrieved 01.03.2022
[8] Hiroshi Ishii, Daniel Leithinger, Sean Follmer, Amit Zoran, Philipp Schoessler, and Jared Counts. 2015. TRANSFORM: Embodiment of “Radical Atoms” at Milano Design Week. In Proceedings of the 33rd Annual ACM Conference Extended Abstracts on Human Factors in Computing Systems (Seoul, Republic of Korea) (CHI EA ’15). Association for Computing Machinery, New York, NY, USA, 687–694. https://doi.org/10.1145/2702613.2702969
