메타포라는 언어
“I knew I had just seen the most important advance in technology since the graphical user interface. … Soon the pre-AI period will seem as distant as the days when using a computer meant typing at a C:> prompt rather than tapping on a screen.”
누구의 말인가 하니 바로 빌게이츠 되시겠다. 해석하자면, 이제 우리에게 AI가 없었던 시대는 마치 C:> 프롬프트 옆 초록색 커서가 끔뻑끔뻑이며 '어쩌라고' 라는 멘트를 날리던 시기와 같을 거라는 말이다. DOS 플로피 디스크 돌려 끼워가며 겨우겨우 숨쉬게 해 놓았더니, 이제 외계어를 배워야 한다는 절망감을 느꼈다면 공감을 할 수 있을런지. 올해 연세가 그래도 AI 와 GUI를 비교한다니, 너무 얼척없는 일이다. 와중에 짐작가는 것은 MS의 거대한 성공에 CPU와 사람을 연결하는 OS의 디자인이 결정적 역할을 했다는 고백일거라는 정도. 하긴, 스티브 잡스도 처음 보고 펄쩍 뛸 정도의 아이디어이자 MS 가 베꼈다고 대차게 까는, 실제 소송까지 마다하지 않았던 대표 메뉴이기도 하다.
하지만, 아시다시피 이는 Xerox가, 아니 Engelbart의 마우스가 이미 닦아놓은 미래였다. 지금도 가방에 주섬주섬 챙겨넣는 이 작은 디바이스는 컴퓨터 주변기기 중 그보다 짬밥 높은 현역이 드문 위대한 기기이다. Engelbart의 영감을 복기하려고 애를 써보지만, 사실 디스플레이 기술 발전이 마우스로 가는 충분조건이었던 것 같지도 않다. 비트맵 디스플레이 이전의 CRT 화면에서도 라이트 펜과 같이 화면을 터치하는, 더욱 직관적이고 직접적인 인터페이스가 이미 존재하고 있었으니까. 또 다른 특기할 점은, Xerox가 이러한 기술들을 가지고도 생산단가를 맞출 수 있을 것 같지 않아 끙끙댔던 것이다 [1]. 이에 당시 날개돋친 듯 PC를 팔아 제끼던 애플과의 협업은 어쩌면 이를 타계하기 위한 매우 자연스러운, 그리고 운명같은 전략이었다. 그리고 허탈하게도 미래 거대 IT 기업의 구루는 다름아닌 '외주'를 통해 마우스의 상업화를 간단히 해결해 버린다 [2].
애플은 이러한 핵심 기술을 Lisa 컴퓨터 개발에 이식하게 되는데 이 혁신은 소프트웨어 부문, 즉 사용자 인터페이스와 결합되어 완성된다. Larry Tesler라는 전설 속의 인물은 애플 변호사의 허락을 받는, 아마 별 유례없을 것 같은 과정을 거쳐 그 탄생 뒷이야기를 유투브에 남긴다 [3]. 그는 애플에 입사하자마자 대기업의 안정을 뒤로 하고 앞날이 불투명한 스타트업(?)에 합류한 댓가를 톡톡히 치른다. 이주일 안에 모든 UI 결정을 마치고 스티브 잡스의 컨펌을 받아 스펙을 완성하라는 임무를 받았다는데 사용자 테스트에 한 달이 필요합니다.. 어쩌고 저쩌고 했지만 발매 스케쥴 때문에 씨알도 안 먹혔다고. 나중엔 그래도 시간을 좀 번 모양이지만 어쨌든 디자인에 대해 막 논쟁하고, 밤새 누군가 - Bill Atkinson - 가 이를 구현하면 실행해보면서 다시 토론하기를 반복했다.
이 전입미답의 작업에 mantra 같은 역할을 했던 주문은 바로, "spreadsheet에 숫자를 넣고, 그래프를 제작하면, 그걸 워드프로세서 리포트에 넣을 수 있게 해달라"였다. (Ctrl-C Ctrl-V의 핵심 기능으로 지금도 약간 마법같은 작업이긴 하다) 마치 J.F. 케네디가 우주인들을 달에 보냈다가 무사히 데려오라는 주문과 비슷한 느낌이었다나. 이후 디자인 작업의 기저에 깔린 철학은 다음과 같았다.
1) 그래픽 이미지는 책상 위에 있는 종이와 같이 익숙한 환경을 만들어 주기 위해 사용한다
2) Menu는 전역 및 어플에 속한 명령어를 보여준다
3) Pointing device는 자유롭게 움직인다
4) 키보드로도 명령어를 실행할 수 있어야 한다
첫번째 원칙이 바로 'Desktop Metaphor'의 시작이다. GUI의 아버지들은 눈앞에 우뚝 솟은 모니터를 마치 오피스 데스크처럼 다룰 때 사람들이 더 쉽게 사용할 수 있을 것이라 여겼다. 메타포는 우리 말로 '은유'로서 한 종류의 경험 (target)을 다른 것 (source)으로 이해하는 방법인데, 세상에 없던 것을 이해시키려면 뭔가 아는 것을 이용할 수밖에 없었을 것이다.
다음 윈칙은 메뉴인데 의외로 여러 revision을 거쳤다. 좌측은 초기 원형으로 윈도우 (당시 이름으로 폴더) 왼쪽 위에 타이틀 바가 있고 바로 아래에는 elevator shaft라고 불리웠던 스크롤바가 있다. 그 옆의 작은 화살표들이 보이는지 모르겠는데 바로 수평 스크롤바 역할을 하던 것들이다. 상하좌우 스크롤을 동시에 하기 쉽도록 비슷한 데에 배치시켜 놓았다. 메뉴 관련해서는 어플관련 명령어들은 윈도우 아래쪽, 그리고 OS앱과 관련 명령어들은 화면 오른쪽에 위치되어 있다. Findit 이 반갑지 않은가? 우측의 조금 더 발전한 안을 보면 수평 스크롤바가 드뎌 윈도우 아래로 내려왔고, 어플에 해당하는 메뉴는 윈도우 위로 올라가 버렸다. 각 메뉴 아이템에 mouse over할 때마다 secondary 메뉴가 아래로 내려오기 시작했다.
다만 이러한 메뉴 배치에 대해 다들 꺼리기 시작했는데 윈도우가 스크린 어디에 위치하느냐에 따라 메뉴의 확장 방향이 너무 복잡했던 것 (좌). 결국 현재 애플의 메뉴는 - 어플이든 global 명령어든 - 스크린 제일 위쪽에 위치하게 된다. 마우스의 버튼 수(우)에 관한 논쟁도 꽤 유명한데 과연 버튼 한 개가 두 개보다 나은 게 무엇이었다고 생각하시는지? 첫째로 제조 비용이 싸다, 둘째로 이름을 붙일 필요가 없다, 마지막으로 다른 조작 기기 (조이스틱이나 펜 등)에 버튼이 필요할 때 마우스를 쓸 수 있다였다나. 아이고
이런 노력에도 불구하고 딱 하나, Xerox의 Star 컴퓨터 UI에는 있지만 Lisa에는 없는 것이 있었으니 바로 아이콘이었다. 부러움을 견디다 못해 누군가가 만들어 왔다고 하는데, 주말에 작업한지라 아이콘 디자인에 시간 뺏기지 말라는 회사 방침을 어긴 것도 아니었다고. 이게 무슨 차이가 있을까 싶어 사용자 테스트를 해 보니 모든 비교에서 별반 차이가 없었다고 한다. 다만 '너 뭐 갖고 싶니?' 하고 물어보기 전까지는 말이다.
GUI의 출시 이후 학계에서도 열심히 현미경을 들이댔는데, 가장 큰 영향력을 가진 개념은 역시 Direct Manipulation이다 [4]. 직접 조작 정도로 해석이 될 것 같은데 수천 건의 citation이 있는, Ben Shneiderman이라는 연구자를 superstar로 만든 개념이다. 그 내용은 딱 세 개로 요약될 수 있겠다 [5].
1. Continuous representation of the object of interest.
2. Physical actions or labeled button presses instead of complex syntax.
3. Rapid incremental reversible operations whose impact on the object of interest is immediately visible.
1번은 사람의 attention을 받는 object의 상태를 표시하라는 말로, 예를 들어 웹에서 파일을 다운로드할 때 얼마를 받았고 얼마가 남았는지를 알려주는 것이다. 여기서 핵심은 continuous로서 리소스 부족이든 예측의 어려움이든 사용자가 원하는 정보를 지속적으로 알려주기가 의외로 쉽지 않다. 2번은 어떤 3차원 모형의 조작적 명령을 수행할 때에는 언어적 인터페이스보다는 물리적 액션이 훨씬 더 직접적이라는 말. 컴퓨터 명령들이 토시 하나도 틀리면 안되는 텍스트의 선택이라고 본다면 타이핑보다는 버튼이 백배 사용자 친화적이다. 마지막은 특정 대상에 대한 빠르고, 가역적이고, 점진적인 작업이 결과를 즉각적으로 보여주어야 한다는 의미이다. 가역적은 현실과 컴퓨터 세상을 구분하는 가장 고유한 성질이고, 즉각적 피드백은 버튼을 눌렀으면 그 결과를 무조건 빠르게 알려줘야 한다는 의미이다. 결재 버튼을 눌렀는데 1초 내에 답이 없을 때의 순간의 혼란함을 상기시켜보자. 다만, 이러한 작용-반작용의 인터랙션이 사람의 뇌작용을 심각하게 바꾸고 [6] 강화학습에서 말하는 에이전트와 환경 사이의 알파이자 오메가라고 하니 [7] 아직 밝혀질 것들이 훨씬 더 많다.
Beaudouin-Lafon [8] 은 20년 넘게 발전해 온, 더 이상 나아질 것 없어보이는 GUI의 민낯을 낱낱이 보여주었다. Direct Manipulation 법칙 1번과 관련하여, 예를 들어 포토샵 사용 시 한정된 스크린 공간 때문에 내가 원하는 버튼이 현재 작업과 별 상관없는 아이콘들의 홍수에 가려지는 점을 들었다. 2번과 관련해서는 특정 명령을 수행하기 위해서는 타겟을 선정하고-메뉴를 골라서-팝업 윈도우에 정확한 커맨드를 입력하고-OK를 눌러야 하는 과정의 지난함을 이야기했다. (잘 생각해보자, 특정 필터를 적용하는 것과 'OK' 버튼을 누르는 것이 과연 관계가 있는지를) 마지막 법칙과 관련하여 중간 단계를 보여주지 않고 꽤 많은 시간이 흐른 후에 원치 않는 결과물을 보여주는 작업을 꼬집었다. 이러한 인터페이스 디자인 한계점의 결과는? 바로 배우기 쉽지 않은 소프트웨어와 사용 시간에 비례하여 나아지지 않는 숙련도를 들 수 있다. 그러니까 마치 어제 태어난 아기와 같은 눈을 가져보자. 그리고 배우기 너무 버겁고 어렵다는 걸 받아들이자. 그 순간이 변화의 시작이다.
Figure 3. Agarawala et al. [9]이러한 정신을 번쩍 들게 만드는, 추상같은 신선함은 새로운 발견 & 발명으로 이어지기도 한다. Agarawala et al. [9]은 위 그림과 같은, 나중에 구글에 인수된 새로운 데스크탑 메타포 아이디어를 제안하였다. 그 영감을 왼쪽 사진에 실었는데, 무엇을 의미하는지 상상이 가는지? 실제 책상에는 있고 윈도우 데스크탑에는 없는 것은 과연 무엇일까? 바로 각양각색의 서류와 물건들이 다른 각도와 위치, 그리고 높이를 두고 쌓여져 있는 모습이다. 우리는 물건의 중요성과 시급성 등을 기준으로 교묘하게, 그리고 열심히 이들의 모습을 변형시킨다. 여기서 깨닫는 점은, 은유란 태생적으로 불완전한 매핑이라는 것이다 [10][11]. 다시 말해, 완벽한 책상 시뮬레이션은 더이상 컴퓨터 인터페이스가 아니다. 그리고 그 갭을 어떻게 채우느냐가 바로 디자이너의 몫이다.
이렇게 UI의 변곡점을 사골 우려내듯 자꾸 캐내는 이유는 바로 새로운 세대의 표준을 결정하기 위해서이다. 우리는 가상의 현실을 열어 줄, VR의 새로운 기기의 가능성을 목전에 두고 있다. 비록 여러 생리적인 한계가 쉽지 않아 보이지만, 디지털 의료나 게임, 훈련과 같은 그 장점이 확실한 도메인도 서서히 드러나고 있다. 혹시 vision Pro를 직접 써본 적이 있는지? (부끄럽지만 구지 찾아서 써본 적은 없다) 그 몰입감과 즉각적인 상호작용 - 특히 시선 추적에 의한 클릭 -은 시쳇말로 끝장이라고 하는데, 인터페이스 측면에 있어서는 아직 데스크탑 메타포를 벗어나고 있지는 못하다. 다시 말해, 2D에 겨우 깊이를 입힌, 2.5D에 가깝다고 할 수 있다. 그렇다면, VR 세상에서 OS와 상호작용할 새로운 패러다임은 무엇이 적합할까? 여러분의 컴퓨터 스크린과 책상을 한 번 서서히 번갈아 가면서 쳐다보도록 해보자.
Figure 4. From 2D to 3D: Redesigning the Desktop Metaphor in Virtual Reality [12]
자세히는 말 못하지만 - 그리고 심지어 이 글 쓰는 중에 생각이 바뀐 부분도 있지만 - 일단 (내맘대로) 나열해 본 VR 메타포 디자인을 위한 원칙들은 다음과 같다 [12].
1. Object: 우리가 익숙한 3차원 오브제는 2차원 윈도우보다 사용성 - 직관, 병렬, 노출 - 측면에서 월등하나 무언가 사용자를 편하게 하는 선험적인 효과가 있다
2. Metaphor: 가상 세계의 오브제는 사실 가상적 컨셉이고 이를 작동하는 방식은 현실의 그것으로 매핑되어야 한다.
3. Physics: 이 세상을 시뮬레이션 하기 위한 가장 직관적인 법칙이다. 현실을 그대로 가져오면 육체적으로 좀 피곤하긴 하다.
4. Embodiment: 가장 어려운 개념이다. 우리는 몸 전체로 생각하고 냄새맡는다는 사실을 서서히 깨닫고 있다. VR이 우리 몸을 베이스로 사용할 수 있는 다양한 방식이 있다.
5. Spatial Context: 이제 파일은 우리의 책상이 된다. 통째로 저장하고 가져올 수 있다. 아이콘처럼 만족도에 큰 영향을 준다.
6. Magic: 새로운 시대의 Ctrl+C Ctrl+V는 무엇이 될 것인가.
이것들은 과연 Xerox와 Apple의 GUI 디자이너들이 그토록 바라던, 그리고 멋지게 이루었던 '쓰기 쉬운 컴퓨터'에 더 가까이 가게 해 줄 것인가? 과연 그 복잡하기 그지 없는 3차원 모델링 소프트웨어는, 그리고 더 나아가 제임스 다이슨이 최악의 디자인으로 꼽는 프린터는 할머니들도 쓸 수 있게 될 것인가? 당장 내일은 아니겠지만 분명 그 목적지와 가는 길이 보이는 건 나만이 아니지 않을까.
사실 3차원 데스크탑 메타포 외에 더 보이지 않는 혁명이 진행된 곳이 있었으니 바로 LLM 되시겠다. GUI 의 등장 이후로 그렇게 죄악시 되었던 텍스트는 언젠가 우리 곁에 슬그머니 자리잡았다. 아니, 자리잡다 못해 옴짝달싹하지 못할 지경이 되었다. 어찌보면 기술적 이유 - 인터넷에 넘쳐나는 텍스트들 - 때문에 정착한 대화형 인터페이스는, 개떡같이 말해도 찰떡같이 알아듣는 LLM 덕분에 우리의 인터랙션 방법을, 그래서 생각하는 방식을 지배해버렸다. 하지만 구지 말로만, 아니 오감으로만 느끼고 생각하리라는 법은 없다. 공깃돌을 던지며 '우연'이 만드는 새로운 형태를 탐구하던 건축가도 있고 (하디드라고 들은 적이 있다), 적외선, 더 나아가 전자기장을 느끼는 감각을 몸에 심은 인간도 있으며 [6] 유머, 놀이, 페이소스 등 더 높은 차원의 언어로 소통하지 말라는 법도 없다.
GUI의 아버지들이 얼마나 위대한지 찾아 헤메던 여정은 용두사미에 가깝게 되었다. 그들이 하던 디자인은, 아무리 잘 평가해보려 해도 경험과 행운이 많은 자들의, 사용자들이 무얼 더 원할까 하는 상식적인 판단의 연속에 지나지 않았다. 게다가 Tesler는 그 당시 모두 GUI를 향해 달려들고 있었다고, 애플이 Xerox로부터 아이디어를 훔쳤다는 루머는 미디어가 좋아하는 드라마에 가깝다고 일축한다. 그럼에도 이 작업은 '벤츠에서 엔진을 만든 일'에 비유할 수 있다고 자랑스러워 하였다. 우리는 여기서 어떤 교훈을 얻을 수 있을까. 개인적으로는 대중을 변화시키는, 상업적으로 큰 성공을 거둔 작업보다는 끊임없이 삐져나오는 신선함에 마음을 빼앗긴다. Lisa보다는 Star의 뒷 이야기가 더욱 궁금하다. 애플과 벤츠의 디자이너들은 엔지니어들에 의해 실시간으로 테스트되는 행운을 누렸지만 오히려 그러한 평가에 반복적으로 노출되는 것은 끊임없이 상상력을 잡아 묶는 결과를 가져올 수 있다. 현실에 기반하지 않는 꿈은 몽상이지만, 꿈꾸지 않는 디자이너는 그 생명력을 다한 것이 아닐런지. 새로운 세상을 지배할 인터페이스를 다같이 한 번 꿈꾸어보면 어떨까.
[1] https://www.youtube.com/watch?v=ferle2Uovks
[2] https://www.newyorker.com/magazine/2011/05/16/creation-myth
[3] https://www.youtube.com/watch?v=OW-atKrg0T4
[4] https://www.cs.umd.edu/users/ben/papers/Shneiderman1983Direct.pdf
[5] https://www.lri.fr/~mbl/ENS/FONDIHM/2013/papers/Hutchins-HCI-85.pdf
[6] https://product.kyobobook.co.kr/detail/S000200545463
[7] http://incompleteideas.net/
[8] https://www.lri.fr/~mbl/papers/CHI2000/paper.pdf
[9] https://doi.org/10.1145/1124772.1124965
[10] Paul Hekkert and Nazlı Cila. 2015. Handle with care! Why and how designers make use of product metaphors. Design Studies 40, (September 2015), 196–217. https://doi.org/10.1016/j.destud.2015.06.007
[11] John M. Carroll, Robert L. Mack, and Wendy A. Kellogg. 1988. Chapter 3 - Interface Metaphors and User Interface Design. In Handbook of Human-Computer Interaction, MARTIN Helander (ed.). North-Holland, Amsterdam, 67–85. https://doi.org/10.1016/B978-0-444-70536-
5.50008-7
[12] https://www.computer.org/csdl/proceedings-article/vrw/2025/11036322/27ASmKf5l8Q
