[번역/NNg] 게임UX리서치:무엇이 다른가?
Jakob Nielsen, 2016년 3월 20일
*Jakob Nielsen 제이콥 닐슨은 도널드 노먼과 함께 UX를 대표하는 학자 중 한명이다. 특히 웹 사용성 관련 많은 논의를 해왔으며, UI 디자인을 위한 10가지 사용성 휴리스틱이 대표적인 예시이다.
오역, 의역 있습니다. 오역은 제보해주시면 감사하겠습니다.
<요약 및 감상>
- 유저 테스팅, UX팀 매니징, 분석과 지표
게임 테스트는 재미라는 개념을 리서치한다. 주류의 UX리서치에 비해, 게임 UXR은 더 많은 사용자를 포함하고 커스텀 소프트웨어와 생체측정에 더 의지한다. 게임 유저 리서치 서밋으로부터 가장 독특한 발견은 (게임플레이) 동기 조사에서의 극단적인 나이와 성별의 차이이다.
지난주 GDC와 관련되 열렸으나 실리콘밸리 EA가 별도로 주관한 게임UX서밋에 출석했다. — 이 사람들은 정말로 약어를 사랑한다.
빛나는 주최자 EA가 주관한 이 행사는 거대한 드래곤의 눈이 지켜보는 아래 열렸으며, 쉼터는 고전 스타워즈 캐릭터들의 거대한 포스터로 장식되어 있었다. 주변을 보면 캔자스가 아닌 것이 분명했다. (혹은 주류 UX 영역에 있는 것이 아니거나. 이곳에는 정말로 용이 있다.)
잡담 도중 들려오는 용어로부터 게임이 다른 디자인 프로젝트와는 전혀 다르다는 것이 분명해졌다. 예를 들어 Rainbow Six Siege를 살펴보자. (게임 개발자들은 약어를 좋아하기 때문에 아니나 다를까 R6S로 축약되었다.) 이 게임을 테스트하는 동안, UX 측정 기준(metric)은 한번의 죽음 당 타 캐릭터 킬 수(Kill/death) 비율이다. 이런 것들은 NNgroup에서 종합적인 유저 경험 (UX) 조사 세미나에선 가르치지 않는다. (이 비율은 데스매치 동안 유저가 죽인 적의 수를 팀 멤버 사망 수로 나눈 것이다. 주류 디자인 프로젝트에서는 많이 사용하지 않는 용어다.)
많은 것들이 동일하게 유지된다
드래곤과 데스 매치에도 불구하고, 실제로 게임UX 세계와 주류 UX세계 간의 많은 유사점을 보았다.
빛나는 오프닝 연설 동안, Brandon Hsiung(Riot Games의 통찰력(Insight) 총괄)는 어떻게 그가 부서 70명을 하나로 모을 수 있었는지 설명했다. 주요 핵심은 UX리서쳐를 제품 팀에 결합시키는 것의 이점이었다. 이는 피쳐 디자인 정도의 수준과, 이상적으로는 전체 게임으로서 더 높은 레벨 모두에 해당한다. 우리도 20년 전 Sun Microsystems에서 같은 이유로 행렬 형태의 조직을 사용했다. 중앙에 보고서를 올리지만, 제품 팀과 점선 같은 관계로 앉아있는 특별한 연구 조직 말이다.
Riot games는 2,000명에 가깝기 때문에, 부서의 70명 전문가들은 ‘프로젝트 팀의 10% 만큼 유저 리서쳐가 할당되어야 한다’는 권장 비율에 비해 터무니없이 낮은 것처럼 보인다. 하지만 Riot은 스튜디오이며 동시에 퍼블리셔이기 때문에, 대부분의 직원은 퍼블리싱에 해당했다. 그래서 실제로는 70명의 통찰력(insight) 팀은 새 제품을 만드는 개발팀의 (권장값) 10%에 근접할 것이다.
스튜디오: 게임을 디자인하고 개발 / 퍼블리셔: 게임을 배급하고 판매
Hsiung의 이야기에서 내가 얻어낸 주요 혁신은 ‘통찰력(insight) 팀’이라는 부서 이름이다. 이름은 피상적인 선전처럼 보이지만, 실제로는 깊은 부분을 지적했다. — ‘리서치의 목표는 제품을 개선하고, 고객의 구매전환률(Conversion rates) 향상을 통해 회사의 수익성을 증가시키는 것이다.’. UX팀이 디자인 전략(Tactical level*)과 고객 관점의 전술(Strategic level*)에서 실행가능한 인사이트를 전달하고, 회사의 개발 활동을 이끌 때에만 비로소 수익성 목표를 달성할 수 있다. 대부분 회사의 UX 성숙도(maturity)는 전략 수준에도 도달하지 못했지만, 전술 수준으로 도달하려면 반드시 ‘통찰력(insight) 팀’ 모자를 써야한다.
- Tactical level: 더 나은 설계(design), 전략
- Strategic level: 잠재고객의 필요를 발견하고, 이를 충족하고 넘어서는 제품을 만드는 것. 전술
나는 Riot의 인사이트 팀이 시장 리서치와 분석 뿐만 아니라 유저 리서치도 포함한다는 것을 들어 기뻤다. 분석과 UX는 꼭 붙어있어야만 하지만, 굉장히 자주 다른 부서로 분리되어 있었다. 그리고 시장 리서치는 보통 UX로부터 멀리 떨어져 있다. 다양한 방법론으로 찾아낸 것들을 교차계산한, 통합된 고객에 관한 통찰력(insight)의 많은 이점에도 불구하고 그렇다.
UEgroup의 Laura Hammond의 행동 기반 게임 테스트에 대한 다른 발표는 몇 가지 데자부를 느끼게 했다. 그녀는 어린이들을 테스트할 때 회전 의자를 사용하지 않는 것을 추천했다. 왜냐하면 아이들은 의자에서 움직이는 것으로도 쉽게 주의가 흩어지기 때문이다. 사실이지만 이것은 2001년에 유아용 웹사이트 사용성 테스트의 초판 보고서에 수록된 관찰이다. 2001년에 6살이었던 아이는 지금은 21살이 되었을 것이다. 즉, 현재 우리의 어린 성년/밀레니얼에 대한 유저 리서치의 참가자로서 적합하다. 적어도 사용성 연구실에 회전 의자가 있을 때, 다음 세대의 어린이들도 똑같다는 사실을 알게 된 것은 좋았다.
테스트들을 녹화하는 것과 비디오로 몸짓(gesture)을 얻는 것에 리서쳐들은 3개의 비디오 카메라를 사용할 것을 추천했다: 위, 옆 그리고 유저의 얼굴을 마주하는 것. 20년 전 우리가 인간 공학 하드웨어 연구실에서, 서버에 하드 드라이브를 설치하는 관리자 시스템을 녹화하기 위해 했던 것과 정확히 같다. 3D UI를 테스트하는 것은 2D 웹사이트를 연구하는 것에 비해 더 많은 장비가 필요하다.
물론 Hammond의 발표는 인텔 리얼센스 카메라용 게임에 특정한 새로운 관찰도 포함하고 있었다. (사용자가 게임을 하려면 카메라 앞에서 손을 움직어야 했다) 예를 들어 리서쳐들은 테스트 참가자들을 모집할 때, 스크리닝 기준 중 하나로 사용자의 손 크기를 포함시켰다. 우리 같은 경우 확실히 스크리너에게 손의 크기 같은 것은 물어보지 않았다. 보아 하니 맞추기 어려웠을 것이다.
Hammond의 발표로부터의 또다른 통찰은, 3D 몸짓을 테스트할 경우 연구 도우미가 사용자에게 편향을 심어줄 기회를 만든다는 것이다. (*학습되지 않은/편향되지 않은 사용자 데이터가 오염됨) 도우미가 앉거나 움직이는 방식은, 사용자가 그 바디 랭기지를 자신의 몸짓으로 복사하여 (테스트에) 대비하도록 한다.
<Summary & Comment>
방법론 측면에선 같다, 웹에서 선행됬던 유저 리서치 방법이 게임에도 비슷하게 적용.
통찰 팀이라는 단어가 주는 통찰: 게임도 마찬가지로 유저 리서치가 프로덕트 팀과 밀접하게 붙어 플레이어에 대한 통찰력을 디자인 (단기)전략과 유저 중심의 (장기)전술 둘 모두에 주어야 한다.
한번에 여러 사용자 테스트 (다중사용자 테스트)
주류 유저 테스트와 다르게, 종종 게임 리서치는 동시에 많은 사용자를 테스트한다. 게임은 긴 시간동안 플레이하거나 (동시에) 여러명의 사용자들을 포함하기 때문이다.
(가끔 전통적인 UX프로젝트임에도 여러 사용자들을 동시에 테스트할 때도 있다. — 어린이들과 사용성 연구를 할 때를 예로 들 수 있겠다, 그러나 대체로 한번에 한명의 사용자를 테스트한다. 사용자 행동의 모든 세세한 부분까지 세심하게 집중하고 싶기 때문이다. 또한 웹사이트는 보통 2~3분만을 머무르며 일반적으로 페이지는 30초 정도만을 보므로, 테스트의 모든 디테일을 목표로 해야만 한다.)
코어 게이머들은 보통 단번에 몇시간을 플레이하며, 반복적으로 무언가를 쏘는 것에 대부분의 시간을 사용한다. 그 결과 전세계의 플레이테스트 연구실은 12-20명의 게임 테스터(대기업이라면 더 많이)가 같은 게임을 각각의 콘솔에서 플레이하며 머무를 수 있도록, 비슷하게 설계된 것처럼 보인다.
영국 Player Research의 Sebastian Long가 자기 회사의 플레이테스트 연구실을 묘사했다.: 관찰실(옵저버 룸)에는 커다란 영사기 화면이 있는데, 그곳엔 12명의 화면이 작은 버전으로 송출된다. 뿐만 아니라 관찰자가 12개의 화면 중 하나를 고를 수 있는 스위치 버튼이 있는데, 이것으로 테스터 한 명이 게임에서 뭔가 흥미로운 행동을 하면 그 화면을 확대해 고해상도로 볼 수 있다. 게임 리서치 외에는, 다수의 현상을 설문조사 하는 것과 특정한 한 사람의 인터렉션을 주의깊게 관찰하는 것 사이를 번갈아가며 테스트하는 것이 드물다.
게임 리서치에서 다중사용자 테스트를 하는 두번째 이유는 근래 많은 게임들의 멀티플레이 요소다. 같은 방에서 모두 함께 플레이하는 것이나 실시간 온라인으로 하는 것이나 리서쳐들은 테스터들의 협업이나 소통 방식을 반드시 이해해야 한다. 반대로 주류 UX에서는 사람들이 소셜미디어(사회통합망) 계정이나 다중채널(Omnichannel)을 통해 말하고 있다 할지라도, 같은 문제를 해결하기 위해, 동일한 UI로 같은 시간에 협력하는 일은 별로 없다.
게임 리서쳐들은 종종 실제 규모의 데이터를 볼 수 있다. 위에서 언급했던 R6S(레인보우 식스 시즈)의 한번의 죽음 당 타 캐릭터 킬 수(Kill/death) 같은 경우, Ubisoft의 Olivier Guedon은 알파 테스트의 44만회 매치와 2회 베타 테스트의 1억 8200만회 매치를 계산했다. 알파 테스트에선 방어팀이 61%의 확률로 승리하였고, 이로 인해 공격이 더 쉽도록 수정되었다. 그 결과로 (그 다음) 첫번째 베타 테스트에서 공격수는 58%의 승률을 갖게 되었다. 그후 리디자인으로 마침내 두번째 베타 테스트에서는 승률 밸런싱이 맞춰졌다. 반복적 디자인의 훌륭한 예시이자, 한개의 UX 문제를 해결하는 것이 가끔 새 문제를 만든다는 것을 볼 수 있던 일반적인 사례였다. (’공격하기 어려운’ 것을 고쳤더니 ‘공격하기 쉬워진’) 이는 바로 가능한 많은 디자인-리서치 회차 반복을 추천하는 이유다.
<Summary & Comment>
긴 시간+반복적 플레이 → 한번에 여럿을 테스트 하는게 당위가 있음. 멀티플레이 요소가 없는 콘솔캠페인이나 싱글게임도 한번에 여럿을 테스트 하는듯
콘솔룸이라는 것만 다르지, 한국 대기업도 비슷. 넥슨은 약 50명 규모의 PC룸 + 옵저버 룸이 있다.
프로 게이머 사용자 (Professional users)
게임 분야에서 어떤 회사들은 두 종류의 사용자들을 수용해야만 한다. (게임을 구매하고 재미를 위해 플레이하는) 일반적인 유저와 “E스포츠”에서 게임을 플레이해 돈을 받는 프로게이머 유저 말이다. E스포츠는 선수권 대회를 시청하는 거대한 청중을 가진 큰 산업이다. (2014년 Amazon.com은 한개의 E스포츠 사이트에 거의 10억 달러(1조 2천만원)에 가까운 돈을 지불했다.)
물론 전통적인 유저 경험(UX)에서의 가장 오래된 교훈 중 하나는 초보자와 경험자 모두를 위해 디자인해야 한다는 것이다. 각각은 다른 기술 숙련도를 가지고 있으며 다른 기능이 필요하다. (NNgroup의 UX 기초 훈련 코스에 더 많은 내용이 있다. — 근간이 되는 내용이다.) 그러나 프로게이머 사용자는 완전히 다른 수준으로 뛰어나며, UI를 사용할 때 어떤 일이 일어나는지에 관한 별도의 연구가 필요하다. 이 UI 조작 관찰은 그 연구의 목적 그 자체 그리고 누군가의 경력 상 중점이 된다.
재미 설계 (Designing Fun)
사용자 만족은 항상 5가지 주요 사용성 기준 중 하나가 되어왔다. — 사람들은 웹사이트가 별로일 때 대부분 반드시 떠난다. 기업용 소프트웨어라고 해도 직원 이직률을 줄이기 위해 사용자가 당신의 디자인을 좋아하기를 바랄것이다. 그말인즉슨, 주류 UX 리서치에서는 사용자들의 목적 지향적이기 때문에 학습용이성과 효율성과 같은 다른 기준에 많은 시간을 사용한다. — 그들은 UI 그 자체로 재미를 찾는 것이 아니라, 무엇인가를 완료하기 위해 웹사이트를 방문한다. (뭔가 사거나 뉴스를 읽는 것이라 말할 수 있겠다)
아주 대비되게도 게임은 재미 외 다른 목적이 없다. 정해진 목표라 해봤자 아마 보스를 죽이는 것일 테다. (당신의 매니저를 말하는게 아니라, 못된 그램린이나 외계인 침략자를 말하는 것이다! 게임 내 적들은 보스로 불리운다.) 그럼에도 그것의 진짜 목표는 하는 동안 재미를 느끼는 것이다. 이것이 바로 ‘한번의 죽음 당 타 캐릭터 킬 수(Kill/death)’ 연구가 중요한 이유다. — 만약 디자이너가 게임 UI를 보스 죽이기 좋게 만들었다면, 이거는 효율적인 것이지, 재미있는 것이 아니다. (좋은 전통 UX; 나쁜 GUX) 게이머들은 단지 적정한 수준의 도전이 필요하다. 보스에게 바로 죽어버리고 클리어할 수 없는 것 또한 재미없기 때문이다.
사용자가 즐거운지 혹은 지루한지를 정확히 찾는 시도 중, 게임 UX 리서쳐들은 난해한 생체 센서를 고용해보았다. 예를 들어 그들은 심리적 자극과 연관된 피부의 열 전도 정도(땀샘 활동)를 측정했다. Pierre Chalfoun은 Ubisoft의 생체측정에 대해 좋은 개괄을 전해주었다. 또한 이러한 심리 센서들이 우리가 정말 만들고 싶은 것처럼 사용자들의 감정이 항상 반영되는 것은 아니라고 강조했다. (서로가 상관이 있다 해도, 목표는 몰입하는 중인 사용자들이지, 땀 흘리고 있는 사용자가 아니다.)
Chalfoun은 게임 튜토리얼에 관한 흥미로운 연구를 발표했다. 간접적인 생체측정을 통해 측정된 것이었는데, 사용자들이 게임 튜토리얼 이해를 실패할 때마다 좌절감이 늘어나는 것을 보여주는 것이었다. 첫 실패는 약간만 좌절했지만, 연이은 세 번의 실패에는 엄청나게 좌절했다.
이 발견은 직관적이고 생체측정 연구실 비용만큼의 것은 아닐 수 있지만, Chalfoun은 이런 데이터의 좋은 시각화가 리더 그룹과 개발자들이 리서치를 진지하게 받아들이고, 사용자들에게 좌절감을 불러일으키는 나쁜 디자인 수정에 투자하도록 설득할 수 있다고 강조했다. (정량적 데이터 없이는, 사용자의 좌절감 같은 건 출시를 지연시킬 만큼의 문제는 아니라며 묵살당하기 쉽다.)
<Summary & Comment>
게임은 사용자 만족을 측정하는 Criteria가 다름: 재미
게임 내 사용하기 편리한 UI는 재미 향상을 담보하는 것이 아님. 일반UX가 게임업계에 오면 헤매는 포인트. 게임 UIUX에서 UX를 파이프라인에 받아들여도 UI에 한정하여 사고하게 되는 이유. UXD가 이에 벗어나야 유저경험을 더 복합적으로 논의 가능. 프론트앤드의 경우 사용이 불편하면 설계된 코어 재미를 방해할 수 있으므로 사용성을 별개로 측정하고 디자인해야 함
재미는 몰입하고 있는 상태로 치환해볼 수 있고, 해서 생체반응을 연구 Criteria로 삼을 수 있음. UI 설계 시 사용자의 동공이 많이 움직이지 않거나 의도한 영역에 머무르도록 하는 것은 편리한 사용을 위함이지, 몰입하고 있는 상태라 보기엔 다소 변수가 있는듯, 아이트래커는 UI의 (특히 프론트앤드의) 효율적인 사용에 유용.
(선행사례나 정량데이터 없이는) 현실적인 문제들(개발 일정 같은) 때문에 유저경험측면의 이슈 해결을 설득하기 쉽지않다. (그리고 이건 롱텀에서 큰 문제가 되어 돌아온다..) 이 문제가 어찌 보면 크다.
더 많은 기술
컨퍼런스 발표문들을 통해 얼마나 많은 GUX팀들이 자체적으로 만든 소프트웨어를 사용하는지를 알고서 놀랐다. 연구실에서 플레이테스트를 하는 것부터 게임 원격측정*에 이르기까지 무엇이든, 단지 리서쳐들이 필요한 특수 기능임에도 회사는 소프트웨어 개발자를 붙여 만들었다.
(베타테스트에서 라이브 플레이에 대한 데이터가 포함된 ‘Calling home’)
내 생각엔 GUX팀이 주류 UX팀에 비해 기술을 더 필요로 하는 건 두가지 이유가 있다.
게임 리서쳐들은 프로그래머 군단이 있는 굉장히 괴짜 회사에 포함되어 버렸다. 그리고 뭔가 필요하다면 직접 만들어버리는 것이 그 회사의 문화다.
많은 게임 장르들은 필요로 하는 것이 광범위하며, 이는 깊게 연구하려면 커스텀 프로그램이 필요하단 뜻이다. 반대로 모든 웹사이트는 브라우저 위에 만들어지며, 같은 종류의 상호작용이 필요하다. 이는 실제로 타사의 해결책이 적용 가능하다는 뜻이다. 말하자면, 웹사이트를 연구하기 위해 필요한 대부분의 데이터를 모을 수 있는 클라우드 기반의 분석 도구 말이다. 이는 커스텀 소프트웨어가 필요하지 않단 뜻이다.
<Summary & Comment>
다양한 장르/플랫폼 게임을 보유한 한국회사는 이 때문에 데이터 수집에 어려움이 있음, 게임 간 비교를 하려면 criteria가 같아야 하는데, 같은 MMORPG라 하더라도 그 둘이 동등한 값이라 할 수 있는가? 또 처음부터 데이터 수집을 염두에 두지 않으면 나중에 심기 어려울 뿐더러 시간 연속성이 없어진다. 하나의 게임을 연이어 다양한 패키지로 판매하는 외국ip같은 경우 값만 잘 정의해두면 연속성있는 연구가 가능해보임.
리서치뿐만 아니라 애니메이터, 모델러, UI 등 필요에 따라 기능개발하는 것은 Geek해서가 아니라 단지 그게 필요하기 때문에 게임 내 흔한 문화다. 그럼에도 리서치를 위한 기능 개발은 인상적. 한국은 다양한 장르/플랫폼이기에 시간적으로 불가능하고, 리서치에 대한 이해가 아직 개발팀에 부족한 상황으로 보임.
나이와 성별 차이
게임 유저 리서치(GUR)에서 최고의 (그러나 정말 데이터가 빽빽했던) 발표는 Quantic Foundry의 Nick Yee였다. Yee는 22만명 게이머의 ‘컴퓨터 게임을 플레이하는데 있어 무엇이 그들을 동기부여하는지’에 관한 설문조사 데이터를 모았다. 동기는 6개 그룹으로 모아졌다. (액션, 소셜, 마스터리, 달성, 몰입, 창의력) 명백하게 다른 게임은 다른 동기를 자극한다. 데스 매치 게임은 아마도 액션과 소셜 플레이 동기를 가진 게이머를 자극할 것이다. 반면에 시뮬레이션 게임은 몰입과 창의력을 좋아하는 사람들이 선호할 것이다.
소셜 그룹의 주요 구성 중 하나는 경쟁이었다. 이 그룹의 게이머들은 다른 플레이어들을 이기는 것과 (E스포츠를 좋아하지 않더라도) 랭커로 인정받는 것을 신경쓴다. 다음의 표는 다른 나이의 여성과 남성의 평균 경쟁심을 보여준다.
모든 나이와 연령에 걸쳐 표준 편차로 표현된 게이머 평균 점수. 높은 점수는 경쟁에 더욱 동기부여되는 사람을 가리킨다. 출처: Quantic Foundry, 허가받아 재판표로부터의 두 가지 관찰 지점
남자는 여자보다 좀 더 경쟁적이다. (혹은, 더 정확히 하자면 남자는 여자보다 경쟁적인 게임을 더 좋아한다.) 아마도 크게 놀랍진 않을 것이다.
경쟁심은 나이에 따라 급격하게 줄어든다. 사실 어린 사람과 나이든 사람 사이의 차이는 남녀간보다 두배 이상 차이가 난다. 그리고 50살에 이르러서는 남녀간의 실제적인 차이는 더이상 없다. (나이든 여성은 나이든 남자보다 더 경쟁적이겠지만, 확실하게 말하기에 이 연구에 데이터가 너무 적다.)
주류 UX 연구에서도 가끔 어린 사람과 나이든 사람 사이의 차이를 찾지만, 우리의 효과 크기(effect size*)는 이 게임 동기 연구에 비해 작다. (사용자가 나이듦에 따라, 웹사이트 사용 능력은 연간 0.8%씩 줄어든다.) 그리고 남녀 사용자간에 제보할수 있을 만큼의 차이를 보이는 것도 드문 일이다. 메뉴 디자인을 연구한다고 해보자. ’남녀간 주어진 메뉴를 어떻게 다르게 사용하는지’는 ‘UX 가이드라인을 준수한 메뉴와 형편없이 설계된 메뉴를 비교하는 것’에 비해 무시해도 될 정도로 의미가 없다.
효과크기(effect size): 연구되는 현상이 실제로 모집단에 존재하는 정도. 표본수 계산, 서로 비교가능하게 표준화된 수치
결론적으로 게임 유저 리서치 서밋은 최고의 전문가들로부터의 많은 통찰력있는 발표로 구성된 훌륭한 컨퍼런스였다. 주류 UX와 게임 UXR 둘 다 실제보다 서로가 더 다르다고 생각하겠지만, 우리 모두 주기적으로 두 분야의 주목할만한 유사점을 검토해야 한다. 해서 (주류) UX에서 사용되는 전통적인 방법에 과도하게 갇히지 않도록 해야할 것이다. 확실히 점점 설득력있는 (감성적) 웹 디자인이 중요해지고 있기 때문에, 주류 UX 리서쳐는 게임 UX 리서치로부터 방법론을 받아들일 필요가 있을 것이다.
