작살나게 의심하기
UT: User Test. 유저 평가 말고 유저가 평가
전편: https://brunch.co.kr/@blueingorange/131
중간에 하루 정도 D가 진행하던 프로젝트를 도와줬던 적이 있었다. D가 몸이 안 좋아서 하루 회사를 못 나온 적이 있었는데, D가 혼자 하고 있었던 프로젝트였다보니 하루라도 빠지면 일 진행이 곤란했다 보니 자연스럽게 D의 대타로 불려온 건 당연스럽게도 나.
G: 지금 하는 거 잠깐 멈추고, 오늘 하루만 D씨 도와주세요.
나: 뭐 어떤 걸요?
G: D씨가 갑자기 몸살이 났다 연락이 와서요. 어려운 건 아니고 사용자 스크리닝하는 거.
어쩜 이렇게 교묘하게 내가 조금 한숨 돌리는 타이밍에 부르는 걸까? 내가 반박도 못하게.
하긴. 팀장님이 능숙한 게 하루 이틀도 아니고.
D: (집에서 쉬고 있는 D에게서 슬랙으로 메시지가 왔다) A님, 제가 어제 양식 만들어놨는데 요거 참고해주시고 리스트에 있는 사람들 다 안 하셔도 돼요! 제가 내일 출근하고 나머지 이어서 할 테니까 A님은 시간 괜찮은 만큼만 해주세요!
나: 네, 뭐 얼마 안되네요
D: 아잉.
어차피 돕는 건 뭐 하루 정도였고... C는 프로젝트 리드이니 당연히 다른 프로젝트 때문에 자릴 비울 순 없으며, 운영과 프로젝트를 동시에 하는 B에게 맡기는 건 말도 안됐으며, D의 원래 파트너였던 E도 본인 프로젝트 때문에 바빴고, F는 애초에 논외였다. 그래서 막내인 내가 불려갔다.
D 일을 도와주면서 D가 양식을 만드는 방식을 많이 참고했다. 나는 워낙 혼자 작업을 했던 경우가 대부분이라 협업을 위한 양식을 만들어본 적이 없었고, 실제로 정직원으로 전환될 때 이런 점을 대표님께 자문했더니 이런 말씀을 듣기도 했다. '나중에 리드될 거 생각하면 협업을 할 때 어떻게 일을 보여주고 전달할 지도 많이 생각해둬야 한다'.
그럼, 많이 연습해둬야지...
G: 잘 마무리 됐나요? 몸은 괜찮고요?
D: 넵! A님이 완벽하게 다 끝장내버렸습니다!
G: ㅎㅎ
다음 날, D는 쌩쌩히 나아서 내가 도와준 부분을 감사히 받고 마저 자기 일을 하러 돌아갔다. 고마워할 줄 아는 사람은 좋다.
그래서 그런 사소한 몇 개의 사건이 지나가고, 나는 갑작스럽게 D와 친해졌다.
서로 별명으로 부르거나, 존칭을 생략해버리거나(?). 난 나 스스로 D한테 가면질 없이 그냥 말이 막 나가는 걸 느꼈다. 친구들한테 하는 것마냥 순간적으로 반말을 넘어 거친 말이 마구 나갈까 봐 나 스스로 입을 진정시켜야 했다. 사회생활은 참 어렵다. 나는 원래 '회사에서 만난 사람과 사적으로 친해지지 않는다'는 원칙을 처음부터 갖고 회사에 들어왔는데, D는 그 원칙을 좀 깨볼까 생각도 했었던 처음이자 마지막 사람이었다. 아마 C와 G 팀장님은 내가 명백하게 D를 좋아하는 걸 눈치챘을 거다.
개인적으로 원래도 D에 대해 궁금했던 점이 많기도 했다. 우리 회사에서 G 팀장님과 허물없이 잘 지내는 사람이 딱 둘, 나와 D밖에 없었기 때문이다. 다만...
D는 C의 팬이었다. 난 그래서 D한테 굳이 말을 걸지 않았었다. 원래는.
D: C님은 제가 원하는 모든걸 갖고 있음. 완벽한 여자. 제 워너비임.
C: 아이~
B: 맞아요.
저 무리에 내가 낄 거라고 예전엔 생각이나 했을까? 안 맞는 옷을 입은 것처럼 느껴진다.
그럼에도 C는 항상 나를 껴서 네 명의 무리를 고집했다. 나, C, B라는 1팀에 D까지 껴서 넷. C는 B를 제일 좋아했고, 그다음에 D. 그리고 아마도 나. 좋아서든, 관리 차원이든, 뭐 어느 쪽이든.
나도 결코 싫어하진 않는다. 조금 안 맞을 뿐이다. 그렇게 우리는 동시에 서로의 관계를 '회복'하기 위해 애를 쓴다.
C: (나를 가리키며) A씨 알고 보면 되게 매력 있지 않아요?
우리 부서끼리 간단하게 가진 회식 자리에서 C가 갑작스럽게 나를 가리키며, 부서 사람들 앞에서 나를 띄워주기 시작했다. 나는 조금 당황했다.
C: 알고 보면 귀여운 거 같아요. 취향도 맨날 확실하구.
B: 맞아.
나: 음...
나는 뭔가 어디선가 비슷한 장면을 본 것 같다. 내 착각일 수도 있다. 그게 아니라면 갑작스럽게 굳이 저런 말을 모든 사람 앞에서 할 이유가 없으니까. 시덥잖은 얘기나 뜬금없는 칭찬. C가 불편한 상황을 넘길 때 자주 하는 습관이다. 예를 들어서 자기를 공격하는 예민한 대리님 같은 불편한 사람을 상대할 때라던가.
아무 의심할 필요가 없다. 이상한 상황이 절대 아니다. 상사가 자기 부하를 예뻐하고 다른 사람들 앞에서 칭찬해주는 건 좋은 행동이다. 근데 왜.
알고 보면.
알고 보면.
알고 보면.
나는 입을 열지 않았다. 불편했다. 너랑 너랑 너랑 나랑 이 모든 상황이. 별로 진심 같지도 않았다. 자꾸 의도에 대해 생각하게 된다. 그리고 나는 원래 귀엽다는 칭찬을 안 좋아하기도 한다. 그걸 넘어서 내가 그녀에게 별 같잖은 과대망상을 자꾸 덧붙이게 되는 상황이 싫어서, 그냥 입을 다물고 다음 화제로 넘어가길 기다렸다.
그냥 우리 나란히 가자. 자꾸 섞이러 들지 말고.
C: 그 포켓몬 중에 뭐지? 되게 눈 크고 똥그란 애 있잖아요. 그 엄청 닮은 애 있는데.
B: 아니면 커비 어때요.
C: 아 얘도 귀엽다!
B는 C의 가스라이팅(?)에 속아 곧바로 동조해 C와 같이 나를 호감상으로 만들기 시작했다. B 입장에서는 같은 팀원 동기를 칭찬하는 데 마다할 이유가 없다(?).
나는 불편했다.
어쩌면 내가 처음부터 나 혼자 잘못 생각했을 수도 있고. 그래서 나는 더 깊게 생각하지 않았다.
그래, 그런 걸로 하자.
알고 보면 내가 이상한 거니까 용서해주세요.
요즘, G 팀장님이 우리 프로젝트에 관여하시는 일이 부쩍 줄었다. 그 이유는 D의 프로젝트가 본격적으로 유저 리서치 실행 단계에 돌입됐기 때문인데, D가 하는 프로젝트가 우리 프로젝트보다 진도가 더 빠르다 보니, 우리는 아직 UT 설계조차 하지 않았는데 D는 이미 사용자 20명 UT 스케줄을 전부 짜고 팀장님과 같이 인터뷰 순서를 논의하고 있었다.
G: 전 금요일엔 일정이 있어서, 토요일에 제가 할게요. 전 하루종일 해도 괜찮아요.
D: 넵, 전 금요일 괜찮습니다. 그럼 전 일요일에...
G: 일요일은 웬만하면 인터뷰 잡지 말고... 일주일에 하루 정돈 쉬어야 되니까. 체력 분배 잘하고. 시간이 별로 없어서 인터뷰 안하는 타이밍엔 Raw Data 정리를 병행해야 될 거 같아요.
인터뷰나 UT를 하는 경우엔 야근은 당연하거니와 주말에도 인터뷰를 하러 와야 할 때가 심심찮게 생긴다. 그 이유는 첫 번째로 '프로젝트 기한이 촉박할 때'와, 두 번째로 '사용자가 평일에는 잘 모이지 않음'이 있다. 사실 첫 번째 문제는, 에이전시는 기한이 촉박한 게 베이스라고 생각하면 되고...
두 번째 문제도 크다. 보통 사용자들은 회사를 다니고 있을 테니까, 퇴근 후의 평일 저녁이나 주말, 공휴일에 특히 사용자들이 몰린다. 누가 인터뷰 하나 하려고 귀중한 연차까지 써서 오겠는가? 그래서 리크루팅이 어렵다는 것이다. 특히 에이전시에서는 우리의 뜻대로 뭔가 결정할 수 있는 것들이 없다시피 하니까.
또 체력 이슈도 있다. 인터뷰 하나에 1시간 반 ~ 2시간 반까지 걸릴 수도 있는데, 시간 안에 물량을 소화하려면 하루에 세 번, 네 번까지 인터뷰를 연속으로 진행해야 할 때가 있다. 그러다가 작살이 나는 것이다. 그래서 보통 많은 인원의 인터뷰를 혼자서 진행하는 일은 웬만하면 많지 않고, 우리 회사의 경우는 인원이 별로 없다 보니 팀장님도 같이 껴서 인터뷰/UT를 진행한다. 회사에 UXer가 한 명밖에 없다면 어쩔 수 없지만...
이렇게 G 팀장님이 D의 프로젝트에 신경을 쓰고 있는 동안은, 우리는 우리가 알아서 프로젝트를 진행시키고 있다. 정말 중요한 의사결정이 오가는 회의 자리가 아니라 정기 보고 수준의 회의라면, 팀장님 없이 C가 클라이언트와도 회의를 전부 진행했다.
C: 우리는 뭔가 항상... 우선순위에서 밀려나는 것 같지 않아요?
C: 우리가 하는 플젝이 제일 큰 거 아닌가.
G 팀장님을 향한 C의 태도는 조금 오락가락했다. 가끔은 모순적이라고도 느꼈다. 팀장님을 무능한 취급을 하며 싫어하면서도, 팀장님이 개입을 하지 않으면 불안해했다. 자신이 다 진행하는 것에 뭔가 심적인 부담을 느끼는 듯했다. 처음엔 나는 C는 능숙한 사람이라 생각했기에 C의 부담을 이해하지 못했지만, 지금은 조금 이해하고 있다.
'혼자 판단하고 혼자 진행한다'라는 문제는 단순히 리소스, 체력의 얘기가 아니다. 혼자서 확신하고 전부 다 책임을 기꺼이 지겠다는 사람은 세상에 얼마 없다. 도움이 되고 안 되고 능력이 있고 없고를 넘어서, 같은 작업에 대해 의논할 수 있는 사람 자체가 없다는 건 무척이나 두렵고 힘 빠지는 일이다. 그리고 내가 상사에게서 배제되고 있다는 그런 야릇한 감정까지. 정당성.
그러다가 C의 와이어프레임 작업이 드디어 종료되었고, 추후 다음 스텝에 대해 논의하기 위해 오랜만에 G 팀장님까지 전부 모여서 대면 회의 자리를 가졌다. 팀장님이 회의에 참석하자, C는 자연스럽게 팀장님께 마이크를 넘긴다.
과장님: 아, G 팀장님. 오랜만입니다. 날씨도 더운데 오늘도 뜨거운 커피로 드시는군요. 변함없으십니다.
G: 제가 핫을 좋아해서요. 요즘 진짜 날씨 많이 덥지 않나요?
과장님: 그래서 요즘은 저도 그냥 반바지만 입고 다닙니다. 요즘은 다들 편하게 입고 다녀서 저도 편하더라구요.
대리님: 보내주신 와이어프레임 확인하였구요, 다음으로는 슬슬 UT를 준비해야 할 것 같은데요. 프로토타입 완성에 시간이 걸릴 것 같아 UT 설계는 지금부터 당장 시작이 되면 좋겠습니다.
대리님은 아주 빠르게 본론부터 들어갔다. 클라이언트 두 분의 역할은 아무래도 딱딱 이렇게 정해진 것 같다. 과장님은 아이스브레이킹 담당, 대리님은 본론 ONLY.
다만 대리님은 무뚝뚝한데 예민하기까지 한 다루기 어려운 공돌이시지만 회의 외적으로는 깍듯하니 참 친절하셨다. 내가 회의실에서 의자 정리하는데 갑자기 총알 튀어오르듯 등장해서 같이 노동해주시고, 난 참 성은이 망극했으며 대기업 고객사 귀하신 분에게 노동을 시켰다는 마음에 마음속으로는 좀 뿌듯했다.
대리님: 정리하면 메인 시나리오 하나, 서브 시나리오가 두 개 있어야 할 것 같고요. 그냥 앉아서 기능을 만져보는 게 아니라 사용자가 직접 달려보고 실제처럼 체감할 수 있게끔 시나리오가 만들어져야 할 것 같습니다.
그래서 드디어 다음 스텝인 UT 설계, 내가 맡게 될 임무에 대해 이야기해보자면...
UT는 인터뷰와는 질문의 성격이 다르다. 인터뷰는 유저 컨텍스트 파악에 가깝고, UT는 더 체계적인 실험이 되어야 한다. 리커트 척도(매우 좋음 ~ 매우 나쁨별로 1점부터 5점 등으로 나누는 설문 기준) 등을 적극 사용하며, 사용자의 답변을 정량적으로 측정하려는 시도가 많이 일어나는 것이 UT다. 측정 지표는 질문마다 통일되어야 하며, 사용자의 응답 피로도나 불성실성까지 고려하여 좀 더 전략적으로 질문이 구성되어야 한다. 질문끼리 물어보는 내용이 겹치지 않도록 상위 카테고리를 확실하게 구조화해야 하며, 클라이언트의 요구사항 폭탄을 빠짐없이 반영하는 건 필수다.
UX 세계에서는 심리학 실험만큼 논문 파도타기해가며 빡세게 질문 문항 하나하나의 타당도와 신뢰도를 고려하지는 않고 꽤 널널하다. 그렇다고 해서 대충 설계해도 된다는 뜻은 절대 아니다. 세세한 질문 워딩 하나하나를 강박증처럼 볼 필요는 없지만, '이 문항이 정확히 프로토타입의 어떤 점(e.g. 편리성, 학습용이성, 감성..)을 측정하는 지'는 명료해야 한다.
예를 들어, 서비스에 따라 직관성과 효율성이 중요한 서비스가 있고, 감성과 심리적 만족이 더 중요한 서비스가 있을 것이다. 거기에 맞게 문항을 추가하거나 변형하고 삭제하면 된다. 본인의 기준이 딱 정해져 있고 프로젝트 목표와 정렬이 돼있다면 UT 설계는 전혀 어렵지 않다. 어쨌든 중요한 건 본질이니까. 나보다 더 설명을 잘해주신 다른 작가분의 글을 가져왔다. (https://brunch.co.kr/@bcc5736f7b26444/13)
그 외 자세한 UT 및 유저 리서치 방법론에 대해서는, 누구나 아실 것 같지만 닐슨 노먼 그룹의 자료를 참고하시길 바란다. 이 닐슨 노먼 그룹의 짧은 3분짜리 영상(https://youtube.com/playlist?list=PLJOFJ3Ok_idtiMTz8fAiF1ElcKJM7Rncj&si=n78xM49VOO1ygR8E)들을 보는 게 도움이 되실 듯하다. 영어긴 한데 유튜브 자체 자막 자동 번역 기능 틀어두고 보면 된다. 3분짜리 영상이 130개 가량이 있는데, 지하철에서 심심할 때 1~2개씩 보는 용도로 사용하시면 엄청 유익한 시간을 보내실 수 있을 것 같다.
G: 네, 저희도 같은 생각으로 이미 역할을 분배해서 UT와 프로토타입 제작을 병행하고 있습니다. UT 질문지 설계는 피그마에서 실시간으로 진행할 예정이고, 피드백은 작업 중간중간에 보시면서 코멘트로 주셔도 됩니다.
대리님: AB Test도 몇개 필요할 것 같아요. 자세한 요청사항은 잘 정리해서 메일로 전달드리겠습니다.
G: 질문이 좀 많아서 UT 시간이 길어질 거 같긴 하네요. 최소 2시간은 잡아야 할 것 같은데.
그리고 웬만하면 에이전시의 경우, 사용자를 만날 일이 많지 않은 클라이언트들이 보통 십중팔구 '이 얼마 없는 기회에 최대한 뽕을 빼서 궁금한 모든 것들을 물어보자' 상태일 거기 때문에, 질문지도 거기에 맞게 초장문이 될 가능성이 높다. 그런 건 알아서 조율해야 한다. 왜냐하면 인터뷰 시간이 길어질수록 응답의 신뢰도가 낮아질 수밖에 없다. 힘드니까.
과장님: 프로토타입 관련해서 진행은 어떻게 하기로 되었나요? 저희도 중간 과정을 같이 볼 수 있는 형태로 제작이 되면 좋을 텐데요.
G: 이미 컨택은 완료했고, 초반부 작업 진행중입니다. 이제 다음 주서부터 저희 정기 회의 시간마다 다 같이 테스트하면서 디벨롭해나가면 될 것 같습니다.
과장님: 이 프로토타입은 이번에 만들고 끝이 아니고, 프로젝트 완료되면 저희 회사로 가져가서 다른 부서에도 공유할 생각이어서요. 그런 온보딩 같은 점도 고려해주시면 감사하겠습니다.
G: 네네, 그 점 잘 고려해서 제작해보도록 하겠습니다.
그래서 나는 UT 설계를, C는 프로토타입 설계를.
그렇게 잘 마무리가 되는 듯 싶었는데...
어느 날, 대표님께서 나를 호출하셨다. 직접.
대표실에 들어가니 대표님께서 이마에 손을 짚은 채 무척 골치 아픈 얼굴로 앉아있었다. 뭔가 분위기가 이상했다. 본능적으로 느꼈다.
대표님: A야, 예전에 E 프로젝트 도와줬던 거 기억나니? 지금 그쪽에 문제가 터졌는데 말야...
나: E님이요?
무슨 소리지?
대표님: Raw Data랑 보고서에 문제가 있다고 해가지고. 너는 그때 UT만 도와줬었지?
나: 네. 전 데이터랑 보고서 작업은 참여 안 했어요.
대표님: 지금 하는 거 많이 바쁘니?
대표님: 지금 E가 하는 보고서가 리콜이 돼가지고... 당분간 네가 보고서 작업 도와줘야 될 듯한데.