디자이너로서 성과를 증명할 수있는 검증 방법들
안녕하세요.
사람인 디자인실 바비입니다.
제가 오늘 말씀드리고 싶은 주제는 디자이너가 자신의 작업물을 어필할 수 있는 사용성 평가 검증 방법입니다. 대부분의 디자이너분들은 서비스를 개편 후 결과물에 대한 성과는 기획팀에서 제공해주거나 또는 GA를 통한 데이터로 "런칭 전 대비 서비스 SV(방문자수) 91.8% 증가하였다"로 성과를 간단히 증명하곤 합니다.
그 외 '디자인으로 사용성이 어떻게 개선되었다' 라고 검증하는데 개인의 성취감, 사내의 주관적인 의견이 근거로 타당할까? 의문이 들었습니다.
"디자이너로서 성과를 표현 할수 있는 검증은 무엇일까?"
올 6월에 개편된 사람인 IA를 통해 사용성 개선 검증을 위해 어떤 프로세스와 방법으로 진행했는지 소개해드리겠습니다.
검증방법을 소개하기 앞서, 사람인 IA를 개편하게 된 배경은 기존의 '채용정보' 탐색 위주의 GNB 스타일의 '채용정보 사이트' 이미지를 탈피하여 비즈니스 확장성을 고려하여 각 서비스의 이용가치를 증대시키기 위함이였습니다.
[메인 홈 GNB]
그리하여 [채용정보 탐색]부터 [합격]까지 구인구직 목적이 아니어도 방문할 수있고 [소통]하고 연결되는 IA구조를 통해 사람인의 새로운 시도와 개별 서비스의 아이덴티티를 명확히 전달할 수있도록 설계하였습니다.
[서브페이지 LNB]
좌측 LNB 기능이 제 역할을 하지 못하고 연결성이 부족하다고 판단되어 과감히 삭제하고 상단의 SNB로 재정립하였습니다.
[전체메뉴]
기존에는 메인과 서브가 상이한 전체메뉴를 제공하고 있어 매칭이 부족하였습니다.
그래서 모든 페이지에서 사용하는 전체메뉴가 동일한 UI로 제공하고자 하였습니다.
IA개편 전,후 사용성 평가를 위해 시도한 검증 방법들입니다
① GA(구글 애널리틱스) 데이터 수치를 통한 메뉴별 SV측정
② Survey(설문조사)를 통한 메뉴 이용 만족도 검증
③ UT(사용성테스트)를 통한 메뉴 탐색시간 비교
GA(구글 애널리틱스)를 통한 검증
GNB별 방문자수와 입사지원 수를 파악하여 고객 이용수가 얼마나 증가하였는지 검증하였습니다.
목적 : 개편 전, 후 서비스 이용수 확인
기준 : GA 기준, 평일 평균 데이터
범위 : PC GNB 위치 주요 서비스
일시 : (AS-IS) 5.18 ~ 5.31 / (TO-BE) 6.1 ~6.7
GNB서비스 SV(방문자수)
ㆍPC IA 재정비 이후 GNB에 위치하는 서비스 모두 SV, PV 큰 폭으로 상승
ㆍ채용정보 홈인 '지역별'의 경우 개편 전 대비 91.8% 증가
입사지원 수
ㆍ개편 전,후 PC 입사지원은 1.5% 소폭 상승했으나, 통합검색 31.6% 감소, 지역별 185.8% 증가
ㆍ통합검색에서 하락한 입사지원만큼 지역별에서 상승
주요서비스 사용률 - 채용정보
ㆍ기존 GNB메뉴에 위치하고 있던 지역별, HOT100 등 SV가 대폭 감소
ㆍ그러나 지역별 SV 91.8% 상승으로 결과적으로 채용정보 전체 SV는 43.1% 증가
Survey(설문조사)를 통한 검증
설문조사를 통해 사람인 IA를 이용하는데 얼마나 편리해졌지, 어느정도의 만족도를 가지고 있는지를 알아보았습니다.
목적 : 개편 전, 후 사용성/ 개선 척도 평가
기준 : PC 메인상단 GNB/ 전체메뉴
범위 : 개인회원 대상 설문조사 (623명 응답)
일시 : (AS-IS) 5.6 ~ 5.19 / (TO-BE) 7.8 ~7.21
사용성 검증
ㆍIA 의 개선포인트라고 정의한 직관성, 접근성, 편의성에 대한 상세한 질문을 도출하였습니다.
ㆍ각 질문별 만족도를 5점 만점으로 점수로 평가할 수 있도록 구성하였습니다.
직관성
ㆍ전체 평균점수 (AS-IS)3.54 → (TO-BE)3.81 = 7.63% 증가
접근성
ㆍ전체 평균점수 (AS-IS)3.48 → (TO-BE)3.78 = 8.62% 증가
편의성
ㆍ전체 평균점수 (AS-IS)3.45 → (TO-BE)3.75 = 8.70% 증가
전체만족도
ㆍ개편 후 메뉴를 한눈에 볼수 있고, 카테고리별 구분이 정리되어 정보가 찾기 쉽다
ㆍ전반적으로 4점에 가까운 만족스럽다
UT(사용성테스트)를 통한 검증
UT를 통해 메뉴구조를 원하는 페이지까지 도달하는데 얼마나 쉽고 편리해졌는지 알아보기 위해 탐색시간을 측정하고 플로우를 관찰하였습니다.
목적 : 개편 전, 후 탐색방법과 시간 측정 검증
범위 : PC 메인 상단 GNB / 전체메뉴
방식 : 설문조사 응시자 중 유형별 4명 선정 후 '구글MEET'을 통한 비대면 인터뷰 진행
일시 : (AS-IS) 5.26~5.31 / (TO-BE) 7.9~7.12
UT를 진행하기 앞서 설문 조사시 기본정보 질문을 통해 방문 빈도를 여쭤어보았습니다.
매일 방문/주 3회 이하/월 5 회 이하/자주 방문 안함 (한달이상) 기준으로 인터뷰 대상자 4명을 선출하였습니다. 공고를 탐색하고 기업을 알아보고 이력서 작성까지의 자연스러운 구직 플로우로 시나리오를 만들었고,
인터뷰 대상자에게 상황을 설명하고 해당페이지를 찾아보라고 지시하였습니다.
단, 탐색을 하면서 Think aloud(말하기) 기법을 요청드리면서 상황, 태도, 기분을 말로 표현을 부탁드렸습니다. 그리고 그 과정을 녹화하고 원하는 페이지를 도달하기 까지 소요시간을 측정하고자 하였습니다.
한개의 테스크를 진행한 후에는 쉬움의 정도를 5점 만점으로 평가하게 하였고, 왜 이렇게 진행하게 하였는지 5Whys 질문을 하며 문제점을 정확하게 파악하고자 하였습니다.
시나리오1
OOO님은 '개발' 직무로 중국에서 취업을 준비하고 있습니다. 사람인에서 경력과 직무에 맞는
공고를 보고싶은 상황입니다
Q1. '중국'에서 '신입'개발자로 지원하고 싶은 공고를 찾아보세요
시나리오2
공고를 찾다보니, IT개발자만 채용하는 공고만 보고 싶습니다.
Q2. 사람인에는 IT개발자 공고만 모아져있는 전문 채용관이 있습니다. IT전문 채용관 페이지를 찾아주세요
시나리오3
개발자로 취업을 원하는 OOO님은 개발직무의 연봉이 궁금합니다
Q3. ITㆍ웹ㆍ통신 업종의 평균 연봉 TOP5가 어떻게 되는지 찾아보세요
시나리오4
OOO님은 영상면접을 하기 위해 아이엠그라운드 서비스에서 면접 연습을 진행하려고 합니다.
서비스 이용 전 아이엠그라운드에 대해 자세히 알아보고자 합니다
Q4. 아이엠그라운드 소개페이지를 찾아보세요
시나리오5
OOO님은 회사에 지원할 이력서를 작성하려고 합니다.
그러나 지원하고자 하는 회사는 사람인 이력서가 아닌 자유 이력서 양식으로 지원해야합니다.
Q5. 사람인에서 제공하는 무료 이력서 양식을 다운받을 수 있는 페이지를 찾아보세요
이렇게 모든 TASK가 끝나면, 진행을 하면서 어떤 부분이 제일 어려웠는지, 불편한점이 무엇인지, 추가로 개선하고자 하는 바램이 있는지 등의 추가 질문으로 마무리를 하였습니다. UT의 경우 여기서 끝이 아니라 모든 의견들을 모아 급하지 않거나 목적에 맞지 않는 내용은 과감히 삭제하고 그룹핑하여 인사이트를 정리해야합니다.
EX) 메뉴별 평균적 탐색 시간 12초 단축 (AS-IS 1분 15초 → TO-BE 1분 33초)
개편된 메뉴구조 간소화되어 보기 쉽고 빠른 메뉴 탐색 가능.
그러나 서비스 FLOW는 지속적인 개선 필요.
이번 사용성 검증 방법을 진행하면서 참고하면 좋을 몇가지 포인트들이 있었습니다.
설문조사를 통한 검증시
개편 후 만족도를 검증하고 싶다면, 꼭 개편 전의 캡쳐이미지나 참고할만한 url이 필요하다는 점이었습니다.
문구로만 '개편 전과 비교하여 만족도를 선택해주세요' 라고 하면 사용자는 개편전이 어떠하였는지 자세하게 기억하지 못합니다. 대략적으로 분위기는 변한것 같고 사용해보니 편리하다, 불편하다의 전반적인 느낌이기 때문에 꼭 참고 할수 있는 이미지가 있다면 비교 평가하는데 도움이 된다라는것 입니다.
UT를 통한 검증시
인터뷰 대상자의 충성도나 나이도 고려해보면 좋을것 같습니다.
해당서비스의 주 이용자의 나이대보다 너무 어리거나 높다면, 주어진 시나리오(상황)를 제대로 파악을 하지 못해 진행하는데 반복적인 설명이 필요하였고, 충성도가 매우 높으신 분의 경우 제시한 내용을 수행하지 못하였더라도 "그래도 사람인이니깐" 이라는 무조건적 충성심으로 점수를 객관적으로 주지 못하였습니다.
또한 메뉴를 통해 원하는 페이지에 편리하게 도달가능한지 파악해야하기 때문에 검색을 이용하지 말아달라는 제한을 두기도 하였습니다. 메뉴를 통해 원하는 페이지로 가는 경로가 얼마나 쉬운지 판단해야하는데 무조건 검색을 이용하여 빨리 수행하고 싶어하는 인터뷰 대상자분들에게 제한을 두는 과정에서 진땀이 난 경험이 있네요; 그래서 UT 진행하기 전, 원하는 검증 목적이 무엇인지 따라 사용할 수 있는 기능에 대한 제한이 어느정도 필요하겠다라고 생각하였습니다.
우리가 고민하여 작업한 결과물들이 GA데이터를 통해 방문자 수로 검증하는 것도 좋지만 사용성 측면에서 검증할 수 있는 계획을 세우는것도 필요한 것 같습니다. 작업 하기 전 서비스의 방향성과 목표를 세우듯이 리서치나 인터뷰를 수행할때 검증도 함께 고려하여 진행한다면 추후 결과물에 대한 성과를 근거 있고 객관적으로 검증할 수 있다고 생각합니다. 검증을 하는데 많은 도움을 주신 디자인실 동료분들과 담당 기획자분께 감사인사드립니다.
앞으로 더 나은 구직경험을 제공하기 위해 사람인 디자인실에서는 알.잘.딱.깔.센 하게 시도해보고 개선하기 위해 노력하고 있습니다 � 다양한 피드백과 많은 관심 부탁드립니다. 감사합니다.
