스타트업 실험, 그거 도대체 어떻게 하는 거야?
마이플랜잇팀은 이렇게 실험을 합니다.
이런 분이라면 재밌게 읽을 수 있어요!
1. 실험을 이론으로만 알고 있는 분
2. 실전 실험 사례를 보고 싶은 분
2. 전문성을 기르고 싶은 PM
목차
1. ToDo, 따라만 하세요! 마이 플랜잇
2. 설문 조사로 방향 잡기
3. 뚝딱뚝딱, 광고 실험 설계하기
4. 누구나 만드는 실험 환경
5. 실험이 끝났다면?
ToDo, 따라만 하세요! 마이플랜잇
마이플랜잇(My Planit)이란 서비스를 친구들과 만들고 있다. 많은 사람이 목표를 세우고, 이루고 싶어 한다. 하지만, 목표 달성을 이루는 사람은 극히 드물다. 이 문제는 뭘까? 우리 팀의 답은 '시작하는 게 힘들다'였다.
시작하는 순간에 느끼는 어려움, 부담감이 도전을 주저하게 만들고, 목표를 이루기 힘들게 만든다. 이 문제를 해결하기 위해, 따라만 하면 되는 전문가의 ToDo 서비스, 마이플랜잇을 시작했다.
서비스는 거의 다 만들고, 배포를 앞두고 있다. 그러나 여기서 드는 한 가지 의문점! 사람들은 어떤 목표를 이루고 싶어 할까? 마이플랜잇은 유저가 원하지만 쉽게 달성하지 못한 '목표'에 집중해야 한다. 유저가 원하지도 않는 목표에 집중하지 못한다면, 마이플랜잇은 의미가 없는 서비스가 된다.
유저가 원하지만 달성하지 못한 목표는 무엇일까? 이걸 어떻게 알 수 있을까? 답은 실험밖에 없다. 필자는 린하게 일하는 걸 좋아한다. 그리고, 린(Lean)의 핵심은 "모든 액션은 실험을 위해 존재한다"다. 오직 실험을 해봐야지 많은 걸 알아낼 수 있다. 워워... 실험이라고 너무 겁먹지 말자! 생각보다 간단하다 아마도? 마이플랜잇 팀이 어떻게 실험을 했는지 본다면, 당신도 할 수 있다!
마이플랜잇 서비스가 재밌어 보인다면, lms961213@naver.com로 연락 주세요!
설문 조사로 방향 잡기
1. 정성 데이터 위주로!
처음에 커뮤니티에서 설문 조사를 진행했다. 엥? 설문 조사? 객관식 답을 받는 게 유효해? 설문 조사라 할지라도, 정성 데이터를 위주로 받는다면, 인사이트를 얻을 수 있다. 사람들이 평소 어떤 목표를 세웠고, 어떤 걸 실패했는지 등을 묻는 구글 폼을 만들고 배포했다.
2. Konlpy와 정성 데이터 분석
수집한 정성 데이터는 어떻게 분석할까? 어피니티 다이어그램을 사용해도 좋지만, 모수가 너무 많다. 하지만 걱정 말자! 우리에겐 코딩이 있으니깐! Konlpy 라이브러리를 이용하면, 수집한 정성 데이터를 빠르게 분석할 수 있다. (Konlpy를 활용한 정성 데이터 분석 방법을 더 자세히 알고 싶다면, 이 링크를 참고하자!)
Konlpy로 정성 데이터를 전처리하고, 빈도수 분석을 통해 사람들이 가장 많이 응답한 목표가 무엇인지 분석했다. 빈도수 분석 결과, '운동', '취업', '학점 관리', '영어 공부', '습관 개선', '취미 생활'이 사람들이 가장 원하는 목표임을 확인했다.
뚝딱뚝딱, 광고 실험 설계하기
1. 실험 설계, 진짜 진짜 중요합니다
6가지 목표 유형 중에서 어떤 영역이 고객이 가장 원하는 것일까? 이번에는 광고 실험을 진행하기로 했다. 실험은 생각보다 간단하다. 각 카테고리에 해당되는 유저군을 정의하고, 각 유저군마다 맞춤형 광고를 집행하면 된다. 광고를 보고 들어오는 비율이 많을수록, 마이플랜잇이 잘 워킹함을 유추할 수 있다.
그렇다고, 광고 집행만으로 끝내면 안 된다. 이 실험의 핵심은 "각 실험군에서 실제로 마이플랜잇 서비스에 관심 갖는 사람이 얼마나 되는가?"를 알아내는 게 핵심이다. 광고에서만 끝낸다면, 이를 알아내기 힘들다. 예시를 들어보자. 광고를 본 유저 100명 중 20명이 들어왔다고 해보자. 그렇다면 CTR은 20%로 미친 수치가 나온다. 하지만, 이 CTR이 서비스에 정말로 관심이 있는가를 보여줄까?
유입 유저 20명 중에서 사이트를 둘러보지 않고 나간 사람이 20명이라면? CTR은 20%가 나왔을지라도, 사실상 마이플랜잇이 잘 워킹할 것이라 판단하기 힘들다. 이처럼 광고를 보고 들어왔지만, 바로 이탈해버리는 유저도 고려해야 한다. 광고 실험은 이를 반영하지 못한다.
처음부터 실험 기획을 잘못하면, 모든 게 망한다.따라서, 각 실험군이 (1) 광고를 통해 얼마나 들어왔고 (2) 유입 유저 중에서 사이트에 관심을 가진 비율도 얼마나 되는지 봐야 한다. 이를 위해, 랜딩 페이지에 하위 페이지로 어떤 todo 플랜이 제공되는지를 보여주는 예시 페이지도 함께 제작했다. 만약 서비스에 관심 있는 유저라면, 세부 페이지까지 둘러볼 것이다.
실험 스케치안
완성된 결과물! 사랑해요 디자이너!2. 실험 재료는 적당하게
"모든 액션은 실험을 위해 존재한다." 린 스타트업에서 나온 말이다. 이처럼, 랜딩 페이지의 목적은 실험이므로, 코딩을 하나하나 자세하게 할 필요는 없다. 리소스를 최대한 줄이기 위해, 하나의 이미지를 때려 박아서 랜딩 페이지를 제작했다. 아래 사이트 HTML을 보면, 각 페이지 모두가 1개의 이미지로 구성됨을 볼 수 있다.
누구나 만드는 실험 환경
1. 필요한 데이터를 수집할 수 있나요?
실험 재료인 광고물과 랜딩 페이지를 만들었으니, 이제 실험 데이터를 수집할 수 있는 환경을 만들어야 한다. 이번 실험을 위해선, 서로 다른 실험군 별로 어떤 반응을 보였는지 알아내는 것이다. 즉, (1) 각 실험군 별로 광고가 집행되며 (2) 사이트에서 데이터를 수집할 수 있어야 하고 (3) 이 중에서도 실험군 별로 데이터를 분류할 수 있어야 한다.
각 실험군 별 데이터를 GA에서 확인하는 모습GA와 페이스북 비즈니스 슈츠를 사용해서 위 환경을 만들 수 있다. 페이스북 비즈니스 슈츠를 사용해 각 실험군 별로 광고를 집행하고, GA를 통해 서로 다른 광고를 통한 유입 유저의 데이터를 집계 및 조회할 수 있다. 사실 메타로 이름이 바꼈으나, 아직 페이스북이란 이름이 더 친숙해서...
2. 맞춤 타겟과 광고
페이스북 비즈니스 슈츠를 통해 조건 (1)인 '실험군 별 맞춤 광고'를 집행할 수 있다. 광고 관리자에 접속한 후, 집행할 광고를 만들 수 있다. 페이스북 광고를 집행하려면, [캠페인], [광고 세트], [광고]을 설정해야 한다. [캠페인]에선 광고의 목표를 설정하고, [광고 세트]에선 광고를 게재할 방식을, [광고]에선 보여줄 광고물을 설정한다.
[캠페인], [광고 세트], [광고]의 이해를 예를 통해 알아보자 여름 신규 이벤트를 위한 홍보 광고를 집행한다고 해보자. 그렇다면 [캠페인]은 '여름 신규 이벤트 홍보'가 된다. 광고도 타겟에 따라 달라진다. 20대 남성과 20대 여성은 후킹하는 포인트가 서로 다르다. 이 때 '20대 남성'과 '20대 여성'이 [광고 세트]가 될 수 있다. 이 중에서 20대 남성에게 보여주는 광고물 시안도 여러 개가 나올 것이다. 이러한 광고물 시안을 [광고]라고 보면 된다.
즉, 실험군 별 맞춤 광고를 하기 위해서 (1) [광고 세트]에서 각 실험군을 설정하고 (2) [광고]에서 이에 맞는 광고물을 설정해야 한다. 아래의 [습관 형성 광고 세트]에선 습관을 만들기 원하는 실험군을 광고 타겟으로 설정하고, [습관 광고]에서 해당 타겟에 맞는 광고물을 설정한 걸 볼 수 있다.
그렇다면, [광고 세트]에서 실험군을 어떻게 설정할까? [광고 세트]를 보면 인구통계학 정보인 [연령], [성별]과 더불어 [상세 타겟팅]을 볼 수 있다. [상세 타겟팅]에선 [일치하는 사람 포함]과 [추가 조건] 필드를 볼 수 있는데, 이를 잘 설정해야지 원하는 실험군에게 광고를 노출 시킬 수 있다. [일치하는 사람 포함]은 합집합, [추가 조건]은 교집합이라고 보면 된다.
예시를 들어보자. '동기 부여', '시간 관리'라는 키워드를 [일치하는 사람 포함]에 설정됐다면, (1) 동기 부여에 관심 있는 사람과 (2) 시간 관리에 관심 있는 사람 모두에게 광고가 노출된다. 반대로 [일치하는 사람 포함]에 '동기 부여'를, [추가 조건]으로 '시간 관리'를 설정한다면, 동기 부여에 관심 있는 사람 중에서 시간 관리에도 관심 있는 사람에게 광고가 노출된다.
3. 데이터 수집 환경
사이트에 GA를 삽입하면, 조건 (2)인 '데이터 수집 환경'을 만들 수 수 있다. GA에 로그인 한 후, 속성을 생성해서 추적 코드를 발급 받고 HTML에 심어 놓으면 끝이다. 참고로 GA를 보면 '계정'과 '속성'의 개념이 있을텐데, 쉽게 말하면 '계정'은 여러 서비스를 관리하는 조직(ex.회사), '속성'은 각각의 서비스(ex.웹 사이트)로 보면 된다.
4. 실험군 별로 수집하는 데이터
조건 (3)인, '실험군 별 데이터 수집'을 위해선 각 광고마다 매개 변수를 설정해야 한다. 매개 변수를 설정하면, GA에서 유저가 어떤 광고를 통해서 들어왔는지 확인할 수 있고, 세그먼트를 만들어서 데이터를 분류해서 조회할 수 있다. 원리는 생각보다 간단하다. 광고가 집행되면, 해당 광고의 URL이 생성된다. 이 때, 추가로 등록한 매개 변수가 URL의 뒤에 붙는다. GA는 유저가 유입될 때, 어떤 URL을 통해 들어오는지 확인하는 데, 여기서 매개 변수가 유저의 유입 패턴을 표시한다.
인스타 광고라면, 인스타에서 비즈니스 계정을 생성하고 바로 집행할 수 잇다. 하지만, 이러한 경우에는 매개 변수 설정이 불가능하다. 광고마다 매개 변수를 설정하기 위해선, 페이스북 비즈니스 기능을 사용해야만 한다. 페이스북 비즈니스에서 광고를 만들 때, [광고]에서 URL 매개 변수를 추가할 수 있다.
(좌) 페이스북 비즈니스 기능 (우) GA로 실험군 별 데이터 집계 실험이 끝났다면?
1. 분석, 그리고 또 분석
실험 데이터를 보면, 꽤나 재미있는 결과가 나왔다. 흔히 광고 CTR이 높으면 유저가 서비스에 관심이 있다고 생각한다. 하지만, 광고의 반응과 사이트의 반응이 서로 반대되는 모습을 확인할 수 있었다. 광고 CTR이 상대적으로 높은 실험군이 오히려 사이트에 가장 적은 DT를 보였다. 반대로 CTR이 낮은 실험군은 사이트에 더 많은 시간을 보냈다. 이 현상을 이해하기 위해 데이터를 추가 분석했고, 앞선 모습은 사실임을 확인했다. CTR만 보고 실험을 끝맺었다면, 전혀 엉뚱한 결론에 도달할 수 있었던 셈이다.
2. 더 빠른 실험을 위해
스타트업은 실험의 연속이다. 그렇다고, 무지성 실험을 반복하면 안 된다. 이전의 실험에서 얻은 인사이트로 다음 실험을 기획하고, 실험에서 어떻게 데이터를 수집 및 분석할지도 고민해야 한다. 더 많은 실험을 하기 위해선 무엇이 필요할까? 답은 간단하다. 실험을 빠르게 할 수 있는 프로세스를 만들면 된다. 아래와 같이 재생산이 가능한 광고 콘텐츠 가이드라인을 만들면, 여러 번의 광고를 더 빠르게 돌릴 수 있다. 물론 디자이너가 갈리긴 하겠지만...
3. 복기
스타트업 PM은 배울 것이 끝없이 많다. 실험 환경도 만들 수 있고 데이터도 분석할 줄 알아야 하며, 빠른 실험을 위한 프로세스도 고민해야 한다. 필자는 이를 위해 GA, GTM 등을 사이드 프로젝트에 직접 도입해서 공부했고, 데이터 분석 강의를 학교에서 청강하거나 놀랍게도 필자는 아직 화공과 대학생 신분 책을 사서 독학하고 있다. 이 모든 걸 다 하기 위해서 공부할 것도 많지만, 이 모든 걸 다 할 수 있는 사람이라면 누구보다 빠르게 실험하고, 큰 재미를 느낄 수 있을 것이다.
세상의 모든 PM을 응원한다! (출처 : <위대한 개츠비>)+ 교수님 제발 이번 막학기 F만 주지 마세요... 졸업 못해요...
회사 오피스 툴에 능숙한
일잘러가 되고 싶다면?
