데이터 드리븐 콘텐츠 두번째: 가설 검증의 기초
데이터 중심으로 콘텐츠 만들려면 (2)
지난 콘텐츠에서는 데이터 중심으로 콘텐츠 만드는 방법의 가장 첫 단계를 전했다. 관찰하고, 기록하고, 패턴을 발견하라는 것이다. 자신이 운영하는 미디어의 데이터가 어떻게 나오는지 알아야 데이터 중심으로 사고하는 일에 첫걸음을 뗄 수 있다.
이런 작업을 지속하다 보면 욕심이 생긴다. 데이터 성과를 더 올릴 수 있을 것 같은 자신감이다. ‘어, 이런 콘텐츠 계속 만들면 평균 조회수가 올라가겠는데?’ 하는 식의 생각이다. 그리고 실제 행동으로 옮겨 결과를 확인한다. 이런 과정을 스타트업에서는 ‘가설과 검증’이라고 한다.
이번 아티클에서는 스타트업에서 콘텐츠 만들 때 가설을 세우고 검증하는 방법에 대해 가이드한다.
가설-검증의 첫걸음: 편한 마음으로 가설 세우기
가설을 세우고 검증하는 과정에 대한 소개는 무수히 많다. 실리콘밸리 사람들이 쓴 아티클과 과학 연구실에서 사용하는 연구 방법론 등 다양하다.
무엇을 가지고 이야기해도 상관없지만, 처음부터 그들이 안내하는 수준으로 접근하면 이 프로세스를 배우기 너무 어렵다. 흥미가 금세 떨어지고 의욕이 사라진다. 내가 딱 그랬다. 가설문 쓰는 문법을 엄격하게 지키려다 보니, 가설을 잘 세우는 데 몰두했다. 질문을 품고 확인하는 과정을 느끼는 즐거움과 멀어졌다.
가설-검증 방법론을 재밌게 익히려면, 일단 가설을 편하게 하나씩 세워보는 것을 권한다. 인트로에서 언급한 ‘~하면 ~ 하겠는데?’ 같은 식의 생각이 가설을 짜는 첫걸음이다. 어떤 행동을 했을 때, 이에 따라 어떤 변화가 나타나리라고 추측하는 것이다. 일상에서도 쉽게 찾을 수 있는 사고법이다. 국을 끓이다가 싱거울 때 ‘소금을 한 숟갈 더 넣으면 간이 맞겠는데?’ 하고 생각하는 것이면 충분하다.
이런 식의 사고법을 콘텐츠 운영에도 도입할 수 있다. 그간 데이터를 관찰하고, 기록하고, 인사이트를 발견한 것에서 출발하면 된다. 예를 들어 환경을 주제로 한 콘텐츠를 발행했을 때 조회수가 유독 높았다면 ‘환경 콘텐츠를 발행하는 비중을 높이면 평균 조회수가 올라갈 것이다’ 하는 식으로 가설을 짜는 것이다.
이쯤 되면 가설을 짜는 문장에 특정한 패턴이 있음을 발견할 수 있다. 교과서에 나올 법한 느낌으로 문장화해보자면 이렇다. ‘A라는 변화를 주면 X라는 결과가 나오겠는데?’ 이런 구조로 다양한 분야에 가설을 세우는 습관을 들이면 좋다. 일상생활의 일부분이든 콘텐츠의 구성 요소든 ‘가설화’ 문장으로 바꾸는 연습을 하면, 추후에 심화된 방법으로 가설문을 짜더라도 어렵지 않게 업무에 적용할 수 있다. (나중에는 가설-검증 정석을 지키며 일해야 한다.)
가설-검증의 2단계: 세운 가설을 검증해보기
가설을 세웠으면 검증해야 한다. 가설(假說)은 한자 그대로 가정에 불과한 말이기 때문이다. 실제로 변화가 생기는지 행동으로 옮겨 확인해야 한다. 가설이 질문을 품는 일이면 검증은 시간과 노력을 들여 질문의 실체를 확인하는 일이다.
앞서 언급했던 국 끓이던 예시로 돌아가보자. ‘소금을 한 숟갈 더 넣으면 간이 맞을까?‘ 하는 가설을 검증하기 위해서는 가설 그대로 행동하면 된다. 간이 맞으면 가설이 검증된 것이다. 반면 여전히 싱겁거나 조금 짜졌다면? 가설 검증에 실패한 것이다.
콘텐츠 데이터도 마찬가지다. ‘환경 콘텐츠를 발행하는 비중을 높이면 평균 조회수가 높아질 것이다’라는 가설을 세웠으면 실행해보고 실제로 높아지는지 측정하면 된다. 그래서 평균 조회수가 올랐다면 환경 콘텐츠의 효과가 입증된 것이고, 아니라면 왜 가설이 어긋났는지 돌아봐야 한다.
가설-검증의 3단계: 가설 수정하기&보완하기
가설 검증에 실패했다고 실험을 멈추면 안 된다. 가설을 다시 짜거나 수정하고, 검증하는 과정을 통해 원하는 데이터 상승에 가까워져야 한다. 소금을 한 숟갈 넣었는데 간이 안 맞는다면 ‘그럼 한 숟갈 더 넣으면 이제는 간이 맞겠지?’ 하는 것이다.
앞서 언급한 환경 콘텐츠와 조회수 사이의 관계를 예로 들어보자. 가설을 검증하기 위해 발행한 환경 주제 콘텐츠가 평균 조회수 상승에 기여하지 않았다면, 개별 콘텐츠의 조회수를 살펴봐야 한다. 환경 콘텐츠 전체의 데이터 기여도는 떨어질 수 있지만, 각 콘텐츠의 효과는 다를 수 있기 때문이다.
각 콘텐츠의 조회수를 살펴보니 다음과 같은 결과가 나왔다고 가정하자.
비거니즘과 동물권이 주제일 때: 457
탄소중립과 국제사회의 약속이 주제일 때: 203
정확한 재활용 분류법이 주제일 때: 550
팜유와 플랜테이션이 주제일 때: 242
해외여행과 온실가스가 주제일 때: 401
데이터를 통해 이런 인사이트를 얻을 수 있다. ‘환경 콘텐츠 전체가 아니라, 일부 콘텐츠의 조회수가 낮은 편이구나!’ 그렇다면 다음 가설은 환경 카테고리 내에서도 특정 주제로 좁혀 세워야 한다. ‘정확한 재활용 분류법을 알려주는 콘텐츠를 5회 시리즈로 제작한다면, 평균 조회수 상승을 이끌 수 있을 것이다’ 같은 식이다. 이를 통해 실제 데이터가 상승하는지 다시 검증하면 된다.
가설-검증의 4단계: 가설-검증-가설 수정-검증을 반복하기
가설을 세울 때 한 번에 검증되면 좋겠다고 기대하곤 한다. 하지만 이 과정은 한 번에 되는 것이 중요한 게 아니다. 실패한 결과물을 토대로 다음 행동에 나서서 원하는 변화에 가까워지는 것이 가장 중요하다. 검증에 성공한 것은 기억하고, 실패한 것은 반복하지 않으면서 명중률을 높여나가는 것이다.
한 가지 테마의 세부 가설에 대한 검증을 마쳤으면 다른 테마를 중심으로 가설-검증 프로세스를 반복할 수 있다. 환경 콘텐츠와 조회수의 관계를 알아낸 다음 경제·테크 등의 콘텐츠와 조회수의 관계를 검증하는 것이다. 물론 이때도 그간 쌓아온 데이터 기록 및 인사이트를 중심으로 가설을 세워야 한다.
스타트업에서는 이런 일을 수없이 반복한다. 가설을 세우고 검증하는 과정을 ‘이터레이션을 돌린다’고 표현하며, 이 과정을 최소한의 비용으로 진행해 회사의 성과에 가장 큰 임팩트를 주는 콘텐츠와 데이터 상승의 합을 알아내야 한다. 그래야 로켓 성장 하기 위한 성공 방정식을 알아낼 수 있다.
마치며
이번 아티클에서 언급한 과정은 가설-검증의 기초에 해당한다. 가설을 세우고 이를 검증하는 것에 익숙해지는 데 초점을 뒀다. 실제 업무에서는 가설을 선정하는 기준도 엄격하고, 가설-검증문도 촘촘하게 짠다. 다음 아티클에서 다룰 예정이다.
실패해도 된다는 마음가짐이 가장 중요하다. 그래야 더 대담하게 실험을 벌일 수 있고, 실패 경험을 자산으로 쌓을 수 있기 때문이다. 차후에 비슷한 가설을 검증하는 데 시간과 노력을 쏟지 않도록 막아준다. 앞으로 다양한 아티클에서 가설과 검증 과정을 언급할 텐데 실패해도 된다는 말을 제일 먼저 떠올리면 좋겠다.
