왜 우리 회사는 실험을 안하는지 궁금한 디자이너에게
"가설을 세우고 검증하는 실험을 반복한다"스타트업의 문화에 단골로 등장하는 말이죠.
많은 책, 강의, 칼럼에서도 이야기 하고 있고요.
그걸 본 대다수의 프로덕트 디자이너들은 이렇게 생각합니다.
"왜 우리 회사는 데이터도 없고, 제대로 된 실험도 안하지?
여기선 성장이 불가능한가?"
그래서 냉정하게 말할게요.
당신의 회사만 그런게 아닌 대다수의 스타트업 현장에서 이 단어들, 제대로 쓰이지 않습니다.
이유는 이렇습니다.
실험은 과학 연구실에서 나온 단어입니다.
통제된 환경에서 의도된 변수만 바꿔가며 결과를 지켜보는게 정석이죠.
그래서 변수 제어를 철저하게 합니다.
그러나 비즈니스 현장에서는 변수를 제어할 수 없습니다.
A안을 보는 유저는 직장인인데 B안을 보는 유저는 학생이라면 이미 실험의 공정성은 깨진 겁니다.
버튼 색상 때문이 아니라 그들의 '지갑 사정'이나 '사용 시간대'가 지표를 결정해 버리니까요.
또한 시장 상황 자체가 거대한 변수입니다. 실험 설계를 아무리 잘 해도 갑자기 전쟁이 터져 자재 수급이 안되거나 정부 정책이 바뀌어 사용자의 심리가 달라질수도 있죠.
이런 상황에서 '실험 결과 버튼 위치가 A보다 B가 더 사용률이 높다'라고 하기엔 그 결과에 무엇이 영향을 줬는지 제대로 알 수 없습니다.
실험은 축적의 과정입니다. 실패한 가설에서 배운 점을 기록하면 다음 가설의 밑거름으로 쓰이죠.
연구실에서는 철저한 문서화와 엄격한 아카이빙이 시스템으로 작동하기 때문에 사람이 바뀌어도 가설은 이어집니다.
그러나 스타트업 현장에서는 사람이 바뀌면 가설도 증발합니다. 가설을 세우고 실험을 설계한 기획자나 디자이너가 퇴사하면 새로 온 사람이 이걸 이어 받아서 해야 하는데 정작 그 사람은 전임자가 '왜 이런 삽질을 했는지, 거기서 뭘 배웠는지' 모릅니다.
아, 다 기록해두고 누가 알려주면 되지 않냐구요?
모두 다 기록해놔도 당시의 비즈니스 우선순위, 당시의 시장 상황, 유저의 심리 상태, 팀 내 의사결정 맥락까지 글자로 다 담을 수는 없기 때문에 사실상 불가능합니다.
그렇게 또 다른 누군가가 또 다른 삽질을 시작합니다.
결국 회사는 똑같은 실패를 다른 사람이 이름만 바꿔서 반복합니다.
가설과 검증이 반복되는 실험은 사실 서비스의 기틀을 잡아야 하는 초기 스타트업일수록 필요합니다.
어디로 튈지 모르는 고객을 잡으려면 끊임없이 가설을 던져봐야 하니까요.
그런데 여기서 지독한 역설이 발생합니다. 정작 그런 초기 단계의 회사는 데이터를 쌓아줄 사용자도 (아직) 없고 실험 결과를 느긋하게 기다릴 돈도 (아직) 없습니다.
이론적으로는 실험이 성립하려면 수천, 수만 명의 표본을 기다려야 하지만 현실의 스타트업은 당장 다음 달 생존을 걱정해야 합니다.
충성 고객이 넘쳐나서 며칠만 돌려도 금방 결과를 볼 수 있는 대기업이 아니라면 대다수의 스타트업에서 실험이란 '기다림'이 삭제된 '말 뿐인 실험'이 됩니다.
그렇다 한들 대기업이라고 해도 위의 (1)번과 (2)번에서 자유로울 수 없습니다.
아무리 유저가 많아도 통제 불가능한 시장 변수는 똑같이 들이닥치고 조직이 비대할수록 히스토리 단절은 더 심각하게 일어나니까요.
그럼 사용자 경험을 설계하는 사람들은 데이터 활용을 포기해야 할까요?
10%의 대기업, 유니콘 스타트업이 아닌 90%의 일반 스타트업에 다니는 UXUI 디자이너, 프로덕트 디자이너는 채용공고에 떡하니 써있는 '정성,정량 데이터로 사용자 경험을 설계하고 비즈니스 목적과 정렬할 줄 아는 사람'이 되는 것을 포기해야 할까요?
아니요. 그럴리가요. 그저 다르게 배워야 할 뿐입니다.
그럴수록 환경을 탓하는 대신 이런 환경의 차이를 정확히 알고 데이터를 읽어내는 법을 배워야 합니다.
가설 검증을 포기하는게 아닌 정답 없는 환경에서 <최선의 근거>를 찾아내 리스크를 줄이는 진짜 실력을 길러야 하죠.
스타트업이 이런 상황에서도 가설, 실험, 검증 이 세개의 단어를 포기할 수 없는 것도 비즈니스 리스크를 줄이고 기회를 만들어내기 위함이니까요.
■ 브런치의 '작가 소개'에서 확인하기 : brunch.co.kr/@lanlan77#info
■ 스레드에서 란란의 가치관이나 수업 후기 확인하기 : threads.com/@ux.lanlan
■ '데이터 삽질 끝에 UX가 보였다' 책에서 엿보기 : 책 구매하러 가기 >
■ 데이터리안에서 진행한 세미나 : https://datarian.io/seminar#26a9463d984d8054bf79e4d6d2cfa8d2
■ 이메일로 소통하기 : lanlan.class@gmail.com
■ 란란클래스 공식 홈페이지 : http://www.lanlanclass.com