초보의 계속되는 삽질 데이터분석
Facebook의 광고를 집행하고 결과가 나오면 광고관리자를 통해 여러 형태로 데이터를 취합할 수 있다. 지난번에 실행했던 광고 데이터를 가지고 해본 AB test는 재미있었다. 이미 페이스북 광고를 실행할때 결과만 봐도 타겟을 수동으로 취해서 진행한 광고의 결과가 더 좋다는 것을 알 수 있었지만 샘플을 만들어서 돌리고 통계적으로 정말 유의미하다는 것까지 확인할 수 있는 좋은 기회였다.
그래서 페이스북 광고를 진행할때는 무조건 수동으로 정한, 페이스북의 추천이 아닌, 타겟에만 광고를 하기로 했는데 그 다음이 궁금해졌다. 다른 분석을 통해서 뭔가 또 insight를 얻어낼 수 있을까? Udacity에서 배운 걸 써먹어보고 싶었다. 그래서 광고를 다시 진행했다. 진행예산은 3000원. 사실 3000원이라는 예산을 가지고 3일동안 진행하면 의미있는 결과가 나올지 모르겠지만 지금 반찬가게의 비용관리가 중요해졌기 때문에 제한된 예산 안에서 진행하기로 결정했다.
페이스북의 광고를 진행할때 광고의 목적에 맞춰서 여러가지 방식을 선택할 수 있다. 매장 방문을 이끌어 내는 광고, 인지도를 올리는 광고, 웹사이트 전환을 이끌어 내는 광고 등 다양한 방식의 광고가 있다.
처음 광고만들기를 누르고 나온 화면을 보고 놀랬었다.
이게 뭐야. 무서워...처음 이 화면을 보고나서 뭘까? 라는 생각만 했다.
그러다가 일단 반찬가게 페이지를 알려야겠다 싶어서 관심유도의 “참여”를 선택하고 A/B test가 가능하도록 분할테스트를 넣고 진행했었다. 그 광고를 진행하고 나서 페이지의 ‘좋아요’를 눌러주신 분이 6명 이었다. 나머지는 친구 초대를 통해서 늘어난 ‘좋아요’였다. 예산 자체를 많이 잡은 게 아니였기 때문에 그래도 이 정도의 성과에서 만족하고 다음 광고를 더 준비잘해야겠다 느꼈다.
그래서 두번째는 광고 중에 어떤 광고를 해야하나 고민하다가 부천의 반찬가게 근처에 있는 지역의 잠재고객에 도달하고 싶어서 잠재고객 확보를 진행해보기로 했다. 그런데 이 잠재고객 확보는 바로 전에 했던 광고와는 또 다른 유형의 광고였다. 가장 달라졌던 건 개인정보 사용 동의를 위한 URL이 필요했던 것이었다.
사실 아직 잠재고객 확보에 왜 개인정보 사용 동의가 필요한지 아직 모르겠지만 저 URL이 있어야만 광고 만들기를 끝내고 광고를 실행할 수 있었기 때문에 링크를 만들었다.
URL을 만들고 나서 잠재고객 확보 양식을 작성하고 나서 실행을 할 때 이번에 역시 AB test나 다른 분석을 하고 싶어서 실험군과 대조군을 만들었다. 이번에는 ‘노출 위치’를 테스트 해보기로 했다. 페이스북 마케팅 관련 책에서 노출은 모바일 위주로 하는 것이 좋다는 내용이 적혀진 것을 기억하고 실험군은 일단 페이스북 추천으로 광고가 노출되고, 대조군은 모바일에서만 노출되게 셋팅하고 광고를 진행했다.
광고가 끝나고 나서 지난 번과 똑같은 방식으로 데이터를 엑셀 파일로 추출하고, 엑셀에서 다시 data를 좀 조절하고, csv 파일로 변환해서 드롭박스에 업로드 했다.
그리고 데이터를 쥬피터 노트에서 불러보니
python에서 아직 데이터를 바로 replace하는 것이 뭔지 몰라서 엑셀에서 모두 바꾸기로 바꾸고 불러들인 초보...위와 같이 잘 불러올 수 있었다.
지난번 때는 output으로 생각한 페이지의 ‘좋아요’는 binomial 값이었다. 좋아요를 누르던지 아니던지. 그래서 df.query를 이용해서 타겟에 따라 ‘좋아요’를 눌렀는지 아닌지 변화를 알 수 있있다. 마치 새로 레이아웃을 만든 웹페이지의 랜딩페이지 전환율 혹은 링크 클릭이 기존 레이아웃의 랜딩페이지 링크 클릭보다 통계적으로 유의미하게 전환하는지 아닌지 알 수가 있었다.
그러나 이번 분석에서 output으로 잡은 ‘exposure’ 횟수라는 변수를 가지고 AB test를 할 수 없을 것 같았다. 왜냐면 Exposure 횟수는 모두 숫자(numeric value)라서 차라리 회귀분석을 돌리는게 어떨까 생각했다. 어떤 변수들이 노출횟수와 더 큰 인과관계가 있는지 알아볼 수 있지 않을까 생각이 들어서… 한 번 해봤다.
그래서 코드를 써보니
회귀분석을 돌리기 위해서 배운대로 카테고리 값인 광고 이름을 dummy value로 바꾸는 코드를 실행하고, dummy값으로 바뀐 열과 manual은 일부러 포함하지 않았다. 강의에 의하면 drop을 했기 때문에 intercept의 coef 값이 baseline 이 되기 때문이다. 즉, 노출위치를 manual로 내가 지정한 경우에는 노출횟수가 1.6배 정도 증가하고, 페이스북이 자동추천한 노출위치에 광고가 노출되면 2.76배가 증가한다는 것이다.
그리고 p-value 또한 좋은 편이지만 조정 R-squared 값이 너무 좋지 않다. 이 모델로 설명할 수 있는 능력이 20% 정도에 불과하다는 것이 마음에 걸렸다. 그래서 money_paid(지출)이라는 변수를 추가해서 실행해봤다.
조정 R-squared 값은 확 올라갔으나, auto의 coef는 감소했고, p-value 또한 전혀 신뢰할 수 없는 수준으로 올라갔다. 내가 변수를 잘못 넣은 걸까 생각을 해보기도 했다. 지출의 단위가 1개 올라갈 수록 노출횟수는 0.004배 증가했다. 맞는걸까? 모델을 실행하고 나서 보니 저 지출이라는 것은 노출횟수나 도달횟수에 따라 돈을 지출한 결과이니 인과 선후관계가 뒤바뀐 것이라 볼 수 있지 않을까 생각이 들었다.
앞의 실행결과에 대비해 두번째 실행한 모델이 설명력은 더 높아진다고 볼 수 있으나 실제 manual이라는 노출위치가 노출횟수의 증가를 1이상 가져온다고 설명하는데 실제 결과와는 다르다.
왜냐면 자동으로 노출시킨 그룹의 노출횟수의 합계가 224이고, 모바일에만 노출시킨 그룹의 노출회수의 합계는 26에 불과했기 때문이다.
여기까지만 보면 초보인 나는 처음에 모델로 돌아가는 것이 더 낫지 않을까 생각하게 된다. 앞으로 페이스북에서 광고를 할 때는 노출 위치는 페이스북이 추천하는 자동위치로. 페이스북 마케팅 책이 추천해준 모바일은 하지 않는 걸로 정했다.
분석을 해보고 나서 느낀 점은 페이스북의 광고관리자를 통해서 추출한 결과를 가지고 초보인 내가 insight를 뽑아낼 수 있는 분석을 할 수 있을까 하는 점이다. 일단 페이스북 페이지에 참여를 한 사람의 수가 너무 작기 때문에 페이스북 페이지 내에서 뭔가 행동 유도해보기를 도전해보는 것이 약간 의문스럽다.
두번째로는 광고 예산이 너무 작기 때문에 하루에 1,000원~2,000원 예산을 가지고 하는 것이 반찬가게가 타겟으로 보고있는 주위 지역 커뮤니티 사람들에게 도달가능한 것인가 하는 궁금증이 든다. 페이지 인사이트만 보고 있으면 그닥 효과가 있지 않다.
아니면 내가 광고 플랫폼을 잘못 잡은 걸까? 라는 생각도 들었다.
반찬가게의 오너 분은 요즘 반찬가게의 주요 고객군은 페이스북을 하지 않고, 인스타그램을 한다고 주장하신다. 이미 반찬가게의 인스타그램 계정은 팔로우 수가 꽤 높은 편인데 차라리 페이스북 페이지보다 인스타그램에 집중하는 것이 훨씬 효율적일 수 있다.
지금 반찬가게 페이스북 페이지를 가지고 할 수 있는 광고활동은 제약이 있다고 생각한다. 페이스북 광고를 하는 이유는 페이스북 광고를 본 사람들이 광고 내 삽입된 링크를 클릭해서 나의 앱이나 웹페이지로 전환 유입되어 구매를 하게하는 것이 목적이다.
그리고 나의 사이트나 앱에 픽셀을 넣어서 실제 전환유입되는 유저들의 비중이나 행동을 추적할 수 있어야 한다. 반찬가게는 티스토리에 홈페이지가 있긴 하지만 유저를 계속 머물게할 콘텐츠도 많지 않다. 그리고 티스토리에 픽셀을 넣으려고 해봤지만 블로그 관리에서 이제 HTML 창이 안 나타나서 헤더에 픽셀을 넣을 수가 없었다.
더 큰 것은 지금의 광고는 어느 하나 실제 구매와는 직접적으로 연관되어 있지 않다. 사람들에게 알리고 있을 뿐. 구매를 가능케하는 채널을 늘이는 것이 더 좋은 건지 아니면 이런 반찬이 있다고 더 많은 사람들에게 알리는 것이 중요한지는 우리집의 오너가 결정할 사항이니…
실제 자영업하시는 분 중 구매 결제까지 가능하게하는 SNS나 홈페이지를 가지고 계신 분이 많으실까
