by
Dec 27. 2021
B2B 플랫폼 대시보드, 콘텐츠 추천
사용자와 관리자 관점에서의 다양한 시도를 중심으로
제가 담당한 플랫폼은 학습을 중심으로 한 콘텐츠 플랫폼입니다. B2B 이기 때문에 회사에서 비용을 지불하고, 직원육성을 위해 의무적으로 또는 복지 개념으로 제공하다보니, 비용 대비 성과가 어떻게 나오는지가 중요한 반면에, 수익적인 ROI를 끄집어내기 상당히 어려운 부분 중에 하나입니다.
(공부한 내용을 바탕으로 실무에 적용해서, 성과가 났다고 수치화하기에는 성과라는 부분이 가지고 있는 수많은 요소들 중 얼마나 기여했는지 끄집어내기 어려운 거죠.)
이외에도 많겠지만 회사에서 성과를 창출하는 다양한 요인그렇다면, 가장 좋은 지표는 학습활동이 어떻게 그리고 활발하게 이루어지고 있는지를 다양하게 보여주는 부분이 교육담당자 측면에서 필요하겠고, 학습자에게는 더 많은 학습을 할 수 있도록 추천을 다양화하는게 좋겠다고 의견을 모았습니다.
우선 관리자 측면으로는 어떤 것들이 보고 싶을까요?
우선 엑셀로 취합해서 관리하거나, 경영진에 보고하는 부분에 있어서 수치적인 부분을 요약해서 보여주는 부분이 첫번째였습니다. 월별로 많이 확인하고 있고, 그에 따른 추이를 확인하는 지라 아래와 같이 얼마나 많은 직원들이 콘텐츠를 학습하는지 보여주는 방법이 있습니다. (아래 데이터도 엑셀로 다 로우데이터 뽑아서 일별로 월별로 데이터가 맞는지 검증해보는 식으로 해서 상당기간이 소요되었습니다.)
당연하게도 세부적인 항목들과 인기 있는 콘텐츠들도 한번에 볼 수 있으면 좋겠지요? 어떤 분류의 콘텐츠가 선호되고 있고, 각론으로는 어떤 콘텐츠가 정말로 많이 학습되는지 확인할 수 있어야겠지요.
분류별, 콘텐츠별 학습 현황여기서 중요한 부분은 정말로 학습자들이 선호하는 것을 콘텐츠 명만 가지고 다 파악이 가능하냐는 것인데요. 이 부분을 보강하기 위해서, 학습된 콘텐츠들의 태그를 등록해서 빈도에 따라 클라우드 형태로 보여주면 더 좋겠다는 의견이 있었습니다. 그에 따라 콘텐츠 제작사와 PM들에게 모든 콘텐츠에 태그를 넣도록 했고, (AS-IS로 1만 건이 넘었는데 장장 6개월에 걸쳐서 이 부분을 전문 태거(tagger)를 통해 입력받았습니다.
하지만 태그들도 조금씩 클렌징해야 하는 부담도 있기는 합니다. 모든 콘텐츠의 태그를 다 검수할 수 없다 보니 의도치 않은 태그도 보일 수 있습니다.
직원들이 학습한 콘텐츠에서 태그를 끌어내는 방법도 있지만, 학습자들이 직접 검색하는 단어들을 통해서도 확인할 수 있고, 관심사로 지정한 키워드들로 빈도를 확인하는 방법도 있습니다.
이를 통해 앞으로 어떤 콘텐츠를 보강할 것인가? 어떤 콘텐츠를 뺄 것인가? 이런 의사결정을 할 수 있는 거죠. 이런 경우라면 아래 예시처럼 검색어 또는 관심사 지정에 따라 맞춤형으로 콘텐츠를 추천해줄 수도 있습니다.
맞춤형 팝업 예시회사이기 때문에 부서별로 학습하는 현황도 궁금할 수 있습니다. 물론 부서별, 직급별로 특수성이 있을 것이지만, 그 부분은 회사의 담당자들만 알고 있으실 것이므로 참고자료로 노출해보면 좋겠죠?
부서별, 직급별 학습 현황다양한 접속 현황이나 시간대별 현황들도 함께 보여주면 좋을 텐데요, 이 부분은 프로모션 후에 변화를 측정하는데 있어서도 유용하게 확인할 수 있습니다. (아래 막대그래프의 컬러는 부서입니다.)
더불어서, 계속 학습자들에게 더 매력적이고 효과높은 콘텐츠를 제공하기 위해서는 가장 많은 클릭을 보이는 메인페이지의 흐름을 분석할 필요가 있는데요. 넷플릭스처럼 메인 페이지에 다양한 분류로 콘텐츠를 제공하고 있다면, 당연히 얼마나 클릭이 있고, 다른 것으로 변경했을 때 어떤 변화를 보이고, AB 테스트 같은 활동 수행 결과도 확인하려면 아래와 같은 지표들을 계속 들여다보는 것이 좋습니다.
아래 부분에서는 상단 메뉴클릭이 제일 많아서 다른 영역 효과가 좀 미미하다는 것을 알 수 있습니다.
우리는 뭔가가 사용자에게 선택받기 위해 다양한 추천활동을 하지만, 정작 사용자들은 카테고리 중심으로 최신 콘텐츠를 시청하고자 하는 니즈가 많은 것을 알 수 있는 것이죠.
로그인 후 메인페이지 흐름도학습자들에게도 개인 맞춤화된 콘텐츠를 보여줄 수 있는데요. 다양한 아이디어들은 쇼핑몰을 많이 참고해서 진행하고 있습니다. 특히 아래 부분에 대한 클릭률이 높은 것도 확인할 수 있었어요.
현재 콘텐츠와 유사한 내용의 콘텐츠, 수강 후 이어서 인기있는 콘텐츠지금도 계속 변화되고 개선되고 있습니다. 계속 고객의 VOC와 데이터, 로그 분석을 하면서, 더 좋은 인사이트를 주고 활성화를 할 수 있도록 해야, B2B의 특성상 계약 연장도 될 수 있고, 신규 고객사 영업하기에도 좋기 때문이죠.
아래와 같은 그라운드 롤을 가지고 계속 진화되도록 하고 있습니다.
개인화 맞춤 학습을 개선 발전시키는 기준
개인의 관심사, 목표와 능력에 따라 최적 방법과 최단 경로를 밟아 갈 수 있도록 지원
대시보드 데이터 선정 및 이후 개선 발전시킬 기준
첫째, 자신의 학습활동에 대한 시각적 정보를 인식하는 단계 - 우리가 정하는 단계 – 통계, 태그, xAPI 등 활용
둘째, 자신에 대한 정보가 유용한 지를 생각하는 성찰 단계 – 선정 근거를 찾는 단계
셋째, 성찰 과정에서 생기는 질문들에 답하면서 학습 관련 행동이 변화되는 단계 – 효과성 분석 – 통계, xAPI
중요한 것은 제가 결과만 보여드려서 그러지, 데이터를 가공하고, 검증하고, 수정하고, 개선하고 등등 수많은 일련의 과정을 거쳐, 고객에게 초기 세팅을 선보이는 데까지 5명의 인력이 6개월 정도 소요될 정도로 오래 걸렸습니다. 지금이야 하나씩 추가하는 부분은 정기 업데이트로 월 1개 정도씩 추가되고 있지만, 초기 작업은 그렇게 뚝딱 되는 것이 아니라서요.
관심사마다 연관 콘텐츠를 찾기 위한 태그를 따로 붙입니다. 