당신의 하루는 실험되고 있다.
< 하루종일 진행되는 앱과의 동기화?...>
매일 아침 눈을 뜨면 음악 앱을 켜고, 낮에는 협업툴로 업무를 진행하며, 밤에는 콘텐츠 앱으로 하루를 마무리합니다.
•출근길: 음악 스트리밍 앱이 정하는 오늘의 기분
•업무 중: 협업 툴로 생긴 무언의 규칙
•퇴근 후: 콘텐츠 앱이 결정하는 나의 관심사
•잠들 때: 수면의 질을 위한 체크까지...
< 아침, 점심, 저녁, 잠들 때 까지...>
우리는 이러한 앱들을 자연스럽게 사용하지만, 그 이면에서는 우리가 인지하지 못하는 다양한 실험들이 진행되고 있습니다. 이번 글에서는 실제 스타트업들이 수행한 A/B 테스트 사례를 통해, 우리의 일상이 어떻게 설계되고 있는지 살펴보겠습니다.
� 아침 7시 – Spotify의 Discover Weekly 추천 실험
실험 내용: Spotify는 사용자의 음악 취향에 맞는 곡을 추천하기 위해 다양한 알고리즘을 실험했습니다. 특히, ‘Discover Weekly’ 플레이리스트는 사용자의 청취 이력을 기반으로 새로운 곡을 추천하는 기능입니다. 이를 위해 Spotify는 사용자들이 새로운 음악을 얼마나 받아들이는지에 대한 실험을 진행했습니다.
결과: Spotify는 사용자의 취향과 유사한 곡을 추천하는 것이 새로운 곡을 추천하는 것보다 청취율이 높다는 것을 발견했습니다. 이에 따라, 추천 알고리즘을 조정하여 사용자 만족도를 높였습니다.
� 오전 10시 – Notion의 온보딩 툴팁 실험
실험 내용: Notion은 신규 사용자의 온보딩 경험을 개선하기 위해 툴팁의 위치와 순서를 조정하는 A/B 테스트를 진행했습니다. 이를 통해 사용자의 초기 적응률을 높이고자 했습니다.
결과: 툴팁의 위치와 순서를 변경한 결과, 사용자의 초기 적응률이 향상되었습니다. 이는 툴팁의 디자인과 배치가 사용자 경험에 큰 영향을 미친다는 것을 보여줍니다.
� 점심 12시 – 쿠팡의 A/B 테스트 자동화 시스템
실험 내용: 쿠팡은 앱의 다양한 기능을 개선하기 위해 매일 수백 건의 A/B 테스트를 진행합니다. 이를 위해 A/B 테스트 자동화 시스템을 구축하여, 테스트 중 발생할 수 있는 기술적 문제를 최소화하고자 했습니다.
결과: 자동화 시스템을 통해 코드 리뷰 과정에서 A 로직의 변경 사항을 자동으로 감지하고, 이를 개발자에게 알림으로써 오류를 줄이고 테스트의 효율성을 높였습니다.
� 저녁 7시 – TikTok의 영상 길이 실험
실험 내용: TikTok은 사용자 참여도를 높이기 위해 영상의 최대 길이를 15초에서 60초, 3분, 10분으로 점차 늘리는 실험을 진행했습니다.
결과: 영상 길이를 늘림으로써 다양한 콘텐츠 제작이 가능해졌고, 사용자들의 앱 체류 시간이 증가했습니다.
� 밤 11시 – Calm의 수면 콘텐츠 실험
실험 내용: Calm은 사용자의 수면 질을 향상시키기 위해 다양한 배경음악, 나레이션 스타일, 콘텐츠 길이 등을 조합하여 A/B 테스트를 진행했습니다.
결과: ‘낮은 톤의 여성 나레이션 + 파도 소리’ 조합이 가장 효과적이라는 결과를 얻었으며, 이를 통해 사용자들의 수면 유도 효과를 극대화했습니다.
< HR Tech에서는 어떤 실험을 해볼 수 있을까...?>
그렇다면 HR Tech 에서는 어떤 실험이 가능할까?
� 이력서 보기 전 vs 후 ‘첫인상 실험’
가설 : 지원자가 가진 ‘스펙’이 아니라 ‘톤 & 매너’가 채용 결정에 영향을 미칠 것이다.
실험 내용: 이력서 순서를 다르게 배치 (예: 자기소개서를 먼저 vs 학력을 먼저 보여줌), 혹은 프로필 사진 유무에 따라 평가가 달라지는지 테스트
기대효과: 서류탈락 사유 중 ‘애매한 느낌’을 줄이고, 공정하고 직관적인 판단 구조 개발
� 면접 피드백 vs 무피드백 실험
가설 : 간단한 피드백만 있어도 지원자의 플랫폼 재방문율이 높아질 것이다.
실험 내용: 일부 탈락자에게는 ‘불합격 이유 요약’ 제공 vs 아무 응답 없음, 재지원율, 후기작성율, CS 문의 감소율을 따져본다.
기대효과: 후광효과가 아닌 신뢰 기반 UX 설계 가능
� 면접 피드백 vs 무피드백 실험
가설 : 선택지가 많을수록 사람은 덜 선택하게 될 것이다. (결정 마비)
실험 내용: 사용자에게 ‘모든 채용 공고 보기’ vs ‘AI 추천 3개만 보기’ 그룹으로 나눔, 클릭률, 지원서 작성 완료율, 실제 매칭률을 측정
기대효과: HR 플랫폼 내 과잉 노출 vs 개인화 노출의 최적 지점 탐색
✓ 마치며
당신은 오늘 어떤 앱에서 가장 많은 시간을 보냈나요?
그리고 그 선택은, 정말 당신의 의지였나요? 혹은, 누군가의 실험이 당신의 하루를 결정했나요? 그리고 당신은, 누군가의 하루를 설계하고 있진 않나요?
알고리즘은 사람을 분석할 수 있어도, 사람의 사연과 맥락까지는 설계하지 못합니다. 그래서 데이터와 감정 사이에서, 늘 조심스럽게 실험을 진행해야만 합니다.
