새로운 시장을 키워 나가기 위해서는 마케팅, 제품, AI 로직 등 여러 요소가 하나의 팀처럼 유기적으로 움직여야 합니다. 그중에서도 AI 기반 추천 시스템은 새로운 시장을 침투(penetration)하는 데 있어 인프라와 같은 핵심 역할을 담당합니다.
작은 사고 실험을 해보겠습니다.
예를 들어 A 국가 사용자가 전체의 90%, B 국가는 10%인 상황을 가정해봅시다. 두 집단은 언어와 문화가 다르며, 컨텐츠나 상품의 취향 또한 완전히 다릅니다. 그런데 추천이 완전히 랜덤이라면, B 국가 사용자는 대부분 A 국가에서 인기 있는 컨텐츠만 보게 됩니다. 흥미를 느끼지 못하고 금세 떠나버리겠죠. 결국 제품에는 A 국가 사용자만 남게 되고, 신규 시장 확장은 불가능해집니다.
그럼 국가별로 컨텐츠 풀(pool)을 나누면 되지 않을까?
좋은 사용자 경험은 단순히 국가로 결정되지 않습니다. 언어, 관심사, 행동 패턴 등 수많은 요인이 얽혀 있습니다. 이런 맥락에서 AI 추천 시스템의 고도화는 선택이 아니라 필수입니다. 서비스 내에서 비율이 크지 않은 사용자에게도 좋은 경험을 주는 시스템만이, 결국 새로운 시장을 개척하고 이를 통해 제품을 성장시킬 수 있습니다.
위에서 이야기한 것처럼, 랜덤 추천으로는 다양성을 확보할 수 없습니다. 다수를 구성하는 유저 그룹에게만 유리하고 소수의 유저 그룹은 계속 패널티를 받습니다. 그래서 대부분의 추천 시스템은 처음엔 휴리스틱 방식을 택합니다. 랜덤 추천은 답이 아니니까요.
휴리스틱은 사람이 직접 규칙을 만들어 추천에 반영하는 방식입니다. 예를 들어,
같은 국가의 컨텐츠라면 +10점
컨텐츠가 좋아요를 10개 이상이면 +1점
컨텐츠의 클릭률이 2% 이상이면 +2점
이처럼 단순하고 빠르게 시작할 수 있습니다. Google이 공개한 rules-of-ml에서도 휴리스틱을 두려워하지 말라고 조언하듯, 초기에 제품을 개선하기에 유리합니다.
하지만 규칙이 쌓이고 수정되면서 시스템은 점점 복잡해집니다. 그리고 한 지표를 개선하려 추가한 규칙이 다른 지표를 악화시키는 문제가 발생합니다. 예를 들어, 업로드된 지 일주일이 안 된 컨텐츠의 노출을 늘리기 위해 +3점을 주는 규칙을 추가했다고 가정해봅시다. 이 경우, 좋아요 수나 클릭률이 떨어질 가능성이 높습니다. 결과적으로 보정 규칙이 계속 추가되며, 시스템은 점점 관리하기 어려워집니다.
또한 추천에 고려해야 하는 인자는 너무나도 많고 서로 얽혀 있습니다. 현재 휴리스틱으로 구선된 추천의 문제를 진단하고 어떤 인자를 부스팅하면, 상관관계가 있는 다른 인자들도 함께 영향을 받습니다. 추천에 반영해야 하는 인자가 n개라면 우리가 고려해야 하는 조합은 n이 증가함에 따라 지수적으로 증가(O(exp(n)))합니다. 사람이 이 모든 조합을 고려하는 것은 불가능에 가깝습니다.
하지만, AI 추천은 입력과 출력만 관리하면 되기 때문에 복잡도를 선형적으로(O(n)) 관리할 수 있습니다. 모델의 입력에 새로운 인자를 추가하거나 학습에 사용되는 손실 함수를 변경하는 방식으로 주로 개선이 이뤄지기 때문에, 시스템의 확장성과 유지보수가 훨씬 용이합니다.
마지막으로, 휴리스틱은 개선해도 제자리걸음인 경우가 많습니다. A/B 테스트를 반복하며 더 나은 규칙을 찾아도 실질적인 개선은 일어나지 않는 경우가 많습니다. 환경이 바뀌면 휴리스틱으로 만든 규칙의 효과는 금세 사라질 수 있기 때문입니다. 예를 들어, 여름에 만든 휴리스틱이 겨울에는 잘 작동하지 않을 수 있습니다. 마케팅으로 유저 연령이 낮아지거나 트래픽 패턴, 사용자 구성, 시즌별 행동이 달라지면 변화된 유저 분포에 최적화된 규칙이 바뀌고 이를 반영해 다시 규칙을 만들어야 합니다. 결국 휴리스틱은 ‘끊임없이 손이 닿아야 유지되는 시스템’이 되어, 담당자가 바뀌거나 관심이 줄면 금세 낙후됩니다. 겉으론 계속 개선되는 것처럼 보여도, 실제로는 시스템만 복잡해지고 근본적인 개선은 일어나지 않을 가능성이 큽니다.
물론 AI 추천도 한계가 있을 수 있지만, 본질적으로는 다릅니다. 모델은 주기적으로 학습(continuous training)되며 타깃 지표를 향해 업데이트되기 때문에, 환경이 변해도 점진적으로 적응합니다. 복잡한 구조가 아니어도 괜찮습니다. 단일 지표를 학습하는 간단한 모델조차 휴리스틱보다 일관된 방향으로 목표에 수렴하고, 변화에도 유연하게 대응합니다. 결국 차이는 ‘지속성’입니다. 휴리스틱은 사람이 떠나면 금세 낙후되지만, 모델은 데이터 변화에 따라 스스로 갱신됩니다.
그래서 저희는 “휴리스틱을 최소화하고, 모델만을 사용해서 추천하자”는 방향으로 전환하고 있습니다. 완벽하다고는 할 수 없지만, 분명 더 나은 길이라고 믿습니다. 사람이 만드는 규칙 대신, 데이터로부터 직접 규칙을 배우는 모델을 사용하는 것이 결국 더 단순하고, 더 강한 시스템을 만든다고 생각합니다.
“AI 추천을 써봤는데 잘 안 되더라”는 말을 종종 듣습니다. 대부분의 실패는 기술의 문제가 아니라, 추천 시스템의 명확한 목표가 없는 것에서 비롯됩니다. 즉, 추천 시스템이 개선해야 하는 단일한 지표가 없기 때문인 경우가 많습니다. 이건, AI 추천이 성공하기 힘든 상황입니다.
어떤 지표가 제일 중요한지 모르기 때문에 시행착오를 겪으면서 지표를 하나씩 추가하고, 결국 수십개의 지표를 모니터링하게 됩니다. 그리고 각 지표들을 모두 중요하게 봅니다. 하지만, 모든 지표가 중요하다고 하면, 사실상 어떤 지표도 중요하지 않게 됩니다. 어느 정도 추천 시스템이 성숙해지면, 개선을 위해서 수정할 때마다 분명 어떤 지표는 떨어지고 어떤 지표는 올라갑니다. 그럼 수십개의 지표를 깔아두고 의사결정권자들이 판단을 하죠. 새 알고리즘에서 이 지표들은 올라가고 저 지표들은 내려갔는데, 이 지표들이 내려가는 것에 비해서 저 지표들이 올라간 것이 더 이득이라고 판단하니까 새 알고리즘을 배포하자는 결정을 내리곤합니다. 이런 방식은 지표의 문제가 아니라 가치 판단의 문제가 되는 경우가 많습니다. 이런 상황에서는 AI 추천이 휴리스틱 추천보다 나아지기 어렵습니다. 나아진다는 것의 정의가 제대로 되지 았기 때문이죠. 어떤 시스템을 개선하려면 지표가 한 개여야 합니다. 여러 지표를 함께 고려해야 한다면, 이를 묶어 새로운 합성 지표를 설계해야 합니다.
그럼 어떻게 해야 할까요?
많은 추천 시스템의 목표는 리텐션을 최대화 하는 것입니다. 물론 서비스 특성에 따라 리텐션이 설명하지 못하는 다른 지표들도 같이 봐야 하는 경우들이 있습니다. 하지만 좋은 추천은 “제품에 남고 싶은 경험”으로 프록시 되기에 리텐션이 가장 중요합니다.
아자르에서는 ‘아하 모먼트(Aha Moment)’ 프레임워크를 통해 리텐션에 가장 큰 영향을 미치는 1차 지표를 찾아냈고, 해당 지표를 집중적으로 부스팅하여 리텐션을 꾸준히 개선해왔습니다. 운이 좋게도 이 1차 지표가 리텐션과 강한 인과관계를 가지는 지표였습니다.
하지만 어느 순간, 이 지표만을 극단적으로 부스팅하면 다른 지표들이 떨어지면서 리텐션이 오히려 오르지 않는 현상을 발견했습니다. 우리가 찾았던 1차 지표가 리텐션에 가장 큰 기여를 하고 있는 것이 맞지만, 다른 지표들도 유의미하게 영향을 준다는 것을 발견했습니다.
이 문제를 해결하려면 결국, “이 유저에게 이 컨텐츠를 노출했을 때 리텐션이 얼마나 상승할 것인가?” 를 직접 모델링해야 합니다. 즉, 추천 점수를 리텐션 uplift에 연결(pegging)해야 하며, 이는 인과 추론이나 오프라인 강화 학습을 활용해 가능합니다. 이렇게 직접적으로 리텐션 업리프트를 예측하는 알고리즘을 만드는 것은 휴리스틱으로는 절대 달성할 수 없습니다.
이런 방향으로의 전환은 단순한 기술 혁신이 아니라, 서비스가 성장하는 방식을 바꾸는 일입니다. 그리고 이 노력의 결과로 하이퍼커넥트의 아자르가 아시아를 넘어 유럽에서도 빠르게 성장하고 있습니다. 3개월 단위로 두 자릿수 성장을 기록하며, 새로운 시장에서 의미 있는 변화를 만들어가고 있습니다. 뿐만 아니라, 추천 시스템의 개선이 YoY로 매출을 30% 성장시키기도 했습니다.
하이퍼커넥트 AI는 사람이 만든 규칙이 아닌, 데이터가 스스로 배우는 세상을 만들고 있습니다. 이 여정에 함께하고 싶은 분들을 기다리고 있습니다.