brunch

매거진 일상AI

라이킷 19 댓글

You can make anything
by writing

C.S.Lewis

계정을 잊어버리셨나요?

by 글쓰는몽글c May 17. 2020

SNS, 쇼핑 그리고 AI

#9. 페이스북과 아마존은 어떻게 추천을 하고 있을까?

#9.

facebook - waist, A9 - personalize

인공지능이 활용되는 분야별로 대표성을 띈 사례들을 한가지 씩 정리해보고자 한다.

이번 글에서는 스포츠 분야에서 인공지능(AI)이 어떻게 사용되고 있는지 SNS와 쇼핑 분야의 사례를 통해 정리해도록 하겠다.

페이스북, 이 게시물이 표시되는 이유는?

페이스북에서 친구들과 많은 커뮤니케이션을 하거나, '좋아요'한 페이지의 정보들을 자주 훑어보는 사람이라면, 자기 전에 페이스북을 보다보니 어느 새 30분, 1시간, 2시간을 훌쩍 넘기고 다음날 피곤한 컨디션으로 일어났던 기억이 한 두번 정도는 있을 것이다.

이는 페이스북의 뉴스피드 알고리즘에 의해 우리가 콘텐츠를 소비하고 있기 때문인데, 페이스북은 도대체 어떤 방법으로 추천하고 있기에 우리는 해당 서비스에서 눈을 떼지 못하는 걸까?

사실 페이스북은 뉴스피드에 대한 추천 알고리즘을 정말 많이 변경해왔다.

초기에 추천 알고리즘은 엣지링크(Edge Link)에 기반하고 있었다. 엣지링크란 '친밀도(Affinity)', '가중치(Weight)', '시의성(Time Decay)'에 따라 글의 랭크를 적용하는 알고리즘이다. 다시 말해, 좋아요한 글 + 사진/비디오인 글 + 새로운 콘텐츠 = 상위 점수를 얻게 되는 구조이다. 하지만 페이스북은 머신러닝 기술을 활용하면서 더 이상 이용어를 사용하지 않게 되었다.

무언가 대단한 변화라고 보긴 어렵지만, 기존 3가지 요소 외에 광고클릭율, 인터넷 속도, 포스트 숨기기 이력 등 기존보다 훨씬 더 많은 Parameter값들을 활용하고 있는 것으로 보여진다.

뿐만 아니라 양질의 콘텐츠로 보던 뉴스글을 더 가중치를 높이는 작업을 했었던 적도 있고, 텍스트 콘텐츠에 대한 가중치를 더 낮추거나, 비디오 콘텐츠들을 더 가중치 높여서 보여주는 등 정말 다양한 알고리즘에 대한 실험들을 하고 있다.

인공지능 기술을 활용하여 이렇게 다양한 알고리즘들을 실험하면서 사용자들에게 추천에 대한 이유와 또 피드백을 받고자 하는 움직임 또한 볼 수 있는데, 페이스북의 새로운 기능을 보면 이를 알 수 있다.

추천 알고리즘의 신뢰를 위한 WAIST (Why am I seeing this post?)

2019년 3월, 페이스북은 추천알고리즘에 대한 신뢰도 향상을 위해 WAIST라는 기능을 미국에서 우선 선보였다. 이는 국내에서도 '이 게시물이 표시되는 이유는?' 이라는 메뉴로 얼마전 적용이 되었는데 이 내용을 보면 추천알고리즘에 대해 대략적으로 파악해볼 수 있다.

이 게시물이 표시되는 이유는?

내용을 보면 알 수 있듯이 내가 많이 보았던 콘텐츠, 그리고 링크를 열어보았는가에 대한 여부, 마지막으로 얼마나 인기가 있는지에 대한 여부들을 통해 나에게 추천을 해주고 있다.

내용을 조금 더 살펴보면, 글 순위에 영향을 주는 요인으로는.

친구나 가족 우선표시

사진,동영상,링크 게시물

댓글, 좋아요, 공감, 공유 수 등의 횟수

게시 후 경과된 기간 등을 통해 글의 랭킹을 정의한다고 한다.

보다 상세한 내용은 이 링크에서 확인할 수 있다.

결국 내 주변의 사람들 소식, 또 자주보고, 관심있어하는 콘텐츠를 지속적으로 보여주고 있는 셈인데, 사실 이는 콘텐츠 소비의 편향(Bias)을 가져올 수 밖에 없다. 내가 좋아하는 농구나 축구의 콘텐츠를 더 많이 보여주고 또 소비하는 것은 크게 문제가 안될 수 있다고 생각할 수 있지만, 특히 정치나 종교에 대한 정보의 경우 내 입맛에 맞는 정보만을 지속적으로 보여주는 것은 다양한 사람들의 의견을 청취하지 못하고 내 생각만이 맞고 세상에는 나와 같은 생각만을 하는 사람들만 존재하는 것처럼 나만의 프레임에 갇혀버리기 매우 쉬워진다.

(이를 있어보이는 용어로 filter bubble이라고 한다.)

따라서 페이스북을 사용하는 사용자라면 이러한 알고리즘의 의도를 인지하고 보다 다양한 콘텐츠를 소비하기 위해 인공지능을 역으로 활용할 수 있어야 하겠다. 알고리즘을 학습시키는 것은 결국 '나'의 행동이기 때문에 알고리즘을 알고 있다면 충분히 가능한 이야기로 생각되어진다. :)

아마존, A9 그리고 퍼스널라이즈

국내에서는 네이버쇼핑, 쿠팡, G마켓, 11번가 등을 통해 온라인 쇼핑을 많이 이용하고 있지만, 미국에서는 아마존이 돋보적인 온라인 상점으로 자리를 잡았다. 미국 소비자의 50%는 아마존에서 상품을 구매하고 있으며, 전세계 온라인 상품의 구매의 40%가 아마존에서 일어나고 있다고 한다.

이는 아마존에 다량의 제품들이 등록되어 있기 때문이기도 하지만 고객의 구매데이터를 토대로 그 사람이 관심있어할만한 다른 제품들에 대한 취향을 판단하여 또 다른 구매를 유도하고 있기 때문이기도 하다.

(실제로 아마존 매출의 35%가 추천상품에서 발생한다고 한다.)

이러한 정확도가 높은 추천은 자연스럽게 매출로 이어졌고 이는 다양한 상품들을 판매하는 셀러들의 참여로 이어지고 또 고객들의 검색과 구매로 이어지게 되었다.

아마존 매출에 지대한 영향을 미치고 있는 추천알고리즘은 아마존의 자회사인 A9에서 개발을 했으며, 기본적으로 협업 필터링(Collaborative Filtering) 알고리즘을 사용하고 있다. 이는 넷플릭스에서도 활용하고 있는 알고리즘으로 A라는 아이템을 선택한 사람에게 가장 잘 맞을 수 있는 B 아이템을 추천해주는 방식이다. B아이템은 A아이템을 구매한 사람들이 가장 많이 선택한 아이템이라고 할 수 있겠다.

물론 협업 필터링 알고리즘은 잠재 노드(특정 아이템을 선택한 이유에 해당하는 다양한 변수들)를 활용하는 등 점차 고도화 되고 있다고 한다.

아마존 퍼스널라이즈

아마존 퍼스널라이즈는 실시간 개인화 추천 서비스를 구축할 수 있는 API 서비스라고 한다.

이 서비스는 아마존에서 활용하고 있는 머신러닝 기반 추천 알고리즘을 그대로 반영하고 있으며, API화하여 다양한 업체에 해당 추천알고리즘을 활용할 수 있도록 제공하고 있다.

최종사용자에게 음악, 영화, 기사, 상품 등을 추천할 수 있으며, 사용 프로세스도 매우 간편하다.

데이터 준비

알고리즘 선택 혹은 Auto ML활용

실시간 이벤트 수집 이후

실시간 추천제공

이렇게 간단한 프로세스는 머신러닝 학습 경험이 없는 개발자도 복잡한 맞춤화 기능을 애플리케이션에 쉽게 빌드할 수 있도록 쉽게 구성이 되어있다고 한다.

아마존 퍼스널라이즈 작동방식

이미지 출처: https://aws.amazon.com/ko/personalize/

아마존을 처음 사용할 때 부터 아마존의 추천로직이 항상 궁금하긴 했었다. 지금은 우리나라 온라인 쇼핑몰도 자연스럽게 내가 관심있어하는 상품들을 추천하고 나도 모르게 클릭/터치하고 있는 나를 발견하곤 한다. 나도 모르게 내 거래 상품들을 기록하고 분석하여 가장 관심있어할 만한 상품을 추천해주는 것은 사실 나의 선택을 더욱 편리하게 해준다고 생각한다. 하지만 과소비는 금물.. 추천해주는 상품들이 항상 가장 효율적인 소비는 아님을 알고, 다른 사람들이 관심이 있는 상품들이 내게도 꼭 필요한지 따져보는 것은 알고리즘을 이해함으로써 내 소비를 내가 주도적으로, 그리고 보다 똑똑하게 할 수 있는 방법이지 않을까 한다.

Reference

https://www.facebook.com/help/520348825116417

http://www.zdnet.co.kr/view/?no=20181130050507

https://m.blog.naver.com/sanny0314/220630765408

https://aws.amazon.com/ko/personalize/

https://aws.amazon.com/ko/blogs/korea/amazon-forecast-now-generally-available/

https://aws.amazon.com/ko/forecast/

https://www.slideshare.net/awskr/amazoncom-129165538

https://emptyfullconsultancy.tistory.com/3

http://www.kocca.kr/insight/vol05/vol05_04.pdf

음성 디자인에 대한 다른 글을 보고 싶다면.

https://brunch.co.kr/magazine/voicedesign