에어서치, 스마트블록
흔히들 블로그를 통해서 기업을 홍보하거나 개인의 영향력을 증대하기 위해서 많은 노력을 하고 있습니다. 기업에서 블로그 포스팅 대행사들을 여러 군데 관리해보면서 느낀 것은 예전의 블로그 로직을 바탕으로 아직도 고객들에게 그것을 강요하고 있다고?라는 것이었습니다.
그럼 현재, 그리고 앞으로의 네이버(NAVER) 로직 알고리즘은 어떤 방향으로 변화하고 있을까요?
네이버의 알고리즘은 C-Rank(씨랭크), D.I.A(다이아) 로직으로 발전해 왔고 앞으로는 사용자들마다 취향, 특성, 가치관을 파악하기 시작하는 방향으로 나아가기 시작했습니다. 기존에 네이버는 사용자가 검색한 키워드에 대해 검색 결과를 동일한 구성과 순서로 보여줬다는 것은 누구나 알고 계실 겁니다. 이는 파워블로거라는 새로운 개념을 탄생시키기도 하였죠.
하지만 이제 네이버는 점점 다양해지고 있는 검색 패턴의 미묘한 차이를 반영하여 검색 결과를 보여주겠다고 말합니다. 바로 "프로젝트 AURORA"를 통해서 말이죠.
그렇다면 네이버는 프로젝트 오로라(AURORA)를 통해서 왜 이러한 방향성을 가지고 나아가고 있으며, 어떠한 변화를 일으키고 있을까요?
네이버 방향성 변화의 이유로는 다양한 요소들이 내포되어 있습니다.
하지만 가장 중요한 점은 앞으로는 더욱더 콘텐츠 제작자보다는 "검색 사용자"들을 위한 방향으로 나아갈 것으로 생각됩니다. 검색 사용자가 증가하면 콘텐츠를 제공하는 사용자들은 알아서 진입하게 되는 시스템으로 발전하는 것이라고 할 수 있죠.
검색 사용자들이 동일한 검색 결과를 봄으로써 상위에 노출된 정보만을 확인해왔습니다. 하지만 로직 알고리즘을 파악하여 상위 노출을 하려는 방향으로만 나아가는 블로거들이나 마케팅 대행사들 덕분에 사용자들은 자신들이 원하는 정보를 제대로 확인하기가 어려워졌습니다.
네이버는 지금 이 순간에도 많은 데이터들이 쌓이고 있습니다. 굳이 최신의 데이터, 좋은 품질의 데이터를 사용자에게 보여주지 않을 이유가 없는 것이죠.
이전에는 무언가 궁금한 것이 생기면 "초록창에 검색해봐"가 일반적으로 떠오르는 것이었습니다. 하지만 점점 사용자가 원하지 않는 데이터들이 상위에 노출됨으로써 사용자들의 피로감과 정보에 대한 신뢰성이 감소했기 때문에 사용자들의 이탈이 증가해왔습니다.
"같은 질의라고 해도 입력한 사람마다 의도가 다른 경우가 많고, 이러한 의도를 표현하는 방식 또한 예측할 수 없습니다. 그리고 질의에 상응하는 문서들 또한 같은 주제이더라도 다양성을 가집니다."
"이런 다양성은 웹 검색을 처리함에 있어 필연적으로 높은 복잡도를 야기합니다. 여기에 방대한 웹 문서의 스케일이 더해진다면 엄청난 복잡도 및 다양성을 가진 도전 과제가 되는 것이라고 할 수 있습니다."
"네이버 검색에서는 복잡하고 다양한 웹 검색의 품질을 높이기 위해 노력해왔고, 미스 매치가 발생하는 부분을 의미적으로 해소하기 위해서 "딥 러닝(Deep Learning)" 기반의 매칭 방법론을 도입하고 있습니다. 그리고 사용자들의 질의 의도에 최적화된 검색 결과를 탐색하기 위해 "기계 학습(Machine Learning)" 기법을 통해 높은 수준의 병렬화 및 최적화 작업을 위한 노력을 하고 있습니다."
"프로젝트 AURORA(AI-based Universal Robust Ranking & Answering)는 앞서 말한 네이버의 노력을 집대성한 것이며, 앞으로도 기술적 도전 과제들을 해결해 나갈 예정입니다."
-네이버 "송영인" 님 인터뷰 중 일부 발췌
그렇다면 네이버는 어떤 방법으로 프로젝트 AURORA를 사용자들에게 보여주고 있을까요?
"잘 보여주기 위한" 기능으로 이를 위해 평범한 검색 결과에 추가의 정보를 보여주는 것이 "리치 결과(Rich Results)"라고 네이버는 이야기합니다. 예를 들면, 별점, 리뷰, 주소 등과 같이 웹 페이지의 구조화 데이터가 발견되는 경우 해당 정보들을 부가적인 정보로 사용자에게 보여주는 것이죠.
여기서 구조화된 데이터라는 것은 사이트의 검색엔진 최적화(SEO)가 제대로 이루어졌다면 네이버가 사이트에서 담고 있는 추가 정보를 자동으로 사용자에게 보여준다는 것으로도 생각해볼 수 있습니다. 물론 네이버는 모든 구조화된 데이터를 노출하는 것은 아니라 사용자에게 적합한 정보를 제공한다고 판단되는 경우에 노출될 수 있다고 합니다. 그렇기에 네이버는 2022년 7월부터 웹 검색 결과에 Schema.org를 전면 확대 적용했습니다.
이러한 리치 결과라는 개념을 통해서 확인할 수 있는 바는 사이트 운영자에게는 추가 정보를 손쉽게 사용자에게 전달할 수 있고, 검색 사용자들은 원하는 정보를 얻기 위해서 리치 결과를 이용함으로써 CTR(클릭률)의 상승을 가져온다고 할 수 있습니다. 하지만 그만큼 사이트의 SEO에 대한 더욱 신경 써야 한다는 점을 시사하고 있습니다.
네이버에서는 2022년 5월 3일 Search Universe라는 행사를 통해 스마트 블록과 에어 서치라는 기능에 대한 이야기를 진행했습니다. 메인 발표는 네이버의 최 재호님이 진행하셨습니다.
"What do users search for?"
과거에는 검색이 단순히 정보를 찾는데 국한되어 있었다면, 점점 검색을 사용하는 용도가 상품을 구매하거나 취향에 맞는 콘텐츠를 탐색하는 용도로 변화해 왔습니다.
1999년: 통합 검색의 시작 (뉴스, 지식인, 사전, 블로그, 카페, 쇼핑)
2009년: 모바일 환경 최적화
2016년: SEM + 창작자 중심 (스마트 스토어, 스마트플레이스, 인플루언서 검색, 파파고 번역)
2021년: Airsearch (Airs, Aitems, Airspace, 멀티모달AI, 지식베이스, 지식 스니펫)
그래서 현재 네이버는 통합 검색에 이은 새로운 검색 트렌드를 주도하고 있습니다. 이는 사용자가 원하는 검색 결과를 의도를 파악하여 세분화하여 맞춤형으로 제공하는 것이 가능해지고 있다는 뜻입니다.
에어 서치에서 가장 중요한 가치가 사용자들의 어떤 니즈를 채워줄 수 있을지는 아래와 같이 4가지를 제시하였습니다.
확실한 답(팩트) - Answer: 정확한 답 제공 목표.
다양한 정보를 보고 싶다.(정보의 다양성) - Explore: 취향에 따라 다양한 정보 탐색 제공.
관심 정보를 더 보고 싶다.(추가 정보) - Dive: 사용자의 행동에 민감하게 반응, 관심 있는 정보를 더 볼 수 있도록 제공.
새로운 시각이 필요하다.(정보의 창의성) - Discover: 사용자가 예상치 못한 새로운 정보를 발견할 수 있는 통로 제공.
에어서치는 스마트 블록을 통해 위와 같은 사용자의 다양한 검색 니즈를 만족시킬 수 있도록 나아갈 것이라고 이야기했습니다. 여기서 스마트 블록이란, 사용자의 검색의도를 세분화한 새로운 검색 결과의 단위를 "스마트 블록"이라고 네이버는 정의하고 있습니다.
예를 들면, 똑같은 지역의 날씨를 검색하더라도 생활 정보에 관심이 많은 사용자들에게는 해당 부분의 생활 정보에 대한 스마트 블록을 제공하고, 여행에 관심이 많은 사용자들에게는 여행 준비물, 해당 지역의 계절별 옷차림 정보 등의 스마트 블록을 제공함으로써 사용자의 니즈를 충족시키도록 한다는 겁니다.
스마트블록은 일부 검색 키워드에서부터 시작하여 지속적으로 확대되어 왔습니다. 네이버에서 파악하기로는 이 스마트블록의 노출량은 점점 증가하고 있으며, 사용자들의 스마트블록 클릭 또한 증가하고 있는 것으로 확인된다고 합니다. 또, 인플루언서 창작자 콘텐츠 노출이 616% 가량 증가가 되었다고 하니 인플루언서에게는 스마트블록이라는 로직이 좋은 영향이 아닐 수 없습니다.
위에서 살펴보았던 4가지, 팩트/정보의 다양성/추가 정보/정보의 창의성이라는 요소를 충족시키기 위해서 네이버는 아래와 같은 블록을 통해 사용자에게 제공하고 있습니다.
Answer(정답형 블록)
정확한 정답을 제공하기 위한 블록.
지식베이스, 지식 스니펫이 대표적인 서비스. AR기술+초거대 언어 모델을 통한 사용자 인터렉션을 통해 새로운 검색 경험을 제공하기 위한 티라노사우르스라는 서비스를 제공하고 있습니다.
이러한 정답형 블록은 네이버 전체 검색의 약 30%를 차지하는 정답형 검색 니즈를 충족시키고자 제공되고 있습니다.
Explore(탐색형 블록)
취향에 따라 다양한 검색 결과를 탐색하기 위한 블록.
사용자가 입력한 검색어와 일치하는 확실한 답이 없거나, 상황에 따라 다른 경우가 발생하는 정보의 경우 이를 쉽고 빠르게 탐색할 수 있는 기능을 제공합니다.
무질서의 정도가 높은 정보에 대해서 자동으로 스마트블록이 생성되어 취향에 따라 다채롭게 추천이 될 수 있습니다. 이 기능은 앞으로는 취향을 많이 타는 정보에 대해서는 버티컬 정보로도 제공될 예정이라고 합니다.
네이버의 이야기로는 "취향에 따라 다양한 정보를 탐색할 수 있도록 만들기 위해서는 사용자가 입력한 검색어뿐만 아니라, 나이, 성별, 구매 이력 등을 기반으로 랭킹 하는 기술이 필요합니다. 기존의 턴 매칭 방식으로는 가져올 수 없었던 블록들을 Deep 매칭 기술이 적용된 Deep Retriever를 통해 가져온 후 Personalized Ranker를 통해 정렬한 후 개인의 취향에 따라 다양한 블록 결과를 제공하고 있습니다."라고 말합니다.
예를 들면, 집 꾸미기라는 검색어에 인테리어라는 블록을 가져온 후, 20대 남성이라는 사용자 정보와 최근 구매 이력 등을 기반으로 블록 랭킹을 최적화합니다.
Dive(반응형 블록)
관심 있는 정보를 더 깊게 파악하기 위한 블록. 대표적인 예로는 멀티모달 기술이 있습니다.
사용자 입력 검색어, 클릭 문서, 이전 검색 이력을 참조하여 최적의 검색 결과를 사용자에게 제공합니다. 멀티모달을 예로 들면, 마음에 드는 신발 이미지를 탐색한 뒤, 색상 검색 값을 추가하면 이미지+텍스트 멀티모달 입력 값에 기반하여 원하는 색상의 신발 모델을 탐색할 수 있는 것입니다.
사용자의 행동에 민감하게 반응하여 관심 있는 정보를 더 깊게 보여주기 위해서는 GCN 기반 추천 기술과 Doc2query라는 사용자 의도 추정 기술을 사용합니다. 예를 들어, 레드와인 요리를 검색하고 연말 파티 음식을 클릭한 사용자에게는 함께 곁들일 수 있는 뱅쇼 만드는 법을 추천할 수 있게 되는 것입니다.
Discover(발견형 블록)
새로운 검색 결과를 발견할 수 있도록 하기 위한 블록입니다.
사용자가 입력한 검색어와 직간접적으로 연관이 되어있거나 사용자가 관심 있어할 만한 검색어와 콘텐츠들을 제공합니다. 예를 들면 연예인의 패션을 검색하다 보면 방송에서 등장했던 인기 있는 상품이나, 다른 연예인들의 패션 아이템들을 우연히 발견할 수 있도록 서비스를 제공합니다.
검색 결과 외에도 사용자가 처한 상황, 문제를 해결할 수 있는 방법을 발견할 수 있도록 Universal Advisor라는 기능도 구축 중에 있다고 합니다.
그렇다면 네이버 AURORA 프로젝트가 시사하는 바는 무엇일까요? 제 주관적인 의견은 아래와 같습니다.
블로거라면 인플루언서 타이틀을 달아야 한다.
블로거들도 로직 크롤러가 페이지를 수집할 때, 이해할 수 있도록 틀을 갖춰야 한다. (지식 스니펫 노출 등을 위해서)
블로거들의 경우 같은 키워드라도 다양한 표현 방식으로 포스팅을 작성해야 한다.
현재까지는 주로 검색량이 높은 대형 키워드에 대해서 스마트블록이 생성되고 있기 때문에 스마트블록을 확인하여 블록에 노출될 수 있는 포스팅을 작성하거나 스마트블록을 피해서 포스팅을 진행해야 한다. (다만, 앞으로 스마트블록 노출에 대해서 연구하지 않으면 노출은 힘들어질 것.)
사이트 제작자는 SEO를 우선적으로 고려해야 한다.
네이버의 변화는 과연 좋은 성과를 보여줄 수 있을지 지켜봐야겠습니다.