새로운 Bing 구축하기
Jordi Ribas, Microsoft CVP - 검색 및 AI
[테크수다 기자 도안구 eyeball@techsuda.com]
마이크로소프트 검색 서비스 Bing www.bing.com 과 OpenAI 의 ChatGPT 를 결합한 채팅 서비스가 등장한 이후 이 두 서비스를 어떻게 구축해 운영하고 있는지가 최고의 관심 사항 중 하나로 떠올랐다. 하지만 내부 인력들이 말하지 않으니 알 길이 없었다. 근데 내부 인물이 Linkedin 에 관련 내용에 대해 글을 2023년 2월 22일 올렸다.
(2) Building the New Bing | LinkedIn
오늘도 어김없이 Deepl.com 서비스를 통해 여기에 붙여넣기 하고 있다. 반드시 원문을 읽어 보시길. 난 그냥 대략적인 내용을 파악하기 위해 이 서비스를 이용하고 있기 때문이다.
1년 반 전, 저는 검색이 해결된 문제와는 거리가 멀고 오히려 혁명을 맞이할 준비가 되어 있다는 내용의 글을 썼습니다. 저는 딥러닝 모델을 적용하고 검색을 더욱 현대적이고 직관적으로 만들면 사용자 경험을 크게 개선할 수 있다고 제안했습니다.
최근 새로운 Bing을 발표하면서 이 비전을 향해 한 걸음 더 나아가고 있는 것 같아 매우 기쁩니다. 지난 몇 주간의 프리뷰 기간 동안 많은 질문을 받았기 때문에 새로운 Bing과 그 탄생 과정에 대해 조금 더 자세히 공유하고자 합니다.
비하인드 스토리: 새로운 Bing이 탄생하게 된 배경
지난 여름, OpenAI가 차세대 GPT 모델을 공개했는데, 그야말로 획기적이었습니다. 새 모델은 ChatGPT를 구동하는 GPT-3.5보다 훨씬 강력했으며, 합성, 요약, 채팅 및 생성 기능이 훨씬 더 뛰어났습니다. 이 새로운 모델을 보면서 우리는 길고 복잡한 자연어를 포함한 모든 쿼리에 대해 보다 정확하고 완전한 검색 결과를 제공할 수 있도록 GPT 기능을 Bing 검색 제품에 통합하는 방법을 모색하게 되었습니다.
기술 혁신의 비하인드 스토리: 프로메테우스
새로운 GPT 모델은 대규모 언어 모델(LLM)의 획기적인 발전이었지만, 다른 LLM과 마찬가지로 특정 시점의 데이터로 학습되었기 때문에 Bing의 백엔드와 결합하여 사용자 경험을 더욱 풍부하고 관련성 있으며 정확하게 만들 수 있다고 생각했습니다.
좀 더 구체적으로 설명하자면, 저희는 신선하고 포괄적인 Bing 인덱스, 순위, 답변 결과를 OpenAI의 최첨단 GPT 모델의 창의적인 추론 기능과 결합한 최초의 AI 모델인 Prometheus라는 독자적인 기술을 개발했습니다. Prometheus는 Bing과 GPT의 강력한 기능을 활용하여 Bing 오케스트레이터라는 구성 요소를 통해 일련의 내부 쿼리를 반복적으로 생성하며, 주어진 대화 컨텍스트 내에서 사용자 쿼리에 대한 정확하고 풍부한 답변을 제공하는 것을 목표로 합니다. 이 모든 것이 몇 밀리초 내에 이루어집니다. Prometheus에서 생성된 이 답변을 Chat 답변이라고 합니다.
관련성 있는 내부 쿼리를 선택하고 각 Bing 검색 결과를 활용하는 것은 모델에 관련성 있고 새로운 정보를 제공하여 최근 질문에 대한 답변을 제공하고 부정확성을 줄일 수 있기 때문에 Prometheus의 중요한 구성 요소이며, 이 방법을 접지라고 합니다. 다시 말해, 모델은 Bing에서 제공한 데이터를 기반으로 추론하므로 Bing 오케스트레이터를 통해 Bing 데이터에 근거를 두고 있습니다. 아래 다이어그램은 Prometheus가 높은 수준에서 어떻게 작동하는지 보여줍니다.
마지막 단계는 날씨, 주식, 스포츠, 뉴스 등 관련성 있는 Bing 검색 답변을 Chat 답변에 첨부하여 Bing의 강력한 기능을 더욱 활용하는 더욱 풍부하고 매력적인 사용자 경험을 제공하는 것입니다. 또한 Bing 접지 기술 덕분에 Prometheus는 사용자가 쉽게 클릭하여 해당 소스에 액세스하고 정보를 확인할 수 있도록 채팅 답변의 문장에 인용문을 통합할 수 있습니다. 이러한 소스로 트래픽을 보내는 것은 건강한 웹 생태계를 위해 중요하며, Bing의 최우선 목표 중 하나입니다.
해야 할 일이 더 있습니다: 모두에게 도움이 되고 포용적인 경험 보장하기
그라운딩은 놀라운 혁신이지만 새로운 기술이기 때문에 부정확성을 더욱 줄이고 불쾌하고 유해한 콘텐츠를 방지하는 등 책임감 있게 적용하는 방법에 대해 고민해야 합니다. 그렇기 때문에 새로운 Bing 미리 보기의 핵심 목표는 사용자 피드백을 수집하여 Prometheus를 더욱 개선하는 데 도움이 되도록 하는 것입니다.
이미 귀중한 사용자 피드백을 받았으며, 실험실에서 몇 달 동안 연구한 것보다 실제 사용자로부터 처음 2주 동안 더 많은 것을 배웠고, 이 최근 블로그에서 설명한 대로 이를 실행에 옮기고 있습니다. 예를 들어, 채팅 답변의 정확도를 높이기 위해 모델에 보내는 근거 데이터를 4배 늘릴 계획이며, 사용자가 작업과 목표에 따라 경험을 최적화할 수 있는 토글을 추가하는 것도 고려하고 있습니다.
또 다른 중요한 학습 사항은 채팅 세션이 너무 길면 기본 채팅 모델에 혼동을 일으켜 정확도가 떨어지거나 의도하지 않은 톤의 채팅 답변이 나올 수 있다는 것입니다. 그렇기 때문에 최근에 채팅 경험에 제한 시간을 도입했으며, 여러분의 피드백을 바탕으로 모델의 근거와 어조를 개선하면서 이를 확대하고 있습니다.
제품 혁신의 비하인드 스토리: 검색과 채팅의 통합
Prometheus는 놀랍고 선구적인 AI 기반 혁신이지만, 사용자 경험 관점에서 볼 때 이 기능을 Bing에 어떻게 통합해야 할지는 여전히 명확하지 않았습니다. 크게 두 가지 관점이 있었습니다:
팀원 중 일부는 검색이 매우 뿌리 깊은 습관이기 때문에 오늘날의 웹 검색과 같은 UX를 유지하고 기본 UX에 Prometheus 기반 Chat 답변만 추가하면 된다고 생각했습니다. 다른 답변과 마찬가지로 채팅 답변도 검색어와의 관련성에 따라 그 자리를 차지하게 될 것입니다.
Bing의 다른 사람들은 이것이 검색 패러다임을 기존의 웹 및 답변 결과에서 새로운 대화형 채팅 기반 검색 방식으로 바꿀 수 있는 기회라고 생각했습니다.
두 학파 모두 부분적으로는 옳았지만, 어느 쪽도 완전한 그림을 그리지는 못했습니다. 기존 검색을 옹호하는 팀은 일반적으로 탐색 쿼리를 사용하여 자신의 관점을 옹호하는 반면, 대화형 접근 방식을 추진하는 팀은 쇼핑이나 여행과 같은 리서치와 같은 검색 세션을 제시했습니다. 이 관찰을 설명하기 위해 아래 그래프와 같이 두 팀의 쿼리를 그래프로 표시해 보았습니다.
그 결과 어떤 쿼리는 일반 또는 검색 모드에서 더 나은 성능을 발휘하는 반면, 어떤 쿼리는 대화 또는 채팅 모드에서 더 나은 성능을 발휘한다는 사실이 분명해졌습니다. 또한 일부 사용자는 검색어에 따라 어느 쪽을 더 선호할 수도 있습니다. 따라서 사용자의 의도와 선호도에 따라 검색 모드와 채팅 모드 간에 원활하게 전환할 수 있는 이상적인 Bing 검색 제품이 필요했습니다.
디자인팀은 이 문제를 해결하기 위해 여러 번의 반복 작업을 거쳐 검색과 채팅을 단일 인터페이스에 통합하여 사용자가 페이지에서 UX 요소를 클릭하거나 스크롤 또는 위아래로 스와이프하는 것만으로 쉽게 전환할 수 있는 새로운 UX를 개발했습니다.
이러한 제품 또는 UX 혁신은 사람들이 직관적인 방식으로 제품의 잠재력을 최대한 활용할 수 있도록 하는 Prometheus 기술만큼이나 중요하다고 할 수 있습니다. 아래 동영상은 여행 검색 세션에서 검색에서 채팅으로, 채팅에서 검색으로 원활하게 전환되는 과정을 보여줍니다.
그 모든 것의 배경: 사람들
Prometheus의 힘과 새로운 검색-챗 상호 작용 모델은 향후 블로그에서 설명할 다른 혁신과 함께 탄생했습니다. 이러한 혁신은 검색을 한 차원 높은 수준으로 끌어올리는 새로운 Bing을 만드는 데 도움이 되었습니다. 저는 검색이 예전과 같지 않을 것이라고 진정으로 믿습니다.
새로운 Bing의 사용자는 보다 완전하고 맥락에 맞는 답변을 얻을 수 있으며, 경우에 따라 검색 세션에서 조사하는 시간을 절약할 수 있으므로 중요한 일에 더 많은 시간을 할애할 수 있게 됩니다. 또한 그 과정에서 검색이 더욱 대화형이고 재미있을 수 있다는 것을 알게 되기를 바랍니다.
프리뷰 기간과 그 이후에도 배우고 개선해야 할 점이 많지만, 새로운 Bing에 이러한 모든 기술과 제품 혁신이 집약된 것을 보니 겸허한 마음이 듭니다. 이는 Bing 팀의 수년간의 노력의 정점이자 끈기와 창의성을 보여주는 증거이기도 합니다. 이를 가능하게 해준 팀원들에게 큰 감사를 전하고 싶습니다.
마지막으로, 충성스러운 팬부터 처음 Bing을 사용해 보는 사용자까지 모든 Bing 사용자에게 감사드립니다. 여러분을 위해 새로운 Bing을 만들었으며 여러분의 피드백은 매우 소중합니다. 계속 개선할 수 있도록 의견을 공유해 주세요.
앞으로 몇 주, 몇 달 동안 더 많은 것을 공유할 수 있기를 기대합니다.
[테크수다 기자 도안구 eyeball@techsuda.com]
#ai #openai #chatgpt #bing #microsoft #prometheus #google #search
