11. Perplexity: 검색과 AI의 미래
검색의 미래
인류는 항상 지식을 전파하고 전달하는 방법을 발전시켜 왔습니다. 인터넷은 지식을 빠르게 확산하는 도구로서, 카테고리화된 주제별 검색(Yahoo)에서 링크 조직화(Google)로 발전했습니다. 그러나 우리가 직면한 새로운 시대는 단순한 검색을 넘어선 ‘지식 발견’을 요구하고 있습니다.
지금은 구글링을 통해 30분 정도 걸리는 질문을 매우 빠르고 신뢰할 수 있게 답변할 수 있는 제품을 만들고 싶습니다. - Perplexity CTO Denis Yarats
지식 전달의 진화
아라빈드 스리니바스(Aravind Srinivas)는 인터넷 이전부터 지식의 전파가 중요한 과제였음을 강조합니다. 초기에는 단순한 주제별 조직화(Yahoo)가 중심이었지만, 점차적으로 링크 조직화와 즉각적인 답변을 제공하는 방식으로 진화했습니다. Google의 지식 그래프(Knowledge Graph)를 통해 제공되는 즉각적인 답변은 이러한 진화를 잘 보여줍니다. Aravind Srinivas는 검색이 더 깊이 있는 답변으로 발전하면서, 예전에 할 수 없었던 질문을 던지고, 새로운 종류의 지식 전달이 가능해졌다고 설명합니다.
2010년대에도 Google 트래픽의 3분의 1은 그저 즉각적인 답변이었습니다. 즉, Google Knowledge Graph에서 제공하는 즉각적인 답변, Freebase와 Wikidata에서 가져온 것입니다. 그래서 최소 30%에서 40%의 검색 트래픽이 단순히 답변에 불과하다는 것이 명확했습니다. 그리고 나머지 60~70%도 지금 Perplexity가 제공하는 것처럼 더 깊이 있는 답변을 할 수 있습니다.
Perplexity의 목표는 단순한 검색이나 답변 엔진을 만드는 것이 아닌, 인간의 근본적인 호기심을 자극하는 ‘지식 발견’을 추구하고 있습니다. 이는 챗봇이나 음성 인터페이스 등을 통해 구현될 수 있지만, 그 근본적인 목표는 사람들이 새로운 지식을 발견하도록 돕는 것입니다.
하지만 더 깊이 있는 답변, 더 깊이 있는 연구의 새로운 힘으로, 이전에 할 수 없었던 질문을 할 수 있습니다. 예를 들어, “AWS가 Netflix에서 사용되고 있나요?” 같은 질문은 기존의 단순한 검색 엔진으로는 쉽게 답할 수 없었지만, 이제는 더 깊은 답변과 연구가 가능해지면서 이런 질문에 대한 답을 제공할 수 있게 되었습니다. 검색 엔진과 답변 엔진의 차이를 명확히 설명하는 것도 마찬가지입니다. 그래서 이제 새로운 종류의 질문, 새로운 종류의 지식 전파가 가능해졌습니다. 그리고 Perplexity는 단순히 검색이나 답변 엔진이 아니라, 지식 발견(knowledge discovery)에 초점을 맞추고 있다고 믿습니다. 이것이 더 큰 임무이며, 이를 챗봇, 답변 봇, 음성 인터페이스 등을 통해 실현할 수 있습니다. 그러나 이보다 더 큰 것이 사람들이 새로운 것을 발견하도록 이끄는 것입니다. 이것이 우리가 Perplexity에서 일하고자 하는 근본적인 인간의 호기심입니다. - Aravind Srinivas
Perplexity Pages: 지식 공유의 새로운 방식
Perplexity Pages는 사용자가 자신의 검색 여정을 다른 사람들과 공유할 수 있게 해주는 도구입니다. 스리니바스는 한 사람이 얻은 지식을 공유함으로써, 다른 사람들이 그 경험을 통해 배울 수 있도록 하는 것이 목표라고 설명합니다. 이를 통해 사용자는 자신만의 연구 자료나 블로그 글을 작성할 수 있으며, 이러한 지식의 공유는 단순한 검색을 넘어서는 중요한 진전을 이룰 수 있습니다.
우리가 작업 중인 Pages 프로젝트를 통해, 우리는 사람들이 많은 인간의 노력 없이 새로운 기사를 만들 수 있도록 하고 있습니다. 그리고 그 통찰력은 당신이 Perplexity에서 했던 검색 세션, 질문이 단지 당신에게만 유용할 필요가 없다는 것이었습니다...
... 왜 Perplexity의 단일 Q&A 세션에서 배운 것을 전 세계에 전파하지 않겠습니까? 저는 더 많은 것들이 있기를 바랍니다. 이것은 사람들이 연구 기사, 블로그 게시물, 심지어는 특정 주제에 관한 작은 책을 만들 수 있는 더 큰 무언가를 위한 시작일 뿐입니다. 만약 내가 검색에 대한 이해가 전혀 없다고 가정하고 검색 회사를 창업하고 싶다면, Perplexity와 같은 도구가 있으면 놀라웠을 것입니다. “봇이 어떻게 작동하나요? 크롤링은 어떻게 이루어지나요? 랭킹이 무엇인가요? BM25가 무엇인가요?” 한 시간의 검색 세션을 통해 내가 전문가와 한 달간 이야기한 것과 같은 지식을 얻었습니다. 이것은 인터넷 검색보다 더 큰 것입니다. 이것은 지식에 관한 것입니다.
- Aravind Srinivas
맞춤형 지식 전달의 가능성
Perplexity는 검색 결과를 단순히 제공하는 것이 아니라, 사용자의 수준에 맞게 맞춤형 지식을 전달하는 것을 목표로 합니다. 예를 들어, 중학생이 핵분열에 대해 질문하면, 쉽게 이해할 수 있는 방식으로 답변이 제공되지만, 수학 박사에게는 더 깊이 있는 설명이 제공됩니다. 이러한 맞춤형 접근은 기존의 검색 시스템에서는 불가능했던 방식으로, Perplexity는 이를 통해 사용자가 더 나은 이해를 할 수 있도록 돕고자 합니다.
컨텍스트 윈도우와 메모리의 역할
‘컨텍스트 윈도우’는 AI가 한 번에 처리할 수 있는 정보의 양을 의미합니다. AI 모델이 처리할 수 있는 정보의 양이 많아지면, 보다 긴 문서나 더 많은 데이터를 한꺼번에 분석할 수 있게 됩니다. 하지만 이로 인해 AI가 혼란스러워질 수 있는 단점이 존재합니다.
Aravind Srinivas는 컨텍스트 윈도우의 확장이 검색과 지식 발견에 새로운 가능성을 열어준다고 설명합니다. 예를 들어, 사용자가 자신의 파일이나 Google Drive에서 정보를 검색할 때, 더 많은 정보를 한 번에 처리할 수 있는 능력은 기존의 웹 인덱싱 방식과는 다른 차원의 접근을 요구합니다.
또한, 메모리 기능을 통해 시스템이 사용자의 데이터를 효율적으로 관리하고, 필요한 정보를 적시에 제공할 수 있도록 하는 것이 중요합니다. 메모리 개념 관련해서 Aravind Srinivas는 AI가 사용자의 데이터를 기억할 수 있는 능력을 갖추게 될 것이라고 말합니다. 그러나 이 기억 기능은 AI가 단순히 모든 데이터를 기억하는 방식이 아닙니다. 중요한 것은 AI가 언제 데이터를 기억하고, 언제 잊어버려야 하는지를 아는 것입니다. 예를 들어, AI가 특정 사용자의 선호도나 과거의 행동을 기억해야 하는 경우, 그 정보를 유지하고, 필요 없을 때는 그 정보를 별도의 데이터베이스로 옮겨놓을 수 있어야 합니다.
그는 AI가 모든 데이터를 계속해서 기억하는 방식보다는, 필요할 때만 그 정보를 불러올 수 있는 효율적인 시스템이 필요하다고 말합니다. 이는 단순히 컨텍스트 윈도우를 계속해서 늘리는 것보다 더 효율적인 접근 방식입니다. 컨텍스트 윈도우를 무작정 늘리면 AI가 모든 정보를 계속해서 처리해야 하므로, 이는 비효율적일 수 있습니다. 이밖에 프롬프트 관리 관점에서 Aravind Srinivas는 AI가 프롬프트에 어떤 정보를 넣고, 어떤 정보를 별도로 저장할지를 아는 것이 중요하다고 강조합니다. 이렇게 하면 AI가 보다 효율적으로 작동할 수 있으며, 사용자는 더 나은 성능을 경험할 수 있습니다.
인간 호기심의 지속적인 가치
Perplexity의 궁극적인 목표는 AI가 인간의 호기심을 자극하고, 지식을 발견하는 여정을 지속하도록 돕는 것입니다. Aravind Srinivas는 인간 호기심이 AI의 발전과 함께 더 강력해지고, 더 많은 진실을 추구하게 될 것이라고 믿습니다.
저는 호기심이 인간을 특별하게 만든다고 생각하며, 우리는 그것을 충족시키기를 원합니다. 이는 회사의 미션이며, 우리는 AI와 이러한 최첨단 모델의 힘을 이용해 그것을 달성하고자 합니다. 그리고 더 강력한 첨단 AI가 있어도, 인간의 호기심은 사라지지 않을 것이며, 그것은 인간을 더욱 특별하게 만들 것입니다. 모든 추가된 능력과 함께, 그들은 더 강력해지고, 더 호기심이 많아지고, 더 많은 지식을 추구하며, 이는 무한의 시작으로 이어질 것입니다.
- Aravind Srinivas
AI의 미래
인공지능(AI)의 발전은 단순한 기술 혁신을 넘어, 인간과 기계 간의 관계를 새롭게 정의하고 있습니다. Perplexity 창업자 아라빈드 스리니바스(Aravind Srinivas)는 AGI(Artificial General Intelligence) 시스템의 가능성을 탐구하며, AI가 인간과 깊은 관계를 형성할 수 있는 잠재력에 대해서 Replika나 character.ai와 같은 앱들, 그리고 OpenAI의 최근 데모에서 나타난 Samantha 음성 사례를 언급하며, 이러한 가능성이 이미 현실화되고 있다고 밝혔습니다.
그러나 이러한 AI가 진정으로 스마트해서인지 아니면 단순히 매력적이어서인지 구분하는 것은 쉽지 않습니다. 이는 AI가 인간의 호기심을 자극하는 동시에, 우리의 어두운 본성을 어떻게 다룰 것인가라는 문제와도 연결됩니다. Aravind Srinivas는 마치 매슬로우의 욕구 이론처럼 인간의 자기실현과 성취감이 진정한 인간 관계와 관심사 추구에서 온다고 보고 있습니다. 그는 이러한 관계와 지식의 풍요로움이 제로섬 사고방식을 없애고, 더 긍정적인 사회를 만드는 데 기여할 것이라고 기대하고 있습니다.
하지만, Aravind Srinivas는 AI 챗봇이나 AI 연인과 깊은 정서적 유대감을 형성하는 미래에 대해서도 조심스러운 입장을 가지고 있습니다. 그는 일부 투자자들이 환각(hallucination)을 특징으로 삼아 돈을 벌라는 조언을 받았지만, 그 대신 더 어려운 길을 선택하고 싶다고 밝혔습니다. 스리니바스는 진실을 추구하는 Perplexity의 접근법이 강력한 도구로 진실이 왜곡될 가능성을 경계해야 한다고 강조했습니다. 이를 위해 과학적 방법과 동료 평가(peer review), 그리고 다수의 동의를 거치는 과정이 중요하다고 강조합니다.
“진정한 감정적 연결이 있는 것처럼 보일 수 있지만, 실제로는 아무것도 없을 수 있습니다 (You can appear to have a true emotional connection but not have anything)”
- Aravind Srinivas
“하지만 적어도 우리가 이해할 수 있는 과학이 있으며, 어느 정도까지는 진실이 무엇인지 이해하고 있습니다 (But at least there is a science to it that we understand like what is truth, at least to a certain extent)”
- Aravind Srinivas
Aravind Srinivas는 AI가 인간의 장기적인 번영을 목표로 삼아, 인간의 관심사를 대표하고 그들의 삶의 목표를 달성하는 데 도움을 줄 수 있기를 희망합니다. 이러한 AI 코치는 인간의 목표를 이해하고, 이를 위해 필요한 방향으로 안내하는 역할을 할 수 있을 것입니다.
Aravind Srinivas는 AI가 인간의 지식을 확장하고, 새로운 발견을 가능하게 하는 도구로서의 역할을 할 수 있다고 믿고 있습니다. 그는 AI가 단순히 정보를 제공하는 것을 넘어, 사용자가 더 깊이 있는 탐구를 할 수 있도록 돕는 역할을 할 수 있기를 기대하고 있습니다. Perplexity는 이러한 비전을 바탕으로, AI와 인간의 관계를 재정의하고, AI가 인간의 지식 확장을 돕는 동반자로 자리 잡을 수 있도록 하는 데 주력하고 있습니다.
검색의 미래는 인간의 호기심과 AI의 지능이 결합된 새로운 형태로 다가오고 있습니다. AI와 인간의 관계가 깊어질수록, 우리는 기술의 발전이 가져올 잠재적 위험과 기회를 동시에 고려해야 합니다. AI가 인간에게 더 나은 삶을 제공할 수 있는 도구로 발전하는 동시에, 인간성을 잃지 않는 방향으로 나아가야 할 것입니다.
