AWS 리더들 조직 위한 생성형 AI 잠재력 논하다

보겔스 CTO와 스와미 시바수브라마니안 부수장

[테크수다 기자 도안구 eyeball@techsuda.com] 아마존웹서비스가 생성형 AI 시장에 뛰어들었습니다. 마이크로소프트와 오픈AI, 구글의 대결에 클라우드 1위 사업자로서 반격에 나섰습니다.

AWS, 생성형 AI로 구축할 수 있는 새로운 도구 발표 – 테크수다 (techsuda.com)

관련해서 AWS 스와미 시바수브라마니안(Swami Sivasubramanian) 데이터베이스, 분석, 머신러닝 부문 부사장과 보겔스 CTO가 조직을 위한 제너레이티브 AI의 잠재력에 대해 논의한 유튜브 영상이 있어 소개합니다.

하단에 ChatGPT 플러그인을 써서 스크립트를 가져와 Deepl 통해 번역했습니다. 오역이 있을 수 있으니 원문을 반드시 확인해주세요.

(39) Hello World: An Extended Conversation – Building a Product | Amazon Web Services - YouTube

https://www.youtube.com/watch?v=RnMuywSnIMg

Transcript:

(00:00) How would you build a product out of that? What  is it that your customers are asking you for? Yeah, our customers have been asking how do  I leverage the power of these foundation models without having to go through the phase of  actually pre-training or data acquisition, or the training, spending tens of millions of dollars,  let alone all this expertise to hire and build it? That's why we are very excited to actually  announce Bedrock.

(00:30) With Bedrock, now, customers don't have to go through all this process that  we went through in building these ML models. They can actually access it through an API and  they can just customize it by using the fine tuning mechanism and upload some of the core  data and get a fine tuned model that is only specific to them and their use case and  it won't be available for anybody else.

(00:54) All the output of these models generates a  model that is only specific to customer and not accessible to anybody else, available in a VPC with private link and so forth. So their data and IP is only  available to them and nobody else. And this will be like a step change  in being able to have access to this kind of transformational capability.

(01:18) So the chat's programs that we've seen until now and which the larger  audience have become familiar with, that's not at all what foundation models are. It's just an example of what you can do with it  because that's a public interface, but you could have a very unique one for your particular company  itself or for your particular application domain.

(01:39) 

Exactly. So when you think about these  foundation models, using these APIs, you can actually build a customer service  chatbot agent that actually takes in questions and generates an answer, which is an easier way  for even CS agents to be more efficient so that they don't spend time actually searching  through all their knowledge base and thinking of and composing answers. It accelerates  their ability to resolve a customer issue.

(02:06) Bedrock will actually come with set up  for first party models called Titan and it'll come with models of different sizes  both on the embedding side and actually on generator side because there are use cases  like Search Engine Relevance or various others. You want an Embedding model that  takes a text input and helps you build personalization search engine and whatnot.

(02:32) On the generator side, you can use  it to actually build things like a chat application or customer service  agent or code recommendation as an example and whatnot. And these are  some examples. So you'll do both. You mentioned there's different  models that customers can pick from. Why are there different ones? They are different ones  because of different use cases.

(02:56) So imagine if you are trying to run a use  case where it is interactive application like in code whisperer and whatnot you  want to actually — I'm typing actually a natural language prompt and I want to  actually get a response within a matter of seconds so that I don't wait for 10  seconds to get a response and so forth.

(03:20) So there are use cases like that where you  want the model to be very efficient and fast. So you want an inference model that is actually  optimized to be quantized faster and so forth.

 

이를 바탕으로 제품을 어떻게 만들 수 있을까요? 고객이 요구하는 것이 무엇인가요? 예, 고객들은 실제로 사전 교육이나 데이터 수집, 또는 수천만 달러를 들여 전문 인력을 고용하고 구축하는 단계를 거치지 않고도 이러한 기초 모델의 성능을 활용할 수 있는 방법을 문의해 왔습니다. 그렇기 때문에 실제로 베드락을 발표하게 되어 매우 기쁩니다.

(00:30) 이제 고객은 이러한 ML 모델을 구축할 때 겪었던 모든 과정을 거치지 않아도 됩니다. API를 통해 실제로 액세스하고 미세 조정 메커니즘을 사용하여 사용자 지정하고 핵심 데이터 중 일부를 업로드하여 자신과 사용 사례에만 맞는 미세 조정된 모델을 얻을 수 있으며 다른 사람은 사용할 수 없습니다.

(00:54) 이러한 모델의 모든 출력은 고객에게만 해당되고 다른 사람이 액세스할 수 없는 모델을 생성하며, 개인 링크 등이 있는 VPC에서 사용할 수 있습니다. 따라서 고객의 데이터와 IP는 고객만 사용할 수 있고 다른 누구도 사용할 수 없습니다. 이러한 종류의 혁신적 기능에 액세스할 수 있다는 점에서 획기적인 변화가 될 것입니다.

(01:18) 따라서 지금까지 우리가 보아왔고 더 많은 청중이 익숙해져 있는 채팅의 프로그램은 파운데이션 모델이 전혀 아닙니다. 이것은 공용 인터페이스이기 때문에 여러분이 할 수 있는 일의 예일 뿐이지만, 특정 회사 자체나 특정 애플리케이션 도메인에 대해 매우 독특한 인터페이스를 가질 수 있습니다.

(01:39) 바로 그거죠. 따라서 이러한 기본 모델을 생각하면 이러한 API를 사용하여 실제로 질문을 받고 답변을 생성하는 고객 서비스 챗봇 에이전트를 구축 할 수 있으며, 이는 CS 상담원도 실제로 모든 지식 기반을 검색하고 답변을 생각하고 작성하는 데 시간을 소비하지 않도록 더 쉽게 효율을 높일 수 있는 방법입니다. 따라서 고객 문제를 해결하는 속도가 빨라집니다.

(02:06) Bedrock은 실제로 Titan이라는 퍼스트 파티 모델을 위한 설정과 함께 제공되며, 검색 엔진 관련성이나 기타 다양한 사용 사례가 있기 때문에 임베딩 측면과 실제로 생성기 측면 모두에서 다양한 크기의 모델이 함께 제공됩니다. 텍스트 입력을 받아 개인화 검색 엔진 등을 구축하는 데 도움이 되는 임베딩 모델을 원합니다.

(02:32) 제너레이터 측면에서는 채팅 애플리케이션이나 고객 서비스 에이전트 또는 코드 추천과 같은 것을 실제로 구축하는 데 사용할 수 있습니다. 이것이 몇 가지 예입니다. 그래서 두 가지를 모두 할 수 있습니다. 고객이 선택할 수 있는 다양한 모델이 있다고 말씀하셨습니다. 다른 모델이 있는 이유는 무엇인가요? 사용 사례가 다르기 때문에 서로 다른 것입니다.

(02:56) 따라서 코드 위스퍼러와 같은 대화형 애플리케이션을 실행하려고 할 때 실제로 자연어 프롬프트를 입력하고 있는데 응답을 받기 위해 10초를 기다리지 않고 몇 초 안에 응답을 받고 싶다고 상상해 보십시오.

(03:20) 따라서 모델이 매우 효율적이고 빠르기를 원하는 사용 사례가 있습니다. 따라서 실제로 더 빠르게 정량화되도록 최적화된 추론 모델을 원할 수 있습니다.

Translated with www.DeepL.com/Translator (free version)