대화를 기억한다, LLM
Chat Completion 방식
저는 AI를 활용한 서비스를 기획하고 있습니다.
저는 chatGPT와 같은 대형 언어 모델(LLM, Large Language Model)을 이용한 B2B 서비스를 만들고 있습니다. 저는 LLM을 직접 개발하거나 그 원천 기술을 알지는 못하지만, LLM을 활용하여 다양한 서비스를 제공할 수 있습니다. 이는 자동차를 제작하지는 못하지만 자동차를 운전해 여러 가지 일을 할 수 있는 것과 같습니다.
지난 글 1편 : 말을 이해한다, LLM
지난 글 2편 : 오픈북, LLM
지난 글 3편 : 다중인격, LLM
이 글의 제목은 '대화를 기억한다, LLM'입니다.
대화를 위해서는 최소 두 가지 전제 조건이 필요합니다. 첫째는 서로 말을 이해해야 하고, 둘째는 기존 대화를 기억해야 합니다.
드라마에서 치매 걸린 분과 대화를 할 때, 가장 큰 어려움은 치매 걸린 분이 기억하지 못하는 것입니다. 기억이 없으니, 모든 대화가 Zero Base에서 다시 시작합니다. Zero Base 대화는 서로가 의도하는 바를 제대로 설명할 수 없습니다.
LLM이 기존 구글/네이버 검색과 다른 많은 차이점이 있겠으나, LLM이 대화를 기억한다는 것은 큰 차이입니다. 물론 구글/네이버 검색이 제가 입력한 키워드를 기억하고, 키워드를 바탕으로 상품, 서비스를 추천합니다. 이는 키워드를 저장해서 활용할 뿐, 구글/네이버가 대화를 기억하지는 않습니다.
LLM이 대화를 기억한다는 예시는 다음과 같습니다.
1. (사용자) 부모님, 아내와 토요일 저녁 식사하려는 데, 메뉴 추천 부탁
2. (LLM) 한식 갈비찜, 양식 스테이크, 일식 초밥, 중식 짜장면 어떠신가요?
3. (사용자) 갈비찜 레시피와 재료 알려줘
4. (LLM) 갈비찜은 한국의 대표적인 전통 요리 중 하나로, 부드럽고 달콤한 맛이 특징입니다. 아래는 갈비찜의 기본 레시피와 재료입니다. 재료: 소갈비 1kg, 물 4컵, 당근 1개 등 (중략)
5. (사용자) 재료는 몇 인분이야?
6. (LLM) 위의 갈비찜 레시피는 약 4인분 기준으로 작성되었습니다.
위는 LLM이 1번 대화의 식사 인원수를 기억한다는 의미입니다.
LLM이 대화를 기억한다는 것을 기술적으로 'Chat Completion' 방식이라고 합니다.
- 대화 맥락 유지: 이전 대화 내용을 고려하여 적절한 응답을 생성합니다.
- 입력-출력 구조: 사용자의 입력(프롬프트)에 대해 모델이 적절한 응답을 출력합니다.
- 턴 기반 상호작용: 사용자와 AI가 번갈아가며 대화를 주고받는 형식입니다.
LLM은 'Chat Completion'과 대조되는 'Completion' 방식도 지원합니다.
- 단일 입력-출력: 일반적으로 하나의 프롬프트에 대해 한 번의 응답을 생성합니다.
- 맥락 제한: 이전 대화 내용을 고려하지 않고, 주어진 프롬프트만을 기반으로 텍스트를 생성합니다.
제가 LLM이 대화를 기억한다는 표현을 사용했습니다만, 기술적으로는 LLM 자체가 대화를 저장하지는 않습니다. LLM의 보조 장치가 대화를 기록했다가, 우리가 LLM과 대화할 때 기존 대화의 맥락을 LLM에게 제공합니다.
다시 위의 예시로 돌아가면, 기술적으로 LLM은 사용자의 질문(1, 3, 5)을 학습 또는 기록하지 않습니다. 사용자가 LLM에게 새로운 질문을 할 때, LLM의 보조 장치가 사용자의 새로운 질문 + 과거 대화 맥락을 LLM에게 함께 제공하고, LLM은 질문 + 과거 대화 맥락을 기준으로 답변합니다.
이는 우리가 병원 의사를 방문했을 때와 동일합니다. 제가 의사와 상담할 때, 의사는 과거 제 진료 차트를 살펴보면서 제 증상을 진단하여 조치를 취합니다. 진료 차트는 과거의 대화 목록이며, 제 증상은 현재의 질문입니다.
구글/네이버 검색이 키워드 저장과 달리 LLM의 대화 맥락을 기억한다는 것은 서비스 관점에서 미래에 엄청난 차이를 가져올 것입니다. 이 사항은 다음 편에서 이어집니다.
https://youtube.com/shorts/krpnYJUe9Aw?si=i7kv8kjT5c5E9V9W
홈페이지 사례 https://m2m.mirrordays.com
