생성형AI 메이커로그 : 초기기획 첫 단계
생성형AI로 우리 팀만의 서비스를 만들어보자!
이전 글에서 현재 생성형AI 기술이 도입되고 있는 현황과 그에 활용되는 RAG 기술에 대해
여러 케이스를 바탕으로 정리하고, 리서치해 보았다.
그리고, 이제부터는 하나의 서비스를 기획하는 과정을 메이커로그로 정리해 보고자 한다.
기획자, 개발자, 디자이너로 구성된 팀을 구성하였고,
생성형AI 기술을 활용한 서비스를 만들어 갈 것이며, 목표는 서비스 출시 후 운영으로 정하였다.
그 과정에서의 고민들을, 프로덕트의 완성 후 회고 형식이 아닌, 중간중간의 고민을 담는 형식으로 작성할 것이다.
이번 글은 첫 글로서, 현재 생성형AI의 트렌드, 시장 상황을 바탕으로 어떠한 서비스를,
왜 만들어 보고자 하였는지 정리하며,
앞으로 수없이 수정되겠지만 어떠한 서비스를 만들어보고자 하는지, 정리해 보고자 한다.
즉, 초기기획 내용을 메이커로그로 작성해 보겠다!
초기기획 목차
초기기획 내용의 목차는 아래와 같다.
리서치 기반, 현실적인 면을 고려한 생성형AI 기술 도입 방안
생성형AI를 활용하여 유저의 편익을 이끌어낼 수 있는, Edge 도출
서비스 도메인 선정
도메인에서 서비스하고자 하는 기능 명세
기술개발 및 기능구현 방안 도출
일반적으로 제로베이스에서 제품을 구현하기 위해서는,
유저로부터 시작해서, 유저의 니즈를 도출하는 것이 보통 가장 먼저 이루어진다.
그러나 이번에는 이전에 최근 생성형AI 기술이 도입되는 트렌드를
대규모 기업, 스타트업 등으로 구별하여 분석하였고,
현실적으로 지금 구성한 팀으로 대규모 기업의 방식을 따라갈 수 없기에
이전 리서치 내용을 바탕으로 현실적으로 구현할 수 있는 기능의 범위와
생성형AI를 활용하기 위해 들일 리소스, 도입방안을 먼저 고민하였다.
일반적으로 기술에 유저의 니즈를 맞추는 것은 지양해야 하는 방향성이지만,
팀원들 스스로의 생성형AI 기획 역량 성장을 위해 진행하는 프로젝트이며
생성형AI 기술 자체가 완전히 하입하고 그 자체로 유저의 궁금증과 니즈가 있는 기술이므로
이러한 순서대로 진행하였음을 명시하고자 한다.
그럼, 시작해 보겠다!
리서치 기반, 현실적인 면을 고려한 생성형AI 기술 도입 방안
이전 리서치 글에서 정리한 현재 생성형AI 기술의 도입 현황을 다시 짚고 넘어가겠다.
타 서비스에서 생성형AI를 어떻게 도입하는지 먼저 알아야,
우리 서비스에서 어떻게 생성형AI를 활용할 수 있을지 도출할 수 있을 것이니까.
대규모 서비스 : 특화된 도메인 데이터의 활용
먼저, 배민, 야놀자, 쏘카와 같은 규모와 기술력을 모두 가진 서비스에서
대량의 데이터를 활용하여 주요 기능으로 적용되고 있다.
공통적으로, 배민과 야놀자는 리뷰 데이터, 쏘카는 유저 상담 데이터와 같은 대량의 자체 보유 데이터를
RAG 방법론을 통해 도입하여 활용하고 있다.
배민의 경우, 리뷰, 주문기록, 음식평가 등 대량의 데이터를 생성형AI 도입에 활용하였다.위 배민이 ‘배달 리뷰 데이터’를 활용하듯,
본인들이 가진 도메인에서의 노하우와 특화된 데이터를 생성형AI와 함께 활용하여,
RAG, 파인튜닝, 프롬프트 엔지니어링 등의 방법론으로
배달, 숙박, 렌트카와 같은 특정 분야에 특화된 AI 서비스를 제공하고 있다.
소규모 서비스/스타트업 : 좁은 분야에서의 활용, 인풋과 아웃풋의 통제와 프롬프트
새로운 스타트업들은 생각보다 기발한 아이디어보다, 특화된 좁은 분야에서의 ‘한 끝 차이’를 만들어내고 있다.
예를 들면, 전체적인 글을 쓰는 것을 도와주는 것이 아니라,
‘결혼식 축사 쓰기 보조’, ‘크리스마스 카드 쓰기’와 같이 좁은 분야에서의 차이를 만들어내는 모습이다.
또한, 소규모 기업의 경우 다량의 유저 리뷰나 도메인 데이터를 보유하지 않았으므로,
RAG 방법론이나 파인튜닝보다는,
AI의 인풋과 아웃풋을 통제하는 메시지 제너레이터,
템플릿과 프롬프트 엔지니어링 등의
비교적 비용과 데이터의 니즈가 적은 방식으로 생성형AI를 도입하고 있다.
더 자세한 내용은 메이커로그 이전 순서 글에 서술되어 있다.
관심이 가신다면 읽어보시면 더욱 좋겠다 :)
https://blog.naver.com/hsm4680/223401950892
이처럼, 데이터, 매뉴얼, 대화 기록 등의 활용할 수 있는 데이터에 따라,
그 외 생성형AI 기술 도입에 활용할 수 있는 인력 등의 리소스에 따라
생성형AI 기술은 다르게 적용되어 서비스화되고 있다.
그리고 당연하게도, 현재 3인 팀으로 구성한 우리 팀은 소규모 스타트업의 생성형AI 도입 방법론을 참고하였다.
그리고, 현실적인 범위에서 도입할 수 있는 개발 범위는 다음과 같다.
서비스와 유저에 특화된 메시지 제너레이터를 통해 GPT에 들어가는 인풋을 최적화
서비스의 니즈에 맞도록 생성형AI 모델을 프롬프트 엔지니어링
데이터를 활용해야 할 경우, 타 서비스나 오픈소스의 활용할 수 있는 데이터를 활용
데이터의 절대적인 양이 모자라므로, 예시 데이터를 활용하여 추가 데이터를 생성
생성한 데이터를 평가하고 다시 튜닝(클로바 시선 참조)
모델이 생성한 답변을 유저의 입장에서 이해하기 쉽도록 변환하여 전달하는 템플릿
클로바 스튜디오 — 데이터의 생성, 프롬프트 엔지니어링, 검수의 반복 과정
여기서, 프롬프트 엔지니어링의 방법론은,
클로바 시선에서 정리된,
네이버 선물하기의 선물 멘트 생성 서비스 제작 과정을 많이 참고하였다.
https://blog.naver.com/n_cloudplatform/223396827701
아래 내용은, 네이버에서 클로바 모델을 사용하여
선물의 종류와 받는 사람에게 적절한 선물 멘트를 생성하는 서비스를 도입하는 과정이며,
프롬프트 엔지니어링과 데이터의 생성, 검수, 학습, 최적화의 전 과정이 담겨 있다.
여기서 주목하고, 도입하고자 한 내용은,
첫째, 프롬프트 엔지니어링을 한 번에 끝내는 것이 아닌,
카테고리별로 나누어 지속적으로 프롬프트를 바꾸어 개선하며,
대상과 카테고리를 상세하게 명시하고, 나누어 프롬프트 엔지니어링하는 것이 필요하다.
프롬프트 엔지니어링은 한 번에 끝나는 것이 아닌, 지속적인 수정과 검증의 과정이다.둘째, 생성한 데이터를 평가하고, 올바른 생성값을 학습시키고
다시 생성하고, 학습시키는 반복 과정이 필요하다는 것이다.
AI에게 학습시키기 위해서는, 무엇이 좋은 응답인지, 사람의 평가 기준이 필요하다.먼저 원지랩스도 그러했듯, 기능별로 세분화된 프롬프트 엔지니어링이 진행되어야
생성형AI가 더 구체적인 가이드를 받고, 더 자세한 예시를 제공받을 수 있어
유저의 니즈에 더 정확히 부합하는 답변을 제공할 수 있다.
그리고 이 과정은, 생성 결과를 보고 이를 평가함으로써 좋은 예시, 나쁜 예시를 AI에게 제공하며
지속적으로 프롬프트를 수정하는 과정을 통해 진행되는 것이 최선이라고 보인다.
AI는 그 알고리즘을 처음부터 확실히 다 알 수 없고, 이미 만들어진 모델을 사용하는 것이므로
지속적으로 결과를 보고, 다시, 다시 프롬프트로 만드는 과정이 꼭 필요하다.
이처럼 우리 서비스 또한, 부족한 데이터의 양을 보완하고
프롬프트 엔지니어링을 메인으로 유저의 니즈에 맞는 AI의 생성 능력을 구현하기 위하여,
클로바 스튜디오를 활용하여 위와 같은 방법론을 도입하고자 결정하였다.
https://www.ncloud.com/product/aiService/clovaStudio
구체적인 도입 방법론은 클로바 스튜디오에 대해 더 공부한 후,
이후 메이커로그에서 도입 과정을 서술하겠다!
뾰족한 도메인, 특정한 유저의 니즈를 완전히 만족시키는 MVP
그리고 이 개발 범위에 더하여 가장 중요한 것.
제너럴한 유저의 니즈를 만족시키는 넓고 얕은 서비스를 만드는 것이 아니라,
도메인, 상황에 특화된, 서비스 기획을 통해
초기 팬층, 초기에 우리 서비스의 만족도가 높은 유저를 확보할 수 있는, 좁고 날카로운 서비스를 만들고자 한다.
예를 들어, ‘편지 작성 보조 서비스’와 같이 넓은 범위의 기능을 제공하는 것이 아니라,
‘연애편지 작성 보조 서비스’, ‘부모님께 쓰는 편지 작성 보조 서비스’와 같이,
모든 상황에서 활용될 수 없지만, 특수한 상황에서 확실한 니즈를 가지는 기능을 제공하는 것이다.
실제로 대부분의 생성형AI 스타트업들이, 그리고 수많은 소규모 사이드 프로젝트 서비스들이
이러한 방법론을 통해 초기 유저를 확보하고, 이후 유저의 목소리를 듣고 기능을 확장하는,
MVP 개발 이후 유저의 목소리를 듣는 린스타트업 방법론을 활용하고 있다.
우리 팀 또한, 초기에 좁고 날카로운 서비스를 통해, 유저의 니즈를 확보한 뒤 향후 확장 가능성을 모색하고자 한다.
그렇다면, 어떤 기술과 어떤 엣지를 바탕으로 서비스를 만들어야 할까?
이제부터 그 내용을 작성하고자 한다.
마이크로소프트의 GATE 프레임워크 : 생성형AI의 질문 생성 능력의 가능성!
우리 팀은, 생성형AI 기술을 활용해, 우리 팀만의 차별성을 만들어낼 수 있는 가능성을
마이크로소프트의 GATE 프레임워크 논문에서 찾았다.
MS사에서 2023년 10월 게재한 논문 “ELICITING HUMAN PREFERENCES WITH LANGUAGE MODELS”는 언어 모델을 사용하여 인간 사용자와의 대화를 위한 질문을 생성, 사용자의 기호를 도출하는 학습 프레임워크인 Generative Active Task Elicitation (GATE)에 대해 소개한다.
GATE 프레임워크를 써야 하는 이유는 다음과 같다.
기존의 기호 파악 방법에 비해, 언어 모델을 활용하여 사용자와의 자유로운 언어 기반 상호작용을 구현함으로써,
사용자의 보다 자유로운 설명과 묘사를 유도하고, 이를 바탕으로 사용자의 선호도, 기호, 가치관을 보다 편리하고 정확하게 추론하고 유도할 수 있다는 것이다.
이 논문에서는 이메일 유효성 검사, 콘텐츠 추천, 도덕적 추론 등 세 가지 영역에서 GATE를 실험하고, 이를 통해 얻은 데이터가 기존의 사용자의 선호도를 알아내는 방식에 비해 더 유익하다는 것을 보여주었다.
구체적으로, GATE 프레임워크에서 유저의 기호/선호도를 파악하는 방법 중 실제 사례를 예시로 들어 유저의 의견을 묻는 ‘Edge 케이스 생성’ 방법론이 기존 방법에 비해 통계적으로 유의하게 유저의 선호도를 더 정확하게 측정하였으며, 유저의 피로도 또한 14.3% 내외 감소하였다.
이처럼, GATE 프레임워크 논문은 유저의 기호, 성격, 가치관 등을 알아내는 일을 생성형AI가 자유로운 생성 능력과 대화 능력을 통해 기존의 방법에 비해 더 잘 해낼 수 있다는 가능성을 보여준다.
그리고, 우리는 해당 사실을 최소한으로나마 검증하기 위해
OpenAI 사의 chatGPT를 튜닝함으로써 프로토타입을 만들어 보았다.
마이크로소프트 논문 내 GATE 프레임워크의 프롬프트를 활용한 프로토타입 제작
논문 내 Appendix에는,
마이크로소프트에서 GATE 프레임워크를 chatGPT에 적용하기 위한 프롬프트를 제공하였다.
이에, 해당 프롬프트 중 유의한 결과를 보인 Edge 케이스 생성 프롬프트를 GATE 프레임워크가 적용된 모델과 같은 GPTs에 적용, 프롬프트를 활용하여 GPTs를 튜닝해 보았다.
위와 같은 튜닝 과정을 거쳐 생성된 프로토타입은 실제로 아래와 같이, 유저의 관심사를 알아볼 수 있는 개방형 대화를 훌륭하게 수행하였다.
‘도시에서의 지속 가능한 생활’ 기사의 형태를 한 Edge 케이스를 제시함으로써
환경 문제에 대한 유저의 가치관을 알아볼 수 있는 질문을 하고,
해당 과정을 통해 유저의 지속 가능한 환경 문제에 대한 가치관 및 기호를 학습하고 있다.
논문의 프롬프트만을 사용했음에도, 꽤나 유려한 대화가 구현되었다!위 프로토타입에서, 생성형AI를 활용한 질문의 생성과 대화의 가능성을 확인할 수 있었다.
AI의 생성 능력을 바탕으로 만든 예시를 활용한 질문을 통해,
기존의 방법에 비해 유저의 보다 구체적이고 깊은 답변을 알아볼 수 있다는 것이다.
대표적인 기존의 기호 측정 방법인 리커트 척도에서는,
도시에서의 지속 가능한 생활 방식에 얼마나 동참하실 생각이 있으신가요?와 같은 대한 질문에
그렇다, 그렇지 않다와 같은 답변의 형태가 주를 이루지만,
위 프로토타입과 같은 개방형 질문의 경우
기존의 척도에서 담지 못하는 응답자의 응답의 이유, 기준 등의 정보를 이해함으로써,
질문에 대한 응답자의 견해를 보다 정확하게 수집할 수 있다.
이처럼 우리는 프로토타입을 개발하여 검증한 후,
유저와 대화하고 답할 수 있는 질문을 생성하는 것.
그리고 그 질문과 대화를 통해 유저가 자신의 생각을 개방적으로 이야기할 수 있는 대화를 하는 것.
해당 기능을 우리가 구현하고자 하는 서비스의 코어 기능으로 정하였다.
또한, 마이크로소프트가 본 논문에서 프롬프트만으로 유저의 기호를 수집했듯이,
대규모의 데이터나 장시간의 파인튜닝 없이도 충분히,
인풋/아웃풋을 정제하고 프롬프트를 잘 활용함으로써 경쟁력 있는 서비스를 만들 수 있을 것이라 생각하였다.
그렇다면, 이제부터 할 일은 서비스의 도메인.
어떤 도메인과 어떤 상황의 유저에게 서비스를 제공할 것인가를 정하는 것이다.
서비스 도메인 선정 및 리서치, 니즈도출
지금까지의 초기기획을 통해,
1. 메시지 제너레이터, 템플릿, 프롬프트 엔지니어링을 메인으로, 생성형AI 기술을 도입한다.
2. 도입하는 서비스는 유저와의 대화, 개방형 대화를 통해 유저의 기호, 가치관을 파악하는 기능을 제공한다.
정도로 구체화가 되었다.
그러나, 서비스가 되기에는, 아직 너무도 범위가 넓고 모호하다.
이에 이러한 기술이, 이러한 기능이 어떠한 도메인에서 가장 큰 니즈를 가질지 도출하는 것이 필요하다.
이 과정이 가장 오래 걸리고 힘든 과정이었는데,
실제로 다소 날카롭지 못한, 제너럴한 범위의 서비스를 통해
2개의 공모전 및 사업에 출품하였다가 고배를 마시기도 하였다.
내용을 상세히 작성하다 보니 내용이 길어진 관계로,
초기기획 내용을 한 편의 글에는 모두 담지 못할 것 같다.
해당 내용은 다음 편에 이어서 작성하도록 하겠다.
그럼 여기까지!
Contact
�hsm4680@naver.com
�� 개인 포트폴리오
https://five-printer-42c.notion.site/a9d04461ba8c44a7bbbbbede06064d20?pvs=4
