brunch

라이킷 9 댓글

You can make anything
by writing

C.S.Lewis

계정을 잊어버리셨나요?

by TmaxAI UX Jul 02. 2024

챗봇과 대화를 시작하시겠습니까?

Chat GPT, Copilot, Gemini, 에이닷, 큐, 뤼튼 1편

안녕하세요, 티맥스AI UX팀입니다.

대화형 AI, 한 번쯤 들어 보셨나요?

대표적인 대화형 AI 챗봇인 ChatGPT가 출시 두 달 만에 월간 사용자 1억 명을 돌파하며 인공지능 활용에 커다란 혁신을 가져왔습니다.

대화형 AI(Conversational AI)는 사용자가 대화할 수 있는 챗봇 또는 가상 상담원 등의 기술을 말합니다. 대화형 AI는 자연어 처리(Natural Language Processing, NLP)를 통해 매끄러운 사용자 대화를 이끌어내고, 머신러닝(Machine Learning)과 결합해 응답 품질을 지속적으로 향상시킬 수 있습니다. [1][2]

2032년에는 전 세계 챗봇 시장 규모가 346억 달러에 이를 것으로 예상되는 만큼, 블루오션인 대화형 AI 시장에 각종 빅테크 기업들이 앞다투어 뛰어들고 있습니다. 구글의 Gemini(구 Bard), MS의 Copilot, 아마존의 Q부터 메타의 Meta AI, X의 Grok까지 다양한 제품이 출시되고 있습니다. [3]

챗봇 연구, 이제 시작해 볼게요!

국내외 다양한 챗봇 서비스들

저희는 대화형 AI 챗봇 서비스들 중 국내외로 잘 알려진 빅테크 기업들 중 해외 사례인 Chat GPT, Gemini, Copilot과 국내 사례인 에이닷, 클로바X, 뤼튼 총 6가지 서비스를 선정하였습니다.

챗봇 사용 시나리오

우선 챗봇 사용 과정에서 경험에 영향을 미치는 요인을 파악하기 위해 공통 플로우를 취합하여 챗봇 사용 시나리오를 작성했습니다. 랜딩페이지를 통해 추천 질문과 AI 오류 안내 등을 접하고 질문을 입력하여 챗봇의 답변을 확인한 뒤, 추가 질문을 하거나 서비스 오류를 발견할 수 있습니다.

사용성의 관점에서 보는 챗봇

리뷰 매트릭스

6가지 모바일 서비스의 리뷰 매트릭스를 통해 공통 기능을 확인했습니다. 이후 휴리스틱 원칙에 근거하여 분석해 각 서비스 간 특징을 정리한 후, 사용성과 밀접한 관련이 있을 것이라고 예상되는 터치 포인트를 도출하였습니다.

1. 진입 시 웰컴 메시지 / 추천 질문 / AI 오류 안내
2. 질문 입력 시 텍스트 & 음성
3. 로딩 애니메이션
4. 보이스톤
5. 오류 대응

이제, 위 터치 포인트들을 자세하게 소개해 보도록 하겠습니다.

1. 진입 (웰컴 메시지, 추천 질문, AI 안내)

서비스 대부분의 진입화면을 보면 다양한 주제의 추천 질문으로 유저의 질문을 유도함과 동시에 AI의 웰컴 메시지로 대화를 시작하고 있습니다.

웰컴 메시지 :

Gemini와 에이닷은 진입 시 웰컴 메세지를 통해 친절한 첫인상을 줍니다.

AI 오류 안내 :

에이닷은 최상단에는 인공지능 알고리즘을 통해 사실과 다를 수 있음을 안내하는 문구를 재차 적어 강조하였습니다. 마찬가지로 Copilot은 추천 질문 하단에 AI의 오류 안내 문구와 약관, FAQ를 배치하여 사용자에게 AI의 한계와 사용법 등을 안내하고 있었습니다.

이와 다르게 Chat GPT, Gemini, 뤼튼은 답변에 오류가 있을 수 있다는 안내가 존재하지 않아 AI가 낯선 사용자를 위한 안내가 부족하다고 느껴졌습니다.

다만, AI의 오류 가능성에 대한 문구가 배치되어있지 않은 서비스도 있어, 안내 문구를 통해 명확성을 높이는 것이 필요해 보였습니다.

2. 질문 입력 (텍스트 & 음성)

대화형 AI의 시작을 위해서는 질문이 전송되어야 하므로 텍스트 입력 시 전송 버튼을 강조하는 것이 일반적이었습니다. 음성입력 시에는 다양한 애니메이션으로 시각화한 사례가 존재했습니다. 또한 플러그인처럼 다른 서비스와 연계해 답변의 품질을 높이기도 했습니다.

음성입력 :

ChatGPT, Copilot, Gemini, 에이닷은 음성입력(STT) 시 녹음 중임을 알리는 애니메이션이 노출되고, 녹음 후에는 텍스트가 입력된 것을 확인할 수 있었습니다.

추가로 ChatGPT는 음성 대화(STT & TTS)로써 애니메이션이 노출되었습니다. 원에서 고리, 말풍선으로 상태에 따라 변화하고, 사람과 AI의 그래픽이 달라 대화 진입 타이밍을 쉽게 확인할 수 있어 적극적인 시각화로 명확성을 높였습니다.

텍스트 입력 :

Gemini는 텍스트 입력 시 질문의 양에 따라 유저가 직접 Input Field를 확대하거나 축소하여 서비스를 이용할 수 있습니다. Copilot은 입력한 텍스트 다음에 나올 문구를 제안하는 자동완성 기능이 존재하며, 누르기 버튼을 통해 빠르게 질문을 입력할 수 있습니다.

뤼튼과 클로바X는 텍스트로만 질문을 입력할 수 있으며, Input Field에 질의 내용을 입력하면 전송 버튼이 메인 컬러로 강조됩니다. 이 버튼은 답변이 로딩될 때 정지 버튼으로 변하며, 해당 버튼을 클릭 시 준비 중이던 답변을 멈출 수 있습니다. 이때 클로바X는 토글 버튼으로 스킬 옵션을 선택할 수 있어 각 답변의 품질을 높일 수 있습니다.

3.1 답변 도출 — 로딩/생성 애니메이션

챗봇 6종 모두 답변 생성 중에 대기시간의 지루함을 해소해 줄 로딩 인터랙션이 존재했고, 타이핑 애니메이션으로 상태를 시각화하는 모습을 볼 수 있었습니다.

ChatGPT와 Copilot은 답변 준비 중임을 의미하는 애니메이션이 노출 된 후, 애니메이션과 함께 답변이 생성됩니다. 이때 상단으로 스크롤 하여 이동하면 하단으로 이동할 수 있는 플로팅 버튼이 노출되어 답변으로 이동할 수 있었습니다.

Gemini와 클로바X는 로딩과 스켈레톤 인터랙션을 통해 답변이 준비 중임을 나타냅니다. 에이닷은 로딩 표시는 없지만, 긴 답변의 경우 선 대답 후에 로딩 표시를 통해 후속 대답이 있음을 알려줍니다. 상단으로 스크롤 시 하단으로 이동하는 플로팅 버튼에 dot을 추가해 새 답변이 있음을 암시합니다.

마지막으로 뤼튼은 질의 입력 시 요청 확인 - 검색 시작 -자료 검색 - 답변 준비의 총 4가지 단계와 로딩 및 완료 인터랙션으로 답변 과정을 상세히 나타냅니다.

3.2 답변 도출 - 보이스톤

ChatGPT, Gemini, 클로바X는 “어떻게 도와드릴까요?”와 같이 ‘-해요체’와 ‘-하십시오체’를 사용하며 공손한 문체를 유지했습니다.

Copilot과 뤼튼은 “자료를 살펴볼게요”, “가져온 자료를 바탕으로 답변을 준비하고 있어요.” 등 사용자에게 친절히 답변을 안내하며, 답변에 어울리는 이모지를 활용해 읽는 재미를 더합니다. 답변의 마지막에는 다양한 인사말 (ex. 좋은 하루 보내세요 등)을 덧붙여 사용자를 기분 좋게 합니다.

에이닷은 ‘-해요체’와 함께 캐릭터의 상태 변화로 소통할 수 있습니다. AI의 추천 질문은 에이닷의 말투와는 다르게 평어, 반말 형태로 작성되어 있었습니다. 답변에 따라 캐릭터의 상태가 변화되는데 (타로 카드 보기, 군침 흘리기 등) 이에 따라 사람과 같이 행동하는 의인화 요소를 엿볼 수 있었습니다.

4.1 오류 케이스 1 - 모델이 알기 어려운 질문을 한다면?

각 서비스가 같은 질문에 어떻게 대답하는지 비교해보기 위해 공통 질문을 던져보았습니다.

Q. 티맥스 에이아이 UX팀은 몇 명으로 구성되어 있어?

Copilot은 인터넷에서 검색한 정보를 조합해 답변하나, 실제와는 다른 정보로 구성되어 있어 정확하지 못한 정보에 대한 주의 사항 등이 필요해 보였습니다.

환각 현상 (Hallucination) : 거대 언어모델에서 주로 나타나며, 잘못된 데이터를 학습해 마치 사실처럼 출력하는 현상

ChatGPT와 에이닷은 해당 기업에서 정보를 확인하라는 답변이 전부였습니다. 사용자 스스로 문제를 해결해 나갈 수 있는 장치가 부족하다는 느낌을 받았습니다. 클로바X는 다른 답변 보기 버튼을 제공했지만, 제대로 된 답변을 제공하지 못하는 것은 동일했습니다.

반면 Gemini는 답변할 수 없음을 고지하는 것은 동일하지만, 사용자가 다양한 방법으로 정보를 파악할 수 있도록 여러 루트를 상세히 안내합니다.

이 중 가장 눈에 띄는 사용성은 뤼튼이었는데, 질문에 답을 할 수 없는 대신 유관 정보를 안내하고, 정확한 정보를 얻을 수 있는 곳과 추천 질문을 노출했습니다.

일례로 티맥스 에이아이 UX팀의 팀원 수를 알려줄 수는 없지만, 자료 수집을 통해 팀의 미디엄 주소, 채용 공고 등의 링크를 첨부하며 회사 홈페이지를 통해 더 정확한 정보를 얻을 수 있을 것 같다며 사용자의 올바른 검색을 유도했습니다.

4.2 오류 케이스 2 - 오타 질문에는 어떻게 대답할까?

ChatGPT, Gemini는 질문이 이해되지 않는다는 답변과 함께 자세한 정보가 있다면 도움을 줄 수 있다고 대답했고, 에이닷, 클로바X, 뤼튼은 재질문을 요청한 뒤 앞선 서비스와 비슷하게 답변했습니다.

다만 뤼튼은 첫 질문이 오타일 시, 오타로 추측되니 다시 입력해 달라는 답변을 띄워 사용자가 스스로 오타를 정정할 수 있도록 유도하는 점에서 차별점을 느낄 수 있었습니다.

반면 Copilot은 첫 질문이 오타인 경우 영어로 안내하며 코딩 관련 검색 결과를 링크로 연결했습니다. 답변을 한국어로 보여달라고 요청한 뒤에야 올바른 한국어 문장이 아니라는 안내로 대답했습니다. 사용자로 하여금 오류를 정정하기 쉽도록 UX라이팅을 규정할 필요가 있었습니다.

4.3 오류 케이스 3 - 서비스 오류 대응 모습은?

네트워크 오류 등 사용자가 흔히 마주할 수 있는 서비스 오류의 대응 모습을 확인하기 위해 네트워크를 차단한 상태에서 확인해 보았습니다.

ChatGPT와 Copilot은 사용자에게 현재 오류 상황을 안내한 후 재시도 버튼을 통해 문제를 해결할 수 있도록 했습니다.

반면 에이닷은 문제에 대한 안내 토스트 외에 별다른 문제 해결 방안을 고지하지 않았고, Gemini, 뤼튼, 클로바X 또한 무한 로딩의 인터랙션을 노출하는 것이 전부였습니다.

네트워크 차단과 같이 사용자가 쉽게 마주할 수 있는 오류에 대응하는 팝업뿐 아니라 오류에 유연하게 대처할 수 있도록 해결책을 안내하는 UI가 필요해 보입니다.

분석 결과

진입 : 다양한 추천 질문이 있어 적은 인지력으로 서비스 작동 방식을 이해할 수 있었으며, AI의 웰컴 메시지로 친근한 인상을 주었습니다.

질문 입력 : 텍스트 입력과 동시에 전송 버튼의 컬러를 전환해 강조합니다.

답변 도출 : 로딩 인터랙션으로 시스템의 현 상태를 시각화하였습니다. 도출된 답변에는 이모지나, 캐릭터의 표정 등으로 의인화 요소도 엿볼 수 있었습니다.

오류 대응 : 단순히 오류를 안내하는 것에 그치지 않고, 문제를 해결할 수 있는 장치를 배치하곤 했습니다.

우리의 넥스트 스텝

챗봇 시장 규모가 확장됨과 동시에, 인간과 컴퓨터의 상호작용은 다양해지고 있습니다. 여러 사용자의 맥락에 대응할 수 있는 대화형 사용자 경험(Conversational User eXperience)과 이에 따른 대화형 인터페이스(Conversational User Interface)가 점차 중요해지고 있습니다.

구글트렌드리서치에 따르면 2024년 UXUI 트렌드 중 AI 서비스와 대화형 AI가 떠오르고 있으며, UX 관점에서도 AI의 인기가 높다는 것을 알 수 있었습니다.[4] 예시로 사용자에게 더 다양한 경험을 제공하기 위해 개발자가 아닌 일반 사용자들이 쉽게 광고를 제작할 수 있는 서비스, 검색이나 의료 등 특정 기능에 집중한 서비스, 캐릭터를 활용한 유저 맞춤 감성 대화 서비스까지 다양한 기능과 사용 경험을 내놓는 추세입니다. [5][6]

이렇게 챗봇 서비스 6가지의 UX 요소들을 분석하며 휴리스틱 원칙에 근거해 관찰해 보았습니다. 서비스를 선정해 분석하는 동안에도 각 서비스들이 꾸준히 업데이트 되는 모습을 보며, AI 서비스가 빠르게 발전하는 것을 체감할 수 있었습니다.

이어지는 글에서는 분석 자료를 기반으로 인터뷰 및 프로토타입 평가 과정을 공유하겠습니다. 이후 챗봇 진입부터 오류 대응까지의 벤치마킹 포인트를 도출해 자사 서비스에 적용하여 사용성 개선 방안도 함께 이야기하고자 합니다.