brunch

매거진 인공지능 디자인 가이드북

라이킷 28 댓글 2

You can make anything
by writing

C.S.Lewis

계정을 잊어버리셨나요?

by 글쓰는몽글c May 02. 2020

AI Design Guide #4. 신뢰와 피드백

인공지능 디자인하기 5단계 중 4단계 (신뢰, 그리고 피드백)

PAIR의 구글의 AI 디자인 가이드북을 5개의 챕터로 조금 다듬어 번역/공유해보고자 한다.
1. 사용자 니즈
2. 데이터
3. 멘탈모델
4. 신뢰와 피드백 *
5. 오류

원문을 보고 싶으신 경우 아래 링크에서 확인 가능하다.
https://pair.withgoogle.com/guidebook/

인공지능 기획/디자인 과정은 PC/모바일 디자인 프로세스와 다르지만 또 유사한 점들도 존재한다.

예를 들어 인공지능이라는 새로운 기술을 적용하기 때문에 고민해야 하는 지점은 다를 수 밖에 없겠지만, 사용자에게 올바른 가치를 전달한 다는 측면에서는 동일한 고민을 할 수 밖에 없을 것이다.

인공지능 프로세스 중에 네번째 프로세스인 사용자의 신뢰와 피드백(Trust+Feedback)에 대해 살펴보도록 하겠다.

Trust & Feedback

인공지능 기반 서비스/제품은 확률과 불확실성을 기반으로 하기 때문에 올바른 수준의 설명을 함으로써 사용자에게 신뢰를 주는 것은 매우 중요하다. 일단 사용자가 시스템 한계에 대한 명확한 멘탈모델을 가지게 되면, 목표를 달성하는데 도움이 되는 방법을 이해할 수 있다.

1. 설명을 통한 신뢰 부여하기

따라서 인공지능 서비스/제품을 기획/디자인하기 위해서는 사용자의 멘탈모델이 변경될 수 있다는 점을 이해하는 것이 중요하다. (AI개발자 역시 AI가 어떻게 작동하는지 알지 못할 수 있음)

예를들어, 예측이 잘못되었을 수 있다는 점을 알리는 것은 당장은 사용자가 해당 예측을 덜 신뢰할 수 있지만, 장기적으로는 사용자가 시스템을 과도하게 신뢰하고 실망할 가능성이 적기에 제품이 나 회사를 더 많이 사용하거나 신뢰할 수 있게 된다.

이미지 출처: Google AI Guidebook

가능하다면 예측이 틀릴 수 있다는 가정이라면 해당 내용을 함께 표기해주는 것이 사용자들에게 더 큰 신뢰를 줄 수 있다. 위 이미지에서 처럼 솔직하게 정확도에 차이가 있을 수 있다는 내용을 표기해주는 것은 서비스 신뢰도 증가에 도움이 될 수 있다.

사용자에게 작업에 대한 설명

사람들은 자신의 행동에 대한 반응을 볼 수 있을 때 더 빨리 배우고 결과를 쉽게 식별할 수 있다.

따라서 사용자의 행동에 빠르게 응답하는 것은 시스템 안정성을 유지하기 위해, 그리고 사용자들을 조금 더 빠르게 서비스에 빠져들게 하는 중요한 요소이다.

예를 들어, 인공지능 기반 레스토랑 예약 앱이 추천탭을 가지고 있고 해당 탭에서 추천하는 항목 리스트만을 보여준다면 그 리스트를 신뢰하지 못할 가능성이 크다. 하지만 해당 리스트가 현재 위치 중심, 내가 미리 설정한 레스토랑 카테고리, 그리고 1 블록 영역 내에서만 추천하고 있다는 것을 UI상 알려주는 경우 신뢰도는 높아질 수 있을 것이다.

이미지 출처: Google AI Guidebook

인공지능이 해당 예측을 한 이유에 대해 사용자에게 피드백을 줌으로써 사용자들은 해당 서비스를 더욱 확신하고 사용하게 될 수 있다. 특히 위험할 수 있는 결과예측에는 해당 피드백을 주는 것이 가장 중요하다. (틀리지 않아야 하는 예측결과에서 관련 설명조차 없다면 해당 시스템 자체를 신뢰하기는 힘들 것이다.)

사용자의 즉각적인 피드백이 인공지능이 더 똑똑하게 만든다는 멘탈모델을 가지고 있다면, 사용자 경험은 더욱 좋아질 것이고, 해당 피드백을 사용자가 조절할 수 있다는 멘탈모델 역시 더 나은 경험을 제공할 수 있을 것이다.

사용자가 제공하는 정보의 선택가능

이미지 출처: Google AI Guidebook

2. 정확도 표시를 통한 신뢰도 부여

인공지능 알고리즘은 정확도(Accuracy), 정밀도(Precision), 재현율(Recall)등 정확하게 예측하기 위한 다양한 수치들을 활용하고 있다. 따라서 통계, 수치 기반의 알고리즘의 특성 상 신뢰도 점수를 표현할 수가 있고, 이는 사용자들에게 보다 명확한 설득을 할 수 있는 요소가 될 수 있다.

이미지 출처: https://www.chemidream.com/2076

위 이미지 처럼 정확도에 대한 수치를 명확히 보여주고, 해당 결과가 틀린 경우 다른 결과 또한 함께 보여주고 수치를 함께 보여줌으로써 결과가 틀린 경우에도 다른 경우를 확인할 수 있게끔 제공을 하고 있다.

이 때 백분율의 의미를 사용자들이 이해할 수 있도록 충분한 맥락(Context)을 제공하자. 사용자들은 특정 상황에서 00%와 같은 수치가 높은지, 낮은지, 또 어떤 의미를 갖는지 알기 어려운 경우들이 존재한다.

맥락에 맞추어 일반적인 용어로 인공지능의 결과에 대한 수치를 보여주고, 정확도를 함께 보여주는 것은 결과를 인지하고 수긍하게 되는 좋은 방법이다.

3. 알고리즘을 이해시키기 쉬운 시각화

적절한 시각화를 통해 모델 신뢰도를 표현하는 것은 사용자에게 쉽게 인공지능을 설명할 수 있는 방법이다.

명확한 수치대신 높음/중간/낮음과 같은 분류를 통해 표현하는 것이 사용자들에게는 더욱 나을 수도 있다.

분류의 방식이나, 범위에 대한 결정이 중요하고, 각 범주에서 사용자가 취해야 하는 행동을 함께 제안할 수도 있다.

이미지 출처: Google AI Guidebook

정확도에 따라 비중을 나누고 각각의 범주에 따라 시각적인 이미지를 활용하여 행동을 유도해보자.

4. 적절한 시점에 피드백 수집

사용자 피드백은 개인화된 콘텐츠를 제공받아 사용자 경험을 향상시키는 강력한 방법이다. 암묵적 피드백과 명시적 피드백을 통해 피드백을 수집하고 이를 통해 사용자 경험을 개선할 수 있어야 하며 사용자 역시 피드백 제공을 쉽게 거부할 수 있어야 한다.

암묵적(Implicit) 피드백

사용자가 앱을 여는 시간, 추천을 수락/거부하는 횟수와 같은 정보가 포함될 수 있다. 사용자가 정보를 수집되고 있다는 사실을 알고 동의를 받아야 한다. 사용자는 본인의 행동이 피드백으로 활용되는 시점을 알지 못하므로 이를 약관에 명확히 명시해야 하며, 사용자가 원치 않으면 쉽게 옵트아웃하도록 허용할 수 있어야 한다.

이미지 출처: Google AI Guidebook

위 이미지에서 볼 수 있듯이, 사용자에게 데이터를 확인할 수 있는 위치와 데이터 수집 설정을 변경할 수 있는 경로 또한 알려주도록 한다. 사람들에게 알리지 않고 데이터를 수집하거나 수집항목을 변경할 수 있음에도 적합한 맥락에 표기하지 않는 경우가 없도록 해야한다.

명시적(Explicit) 피드백

사용자가 인공지능의 피드백 요청에 대해 의도를 가지고 의견을 제공하는 경우이다. 사진 레이블 분류가 정확한지, 추천하고 있는 항목이 도움이 되고 있는지 등에 대한 피드백 요청을 통해 알고리즘을 고도화 할 수 있다. 피드백을 요청하는 방식은 설문조사, 간단한 테스트, 추천/비추천 과 같은 응답방식들이 존재한다.

이러한 피드백의 요청에 대한 응답률을 높이기 위해서는,

응답에 따른 간단한 보상(reward)이 필요할 수 있는데, 이는 물질적인 보상 외에도 특정 뱃지를 제공하거나, 스코어로 랭킹을 제공하는 등 다양한 방법들을 고민해볼 수 있다.