brunch

매거진 디자인 뉴스레터 디독

라이킷 73 댓글

You can make anything
by writing

C.S.Lewis

계정을 잊어버리셨나요?

by 김자유 Feb 15. 2020

디자인, 직관 VS 데이터

*본 글은 디자인 뉴스레터 디독에서 발행한 글입니다.

해외 디자인 아티클 번역 뉴스레터 '디독' 구독링크: http://bit.ly/2FNQNpv

디독

page.stibee.com

최근 솔트 레이트 시티에서 열린 제품 관리 콘퍼런스 ‘프론트(Front)’에 참석했다. 이곳에서 드리프트(Drift) 사의 프로덕트 매니저인 매기 크라울리(Maggie Crowley)는 복잡한 기능을 가진 챗봇 빌더를 재설계하는 사례 연구를 발표했다. 이 연구는 사용자가 코딩이나 디자인 없이도 자신만의 챗봇을 만들 수 있도록 도와주었다. 이 팀은 한동안 챗봇 빌더 디자인을 반복해서 점검했고, 이로 인해 많은 것들이 개선될 것이라고 생각했다. 지금부터 그녀가 이해관계자에게 동의를 구하는 과정을 이야기하려고 한다.

우리는 챗봇 빌더를 더 좋게 만들 수 있을 것 같은 느낌을 받았어요. 하지만 실제로 ‘느낌이 든다'라고 말할 수 없었어요. ‘느낌이 든다’는 말에 귀기울일 사람은 아무도 없기 때문이죠. 그래서 다른 프로덕트 매니저들처럼 데이터를 찾아보기로 했습니다. 하지만 안타깝게도 아무것도 찾을 수 없었어요. 완벽하게 분석했기 때문이죠.

데이터가 부족한 매기와 그녀의 팀은 사용자를 인터뷰하면서 사례와 질적 통찰력을 수집했다. 그 결과, 연구를 통해 챗봇 빌더를 리디자인하는 데 필요한 허가를 얻게 되었다. 마침내 출시되었을 때, 사용자들은 열광했다. 어떤 사람은 이 개선을 ‘인생을 바꾼 변화'라고 불렀다.

강연이 끝나고 “리디자인이 더 나은지 어떻게 아셨어요?” 라는 질문을 받았고, 매기의 대답은 놀라웠다.

느낌이 왔어요. 우리가 변화를 만들어야 한다는 것은 누가봐도 확실했죠.

데이터가 의사결정을 끌어내는 현대 사회에서 매기의 말은 시사하는 바가 있다. 매기도 데이터로 의사결정을 했다면, 그녀의 팀은 제품을 개선하지 못했을 것이다. 성공과 현상 유지의 차이는 느낌에서 시작한다.

나는 매기의 말에 공감한다. 이해 관계자는 모든 디자인 결정에 관련된 데이터를 수집 받기를 원한다. 누가봐도 확실한 결정이라도 데이터를 수집한다. 하지만 데이터 중심 디자인을 주장하는 것은 우리를 방해하며 버전을 늦추고 혁신을 제한한다.

우리는 결정을 내릴 때, 데이터에 의존하기보다 직관을 따라야 한다.

1. 데이터 딜레마

데이터 중심 디자인은 새로운 개념이 아니다. 그 기원은 과학적 관리법이 떠오르는 19세기 후반으로 거슬러 올라간다. 1882년, 프레드릭 테일러(Fredrick Taylor)는 철강 노동자의 생산성을 극대화하기 위해서 과학적 관리법을 처음 사용했다. 이후 비즈니스에서 데이터는 필수가 되었다.

2014년 윌터 프리크(Walter Frick)는 하버드 비즈니스 리뷰(HBR)에서 이렇게 말했다.

우리는 매주 HBR에서 비즈니스 데이터의 가치에 대해 이야기하곤 합니다. 빅 데이터, 작은 데이터, 내부, 외부, 실험, 관찰 등은 우리가 보는 모든 곳에서 정보를 파악하고, 정량화하고, 비즈니스 의사 결정을 내리는 데 사용됩니다.

데이터를 이용하면 더 객관적인 의사결정을 할 수 있다. 데이터는 분쟁을 해결하고, 과거를 분명히 만들고 미래를 예측할 수 있게한다. 월가의 정량적 분석가들이 이미 알고있듯이, 올바른 데이터에 대한 올바른 정보는 부를 창출한다. 하지만 잘못된 데이터는 재앙을 불러올 수 있다. 데이터는 옳고 그름을 구별하기 어렵다.

예를들어, 우리는 과학자들이 말하는 재현성 위기(reproducibility crisis, 역주 : 잘못된 통계를 기반으로 한 실험 결과들이 재현되지 않는 것) 의 중심에 있다. 심리학자, 임상 연구원, 경제학자, 그리고 다른 데이터 중심의 학자들은 입증에 대한 역사적 기준이 충분히 엄격하지 않다는 것을 발견한다. 한때 결정적이라고 여겨진 발견은 이제 의심의 여지가 있다. 우리가 세상에서 알고 있는 모든 것들을 다시 써야 할 확률은 거의 없지만, 재현성 위기는 데이터도 잘못된 결론을 낼 수 있다는 것을 보여준다.

2. 직관에 대한 예시

디자인하거나, 코드를 만들거나, 전략을 쓰는 등 어떤 결정을 내린다면, 당신이 하는 일에 대해 어떤 직관이 있을 것이다. 경험치에 따라 그 직관은 시끄러운 방에서 나는 작은 소리처럼 들릴지도 모른다. 하지만 그 말을 들어야 한다.

대니얼 카너먼은 그의 저서 ‘생각에 관한 생각(Thinking, Fast and Slow)'에서 허버트 사이먼(Herbert Simon)을 언급했다.

정확한 직관의 심리학은 마법이 없다. 이에 대한 가장 짧은 성명서는 허버트 하이먼에 의해 밝혀졌다. 그는 체스 마스터를 연구하며 수천 시간의 연습 후, 다른 사람들은 보드 위의 조각들을 다르게 본다는 사실을 알았다. ‘상황이 단서를 제공했다. 이 신호는 전문가의 기억 속에 저장된 정보에 접근하게 해주었고, 그것이 해답을 주었다. 직관은 인식 그 이상도 이하도 아니다.’

다시 말해, 직관은 우리의 경험을 바탕으로 문제를 해결하는 것을 도와주는 힌트다. 이는 북극이 어딘지 알려주는 나침반 바늘같은 역할을 한다. 카너먼(Kahneman)은 이렇게 큰 힘을 들이지 않고 하는 사고를 '시스템 1'이라고 부른다. 시스템 1은 '자동으로 빠르게, 거의 혹은 전혀 노력하지 않으면서 자발적인 통제력을 발휘하지 못하게' 동작한다. 시스템 1이 편향된 경우에도(종종 그렇지만) 의사결정에 유용한 도구다.

3. 당신이 직관을 믿어야 할 때

결정을 내릴 때, 어느정도는 결과가 어떻게 될지 직관을 갖게 된다. 의사결정을 이끌어가기 위해서는 데이터를 수집할지 말지를 결정해야 한다. 이것이 출발점이다. 그리고 당신이 옳거나 틀려도 두 가지 결과가 나올것이다.

다음은 가능한 네가지 시나리오다.

1.직관을 믿어라 → 당신의 결정은 잘못되었다.

2.데이터를 수집해라 → 당신의 결정이 틀렸다.

3.직관을 믿어라 → 당신의 결정이 옳다.

4.데이터를 수집해라 → 당신의 결정이 옳다.

위와 같은 많은 변수가 있다. 데이터 수집은 추가적인 단계로 비용이 든다. (c)비용은 실제로 비용이 드는 것일 수도 있고 혹은 결정을 지연시키기에 추가되는 시간적 비용일 수 있다. 당신의 직관이 옳을 가능성도 있지만(pi), 데이터로 올바른 결정(pd)으로 이끌 가능성을 고려해볼 가치가 있다. 마지막으로, 결정의 가치(v)가 중요하다. 이는 거의 무시해도 되는 것이거나 (우리 회사 티셔츠는 어떤 색이어야 할까?) 커리어 정의(IPO를 얼마로 설정해야 하는가?)가 될 수 있다.

방정식에 이 모든 변수를 넣을 수 있다.

이 방정식의 결과가 양수라면 직관을 믿어라. 음수라면 결정하기 전에 데이터를 수집해라. 아래 계산기를 사용하여 다양한 변수를 실험해보고 직관이 어떤 영향을 미치는지 확인해보자.

원문에서 계산기를 직접 사용해보세요.

물론, 직관이 맞을지 데이터가 맞을지 정확히 알 수는 없다. 단지 차이를 추정해보고, 데이터 수집을 해서 얼마나 확신을 할 수 있을지를 알 수 있다. 직관을 가져가야 하는지에 대한 판단을 하는 감각을 익힐 수 있다.

4. 실제로 쓰는 애플리케이션

드리프트의 챗봇 빌더를 리디자인한 매기의 결정을 다시 살펴보자. 매기의 팀은 처음부터 시작했기 때문에 데이터 수집 비용이 많이 들었다. 변화는 ‘누가봐도 확실하다'라고 이야기했고, 이는 직관에 기초한 접근법과 데이터 기반 접근법 사이에는 아주 작은 차이가 있었다는 뜻이었다. 결정의 가치는 상당했다. 성공적인 리디자인은 참여를 높였고, 다음과 같은 결과가 나왔다.

직관과 데이터 사이에 정확성 차이가 매우 작음(pi ≈ pd)

높은 결정 가치

높은 데이터 수집비용

데이터를 수집하는 데 필요한 비용이 처음 두 항목의 양보다 크기 때문에 매기가 직관을 따르는 게 옳은 선택이었다.

그렇다면 당신은 언제 직관을 믿어야 할까?

데이터를 수집할 때 옳을 확률은 크게 높아지지 않으며,

당신의 결정이 큰 위험을 초래하지 않을 때,

데이터 수집 비용이 높을 때.

언제 위 조건이 있을지 알기 어려울 수 있지만 그 조건을 파악할 수 있다면, 직관을 믿어라.