치우친 유전자
우리의 경험과 지식은 고작 한 줌
by
Dec 24. 2024
직감과 데이터가 충돌하는 세계
새로운 사람을 만나거나 새로운 일자리를 구할 때 그런 느낌이 들 때가 있습니다. 누군가의 말에 대한 진위여부를 가리거나 정직함을 판단할 때도 그런 느낌이 들기도 하죠. 이게 과연 맞는 건지 아닌 건지, 그래서 이걸 해야 하는 건지 말아야 하는 건지, 어떻게 표현할 수 없는 기묘한 감각이 들 때가 있습니다. 그 감각을 따른다 해도 이유를 제대로 설명하긴 어렵습니다.
우린 이걸 직관(Intuition)이라고 부릅니다. Fobes에선 직감을 '매일 자신을 둘러싼 수백 만 개의 데이터를 자체 알고리즘으로 처리한 결과'라고 칭하며 신체의 빅데이터라고 소개하더군요. 그 어느 시스템보다 복잡하고 정교한 인간의 사고체계를 데이터 처리 알고리즘 정도로 치환해도 되나 싶지만 뭐 틀린 얘기는 아니죠.
"패션은 바람에서 태어나 공기 중을 떠돌고 있죠. 그냥 직감으로 하는 거예요"(코코샤넬)살다 보면 직감과 데이터가 충돌하는 상황을 자주 겪게 됩니다. 일할 때도 그렇지만 일상에서도 빈번하게 발생하지요. 경험과 본능에 기반한 직감은 빠른 결정을 가능하게 하지만, 편향과 오류의 위험이 있습니다. 반면 데이터는 객관적이고 체계적이며 믿을 수 있는 정보를 제공하지만, 때로는 복잡하고 어려우며 무엇보다 시간과 자원을 많이 잡아먹습니다. 그렇다면 우린 언제 직감을 따라야 하고, 언제 데이터를 우선시해야 할까요.
사실 정답은 없습니다. 결과가 좋으면 그제야 '내가 옳았구나' 하고 으쓱해 볼 뿐이죠(머쓱).
99%의 직감이 지배하는 세계
통상 우린 직감을 비합리적이거나 비과학적이라고 인식합니다. 이건 우리가 직감을 하나의 '특별한 감각' 혹은 '기분'이라 간주하기 때문이죠. 데이터 분야에서 직감은 그 정의와 양상이 조금 다릅니다. 데이터 분야에서 직감은 '명시적 추론 없이 이해하고 결정을 내리는 능력'으로 정의됩니다. 이는 단순한 감정이나 즉흥적인 판단이 아니라, 축적된 경험과 지식을 바탕으로 한 신속한 패턴 인식 및 의사결정 과정을 의미합니다. 통상의 정의나 인식보단 체계적이며 가치 있는 인지 과정으로 봅니다.
직관과 관련하여 유명한 실험이 있습니다. 참가자들에게 명품 가방 10개를 보여주고 진품과 가품을 골라내게 했습니다. 물론 절반만 진짜입니다. 연구팀은 참가자를 둘로 나누어 절반은 '직감은 무시하고, 가방의 진품 여부를 결정하기 위해 눈여겨본 요소들을 나열하라'는 주문을 주고 30초의 시간을, 나머지 절반에겐 '직감적으로 고르라'라고 요구하며 5초의 시간만 부여했습니다. 동시에 실험 참가자들이 명품 가방에 대해 얼마나 아는지, 경험이 있는지도 측정했는데요. 디올(Dior)나 루이뷔통(Louis Vuitton)을 3개 이상 가지고 있는 사람도 있었고, 아예 만져본 적도 없는 사람도 있었습니다.
경험과 직관의 관계결과는 흥미로웠습니다. 직감에 따라 고르도록 요구받은 참가자들은 명품 가방에 대한 '경험'유무에 따라 큰 차이를 만들어 냈습니다. 명품 가방을 가져본 경험이 있는 사람은 5초 관찰한 이후 판단 했을 때 22% 더 정확하게 판단했습니다. 명품가방을 전혀 모르는 사람들에게 직관은 별 도움이 되지 않았습니다. 오히려 30초 동안 천천히 고민했을 때 16% 정도 더 정확했습니다. 명품 가방에 대한 경험, 전문성을 가진 이들은 시간을 가지고 찬찬히 분석했을 때보다 직관적으로 판단했을 때 더 정확한 판단을 내린 거죠.
이처럼 전문가적 역량이 필요한 특정 분야에서는 매우 효율적이고도 효과적인 대안을 순간적으로 도출해 내는 직관은 패턴 인지형 직관(P직관)이라 부릅니다. 불확실성이 높은 상황이나 긴박한 순간, 수집한 데이터가 제한적인 상황에서 빛을 발하죠. 응급실에서 능숙하게 대처하는 경험 많은 의료진, 순간적으로 상대를 읽고 빌드를 결정하는 프로게이머를 떠올리시면 이해가 빠르실 겁니다. 여러분들도 '이건 내가 전공이다, 다른 건 몰라도 이건 잘 알고 있다'싶은 분야에선 직관이 통할 확률이 높아집니다.
우리가 떠올리는 직관은 99%가 패턴 인지형, P직관입니다. 데이터 분석에서 정의하는 직관 역시 이와 다르지 않습니다. 과거에 쌓아두었던 경험을 통해 내 데이터베이스에 저장된 문제해결에 유용했던 정보나 방식 중 가장 확률이 높은 하나가 먼저 제시되는 거죠. 다만 어디까지나 그 소스가 과거 지식과 경험이고 이를 반사적으로 조합해 내는 것이기 때문에, 새로운 관점으로 문제에 접근하는 덴 한계가 있습니다.
사람 잘 안 바뀐다 하지 않습니까. 사고 구조도 그래요. 잘 바뀌지 않습니다;;
모든 일에 전문가가 좋은 걸까
우리는 특정 분야에서 경험이 쌓일수록 더 전문가가 된다고 여깁니다. 하지만 이런 통념이 항상 옳은 건 아닙니다. 앞서 소개한 실험만 봐도 그렇습니다. 명품 가방에 대한 경험이나 지식이 전혀 없던 참가자들, 비전문가죠. 이 비전문가들은 시간이 길게 주어질 때 더 좋은 성과를 보였습니다. 경험이 적으니 더 신중하고 꼼꼼하게 데이터를 수집하고 검토한 거죠. 이런 관점에서 데이터 분석에선 항상 '나는 비전문가다'라는 자세로 임할 필요가 있습니다.
우린 일상생활에서 경험을 통해 패턴을 인식하고 그에 따라 빠르게 판단을 내리곤 합니다. 예를 들어, 여러분이 카페를 운영한다 가정해 봅시다. 대부분 카페는 아침 7시~ 9시, 오후 1시~2시 사이에 손님이 가장 많습니다. 그때가 일을 시작하는 시간이기도 하고 가장 카페인이 필요한 시간대거든요. 이런 패턴을 알고 있다는 건 상당히 유용합니다. 영업장을 탄력적으로 운영하고 개인 일정도 잡을 수 있지요.
여기에서 패턴 인지적 직관, P직관이 가지는 함정이 있습니다. 경험에서 얻어낸 패턴에 갇혀버리는 거죠. 내가 알고 있다 여기면 벌어지는 일입니다. 판매 데이터를 볼까요. 여러 가지 신호들이 있을 겁니다. 특정기간에 투샷을 내려달라는 고객들이 많아진다, 오후에 달고 진한 음료가 더 팔린다, 오전보다 점심시간대 주문량이 늘어난다, 주말 오후에 노년층의 방문이 증가한다 등의 신호들이 그것이죠. 이런 신호들은 미약해서 유심히 들여다봐야 합니다. 잘 안다 믿을수록 신호에 반응하는 능력은 떨어집니다. 원래 커다란 흐름이 잔물살을 가리는 법이니까요.
좋은 기억도, 나쁜 기억도 참고하는 수준에서 그쳐야 한다P직관의 함정은 또 있습니다. 바로 P직관 자체도 경험이 된다는 점입니다. 실패하면 다행인데 성공했다면 그것대로 문제가 됩니다. 성공경험이 내가 가지고 있던 믿음이나 가설에 확신을 심어주고 이를 지지하는 정보만 선택적으로 받아들이게 만들거든요. 일전에 소개드렸던 유산균 사례처럼 고가의 유명모델을 사용한 광고 캠페인에 대한 믿음이 생기면, 그 믿음을 지지해 주는 데이터만을 찾아내려 할 수 있습니다. 데이터 분석에서 '나는 잘 모른다' 스탠스는 확증 편향을 피할 수 있도록 도와줍니다.
비전문가형 데이터 분석가. 어째 타이틀이 어색하죠? 하지만 장점은 분명합니다. 아마 더 객관적으로 모든 데이터를 들여다보고 맞춰보며, 예상치 못한 결과에 대해서도 열린 자세로 받아들일 수 있을 것입니다. 잘 모르니까요. 이는 더 정확하고 유용한 결과를 얻는 데 도움이 됩니다.
끝까지 붙잡아야 겨우 생기는 1%의 직관
데이터 분석가로서 '비전문가'의 자세를 취하는 얘긴 단순히 경험에서 나오는 직관을 무시하라는 의미가 아닙니다. 경험에 갇히는 오류를 극복하고, 더 객관적이고 조심스럽게 데이터를 바라보자는 의미입니다. 이는 P직관의 함정을 피하면서 고민과 연상으로 작동되는 또 다른 직관, 창의적 직관을 가동하게 도와줍니다. 고약하게도 우리 뇌에서 문제에 대한 해답을 만들어내는 창의적 직관(C직관)은 P직관이 막혀야 나오거든요.
창의적 직관은 가지고 있던 경험이나 과거의 패턴을 벗어나 새로운 연결고리를 만들어내는 능력을 말합니다. 목욕을 하다 밀도의 원리를 깨우친 수학자 아르키메데스, 감자밭에서 쟁기질을 하다 TV스크린을 떠올린 필로 판스워즈, 푸른곰팡이에서 페니실린을 찾아낸 알렉산더 플레밍, 산소의 존재를 처음 발견한 신학자 프리스틀리 같은 케이스가 대표적입니다. 하나의 생각이 다른 수많은 생각들을 동시다발적으로 자극하는 연상 작용으로 생기는 직감이라고들 하더군요. 다소 엉뚱하지만 역사적인 직감을 얻으면 어떤 느낌인지 궁금하긴 합니다.
일을 하다 보면 종종 길을 잃습니다. 데이터가 너무 많아도 그렇고 적어도 그렇습니다. 불거지는 수치나 표현이 보이지도 않을 때도 그렇죠. 분명히 있긴 할 텐데 어째 내 눈에만 보이지 않는 것인지. 예전에 요긴하게 써먹었던 방식이 이번에도 유효하리라는 보장은 없습니다. 참고는 하되 항상 새로 개척한다는 마음으로 들어가야 그나마 속이 편합니다. 고생은 늘 하는 거니까요.
쓸만한 직감은 그리 쉽게 나오지 않는다