05 여러분의 리서치가 맛없는 이유
처음부터 만들어선 안 되는 음식이었을지도, 다시 만들어!
오후 일정이 빠듯한 탓에 간단한 업무를 서둘러 해치우려 사무실에 앉아 샌드위치를 씹으며 점심을 때우고 있노라니 인간은 의외로 허술한 생명일지도 모른다는 생각이 문득 든다. 샌드위치를 꽤 좋아해 즐겨 먹는 편인데 상황이 문제인지 이렇게 해치울 땐 저작운동이 귀찮을 정도로 맛이 없게 느껴지기 일쑤다. 같은 음식이라 하더라도 어떻게 플레이팅을 하고 어떤 상황에서 먹느냐에 따라 식욕이 달라지는 걸 보면 틀림이 없다.
여기서 여러분의 가설 검증 데이터는 대부분 억지로 입에 쑤셔 넣는 저 샌드위치와 같다. 데스크 리서치라는 장표에 고민해 낸 가설을 증명하기 위해 다양한 방법으로 데이터를 긁어모아 자랑스럽게 진열한다. 맛이(설득력이) 없어 보인다는 이야기다.
검증 데이터가 맛없는 이유는 크게 몇 가지가 있는데 정리해 보면 다음과 같다.
[여러분의 데스크 리서치가 맛없는 이유]
1. 가설 수립부터 모호해 검증의 방향성이 또렷하지 않은 경우
2. 정성 데이터 중심으로 다뤄놔 눈에 들어오지 않는 경우
3. 기본적인 논리 구조 없이 그저 데이터를 늘어놓은 경우
4. 주제 자체가 데이터를 발견하기 어려운 대상일 경우
아마 대부분의 학생들은 특별한 경험이 없는 이상 무언가 정리해서 문서화하는 경험은 논술시험이나(그마저도 예체능계는 이것도 예외인 경우가 많다) 리포트 제출이 전부일 것이다. 이건 나도 예외는 아니었으니까.
그래도 내가 대학 캠퍼스에서 청춘을 불살랐던 시절이 벌써 20여 년이나 지난 일이기에 그래도 무언가 바뀌지 않았을까 기대도 해보았다. 옛말에 10년이면 강산도 바뀐다고 하지 않았던가. 하지만 기이하게도 대학이란 곳은 세상과는 다른 시간선을 달리는 것처럼 이 부분에서 만큼은 변화가 없던 모양이다.
아마 대학의 성격상 이 문제는 앞으로 20년이 더 지나도 달라지지 않으리라 생각한다. 지식의 상아탑인 대학은 아무래도 실전적인 직업학교나 학원과는 궤를 달리할 수밖에 없으니 한계가 있을 것이다. 그러니 여러분의 포폴에 담긴 리서치가 저런 맛없는 데스크 리서치의 조건 모두를 충족하더라도 너무 실망하지는 말았으면 한다. 해본 적이 없는 건 어쩔 수 없으니까.
1. 가설 수립부터 모호해 검증의 방향성이 또렷하지 않은 경우
가장 근본적인 문제에 가까운데, 샌드위치를 만들려고 했던 의도는 있었지만 실제로 만들어진 결과물이 정체를 알 수 없는 그 무언가에 속하는 것과 비슷한 경우다.
여기에 속하는 친구들은 아마 자료를 찾으려 검색 서비스에 타이핑을 치려는 순간부터 막막했을 것이란 예측을 해본다. 앞장에서 이야기했듯이 ‘문제를 인식하고 이를 개선하는 형태’로 가설이 설계되지 않거나, ‘가설 자체가 자연스러운 스토리 텔링이 어려워 공감을 받지 못하는 경우'에 이런 일이 발생할 수 있다.
다시금 젊은 층의 증권 거래를 소환해 보면 이해가 빠를 듯하다.
젊은 층은 일반적으로 주식 거래에 대한 경험이나 지식이 부족한 계층이니 주식거래를 쉽게 해 주면 활성화되지 않을까?
이 가설을 증명하기 위해 자료를 탐색하기 시작한다고 생각을 해보자. 노련한 실력자라면 여기서도 가능성을 재단하며 방향을 다듬어 나갈 수 있겠지만 대부분의 경우에는 바로 머리 위에 물음표를 띄워야 할 것이다. 주식거래를 쉽게? 대체 어떻게?
이건 마치 포트폴리오를 열심히 만들어도 자꾸 서류 탈락하는 친구에게 ‘평가자 마음에 쏙 들게 잘 만들어봐'라고 조언하는 것과 뭐가 다를까?
반면 문제를 기반해서 출발했던 사례의 가설을 요약해 본다면,
왜 젊은 계층에서는 투자 대상 기업에 대한 학습을 고수익 투자자들만큼 능동적으로 하지 못하고 있을까?
여기부터는 꼬리에 꼬리를 무는 질문으로 조사를 좀 더 세분화를 시도해 볼 수 있을 것이다. ‘학습을 안 하면 투자정보는 대체 어디서 얻지?’ > ‘이런 식으로 정보를 소비할 때 생기는 예상되는 문제점은?’ > ‘고수익 투자자와의 정보 소비방식의 차이점은?’ > ‘왜 이런 차이가 생기고 있을까?’
궁금하면 한번 저대로 인터넷 검색창에 질문을 검색해 봐도 좋다.
이건 마치 화살이나 총을 쏘면서 조준점은 기껏해야 몇 mm 흔들리는 거지만, 표적지에는 작게는 몇 cm에서 수십 cm까지 오차가 생기는 것처럼, 가설의 방향성이 어떻게 되느냐에 따라 리서치의 결과도 판이하게 흘러가는 건 너무나 당연한 일이다.
여기서 잠깐!
“첫 번째 가설도 ChatGPT에 물어보면 꽤 쓸만한 답변이 나와요!”라고 반론하는 친구가 있을지도 몰라 나도 호기심에 한번 검색해 보았다. 여러분도 한번 똑같은 키워드로 검색해 보고 비교해 보면 좋을 듯하다. 질문은 [젊은 세대에게 주식거래를 쉽게 해 주려면 뭘 해줘야 할까?] 그랬더니 결과물은,
위와 같이 답변이 뜨는 것을 확인했다. (한번 답변이 나온 걸 표로 정리해 달라고 해서 발췌한 내용이다) ‘뭔가 그럴싸한데?’라고 생각하는 친구가 있다면 상당히 곤란하다. 아니 그래서는 안된다. 쓸모 있는 답변 같아 보이지만 저것들의 대부분은 이미 구현된 것들이 대부분이며, 너무나 당연하게 받아들여지는 상식적인 이야기에 지나지 않는다. 이런 보고서를 받아 든다면 대번에 핀잔을 들으리라 확신한다.
“이미 다 있는 기능이잖아 인마!”
사실 이런 호통 앞에서도 할 수 있는 변명은 그리 많지 않으리라 예상된다. 왜냐하면 저런 것들을 ‘왜' 해야 하는지에 대한 근본적인 이유를 모르는 상태이니까. 이런 식의 보고서는 ‘양사원'과 같은 접근으로 취급될 수밖에 없다. 왜 하는지는 모르지만 권위 있는 누군가가, 남들이 하자고 하니까 따라 하는 식 말이다.
이번엔 ChatGPT에게 다르게 질문을 던져보자.
“젊은 세대가 주식 거래 정보를 얻는 방법은?”
이것만으로는 젊은 층이 주식 거래를 실패/기피하는 원인으로는 증명이 어려운 거는 마찬가지다. 추가 질문을 계속 던져보자.
“이런 식으로 정보를 소비할 때 생기는 예상되는 문제점은?”
사실 이 정도만 와도 젊은 세대의 정보소비 방식으로 파생되는 문제점의 윤곽은 상당히 명확해진다.
예시만 대충 읽어봐도 ‘수익보다는 손실을 보는 게 당연하지 않을까?’라는 생각이 든다. 이런 상황에서는 두어 번 투자를 감행했다가 돈만 날리고 흥미를 잃어버리는 것은 너무나 당연한 일이다. 이제 문제는 꽤 손에 잡히고 있으니 이제 비교를 통해 어떤 점이 구체적으로 다른지를 확인해 볼 차례다.
“고수익 투자자와 이 정보 소비방식의 차이점은 뭐야?”
투자의 목적은 결국 수익이다. 그리고 고수익을 내는 집단과 그렇지 못한 집단의 차이를 명확하게 인식한다는 것은, 뒤집어서 그렇지 못한 집단의 수익률을 끌어올릴 수 있는 단서가 될 수도 있다는 말이기도 하다. 차이를 좁혀주면 그 문제가 개선될 테니까. 이제 차이점을 확인했으니 인사이트를 정리해 나가면 될까? 아니다, 나는 늘 다음날 아침에 입을 정장 드레스코드에 맞춰 시계와 안경까지 잠들기 전에 준비해 놓는 사람이다. 신중하다는 이야기다. 그러니 한 번만 더 질문을 던져보자.
“왜 이런 차이가 생기고 있을까?”
차이가 생기는 근본적인 원인까지 확인하고 나면 이제 남은 건 이를 어떤 방식으로 해결하면 될까를 고민하면 된다. 가설검증 리서치 참 쉽죠? 이대로만 하면 왠지 UX포폴 금세 탄탄하게 완성할 수 있을 것 같지만 안타깝게도 현실은 그렇게 녹록하지만은 않다.
엄밀하게 말하자면 ChatGPT는 사실 제대로 된 리서치는 아니다. 생성형 AI의 할루시네이션 Hallucination 탓에 신뢰도가 떨어진다는 문제가 아니라 데이터의 줄글로 표현되는 정성 데이터의 형식 자체가 객관적인 신뢰도를 담보하기에는 한계가 있기 때문이다.
저자 aiden의 UXUI 포트폴리오 온라인 강의
