데이터에서는 '정답'을 찾을 수 없다
목적 중심으로 데이터에 접근하기
약 3년 전, 발등에 불 떨어지듯 고객 로그를 보기 위해 부랴부랴 SQL 공부를 시작했다.
목적은 너무나 단순하고 명확했다. 걸음수에 따라 당장 눈앞에 고객에게 리워드를 줘야 했기 때문에 아주 단순하게 '오늘까지 7일 연속으로 걸음수 목적 달성한 사람의 아이디, 이름, 전화번호'를 뽑는 거였다. 그 외에도 CS를 위해 고객의 데이터들을 조회해보곤 했다.
처음에는 데이터베이스를 분석툴에 연결하는 것조차도 어려워서 거부감이 많이 들었지만, 한 번 익숙해지고 나니 재미를 붙이게 되었고 내가 그동안 기획이랍시고 했던 것들도 그 뒤에 복잡한 로직이나 예외케이스들을 하나도 고려하지 않은 어린아이 같은 기획이었다는 걸 깨닫게 되었다. 물론 지금도 일을 하다 보면 내가 왜 이 로직을 분석하고 있는지 목적을 잊어버리고 헤맬 때가 너무 많지만;; 이때 이걸 깨달았다는 것만으로도 너무 다행이라고 느낀다.
그리고 회사를 옮겨 다닐수록 내가 접하게 된 로직의 복잡도는 기하급수적으로 높아져만 갔다.
지금까지 복잡함은 복잡함이 아니었다... 총체적 난국... 나중에는 로직을 짰던 사람도 왜 그렇게 짰는지 이해가 안 돼서 다시 분석해야 하는 경우도 봤다. 실제로 일을 하다 보면 모든 걸 다 기억할 수 없기에 복잡한 로직을 짤 때 주석을 잘 안 써놓으면 아무도 손을 못 데는 무서운 상황이 생기기도 한다.(그래서 미래의 나를 위해, 그리고 후손(?)을 위해 주석은 정말 중요하다.)
만든 사람도 결국 사람이고, 나중에 로직에 결함이 있어서 수정을 해야 할 일이 생기기 마련이다. 그러면 완벽할 것만 같은 시스템에 '오류'가 났다는 사실 때문에 나도 모르게 조급해져서 자꾸 정답을 찾으려고 한다. 그래서 많이 혼나고 있다 :( 주니어라면 모름지기 하루에 한 번은 혼나는 거 아닌가요? 그렇지만 마음이 조급한걸 어떻게...
그래서 내가 요즘 느끼는 거 요약 :
1. 정답은 없으니까 정답 물어보지 말고 정답을 찾으려 하지 말자
2. 사수나 동료가 아무리 뛰어나다도 해도 결국 사람이니깐! 100% 맞다고 가정하지 말고 의심하자
3. 논리는 줄이 꼬인 처음 부분을 찾으려 하면 '논리적 비약'이 되어버린다. 그래서 마지막에 발견한 '현상'에서부터 시작해서 엉킨 목걸이 풀듯 하나하나 따라가며 만들어야 한다
나는 목적 중심의 데이터 사고가 필요하다고 생각이 들어서 '빅데이터 시대, 성과를 이끌어 내는 데이터 문해력'이라는 책을 읽게 되었는데 너무 공감되는 내용이나 유념하면 좋을 내용이 많아서 내 생각과 함께 적어보았다.
데이터 문해력 책 내용
- 문제를 데이터로 해결하기 위해서는 기획자가 '생각'을 하는 시간이 80% 이상이다.
- 데이터를 활용하는 순서:
(1) 분석 전에 문제 및 목적을 명확하게 정의하고 가설을 구축한다
(2) 기술과 지식을 활용하여 데이터를 분석한다
(3) 분석 결과에 대한 해석과 스토리를 구축하여 결론을 도출한다(정답을 말하는 게 아니라 '설득'의 개념)
책 전반을 간파하는 중요한 사실이 하나 있었다. 바로 "데이터가 우리에게 직접적인 답을 주는 경우는 없다."였다. 설령 아무리 고난도의 통계기법을 사용하더라도 내가 '무엇을 알고 싶은지, 이를 알게 되면 무엇을 하고 싶은지, 이를 위해서는 어떤 데이터(지표)가 필요한지'를 아는 것이 더 중요하다는 거다.
복잡한 문제를 만났을 때 가장 주의해야 할 생각은 '어떤 게 정답일까'라는 생각이다. 왜냐하면 어딘가에 절대적인 정답과 진리가 있다는 생각에 빠져있어 스스로 논리를 만들지 못하기 때문이다.
사실 정답이 있다고 가정하는 것 자체에 결함이 있다. 정답이 있다면 기획이라는 게 필요 없다. 우리는 정답이 있는데 그걸 찾는 rule follower가 아니라, rule maker로서 문제를 접근해야 한다. 프로필 상태메시지에 '내 인생은 내가 가는 게 정답이야!!'라며 떡하니 써놓고도 정작 일을 할 때는 생각하지 못했다;;
사실 이론이 쉽지 실제로 해결해야 할 문제가 생기면 정답을 찾아서 해결하려고 하기 바쁘게 된다. 조급한 마음이 들면 좀 기분을 환기시키고 다시 차근차근 현상의 본질을 보기 위해 전체적으로 생각할 필요가 있다.
- 실제 일어난 문제는 '현상'이고, 우리는 그 현상이 일어난 '원인'을 발견하고, 원인과 해결방법에 대한 '근거'를 뒷받침하기 위해 데이터를 활용하는 것이다. 데이터 '안'이 아니라 '밖'에 해답이 있다.
- 기존 그래프와 데이터를 통해 알 수 있는 것이 무엇인지가 아니라, 나 자신이 알고 싶은 것에 따라 데이터를 수집하고 분석해서 그 결과를 검증하고 결론으로 연결하는 것이다.
- 그러니 정답을 찾으려 하기보다는, 나만의 논리를 만들어서 데이터로 뒷받침하고 해결방법을 설득하려는 태도를 가져야 할 것 같다.
- 그리고 논리를 세웠다면 거기에서 끝나는 것이 아니라, 설득 대상에게 어떤 정보와 설명이 필요할지를 고민하고 논리적 비약이나 '다 알겠지'라고 생각해서 넘겨짚지 않도록 정리하면 좋다.
논리를 다 생각했다면 미래의 나를 위해, 후손을 위해 이걸 정리해야 하는데, 정리할 때만큼은 보기 쉽게 결론부터 작성하면 좋다.
지금까지 한 이야기들을 한 마디로 말하면 '목적 중심 사고로, 데이터에 사로잡히지 않고 객관적으로 '생각'하는 것이 바로 데이터 문해력의 본질이라는 거다.
하지만 이 과정이 결코 쉬운 건 아니고, 결국 다루는 데이터 도메인지식과 데이터의 의미를 파악하고, 전후 문제의 본질을 생각하고 논리를 명확하게 만들어낼 수 있는 능력이 필요한데, 결국 끊임없는 삽질이 필요한 것 같다. 사업도 가설->검증을 반복하고 사업에 감이 오는 것처럼, 데이터 활용도 가설 ->검증을 반복하고 실패와 성공을 반복했을 때 감을 잡게 되는 것 같다.
데이터로 문제를 접근하는 방법은 역설적이게도 데이터를 먼저 정해놓고 생각하지 않는 것이다.
데이터 활용 프로세스
데이터 활용 프로세스여기에서 데이터분석으로부터 결과를 도출하는 단계는 '현상파악', '원인파악', '원인에 대한 평가' 3가지이다.
데이터를 통한 문제 원인을 도출하고 논리를 만들어 설득하는 과정을 한 번 거치고 나면 이런 생각이 든다.
(1) 감이나 상상력, 주관으로 일 하면 안 되는구나
(2) 논리와 정확한 흐름을 탄탄하게 만들어 정확하게 일해야겠다
(3) 전체 로직을 생각하지 않으면 논리에 비약이나 유기적 관련성이 부족해서 설득력이 없어지는구나
단순히 데이터를 보는 방식, 분석 툴을 다루는 방법, 숫자로서의 결과도출에서 그치는 것은 접근 자체가 잘못되었다는 것을 알려주는 책이었다. 그래서 책을 보면서 반성이 많이 되어 빼곡하게 메모장에 적으면서 봤다. 눈에 보이는 데이터에 의지하지 않고 스스로 목적과 문제 원인을 다양한 각도로 접근해서 결국 논리를 탄탄하게 구성하는 것이 핵심이라는 점을 꼭 기억하면서 접근해야겠다.
