나만의 “실험적 역사” 그리고 “실험적 사고”의 중요성
“실험의 힘”
이책을 읽고 느낀점은 크게 4가지 이다.
1. 어떤일에 대한 의사결정을 직관적으로 내리기 보다 최소 A/B테스트를 해서 조금더 객관적인 선택을 할 수 있도록 하자.
2. 왜 이렇게 결과가 나왔는지 정확히 모른다. 그러니 결과에 대한 무조건적인 맹신은 금물!! 그 상황속 특정한 맥락을 파악하려 하자.
3. 불학실성을 인정하고 빠르게 대처할 수 있는 유연한 사고가 필요하다.
4. 단기적인 결과를 보고 그것을 통해 장기적 결과를 단순계산하는건 위험한 생각이다.
먼저 A/B 테스트를 일반적인 상황에서 어떻게 활용을 해볼까?를 생각해보았다
책을 읽으면서 나는 “실험적 사고”를 가지고 있는것 자체가 중요하다고 생각을 했다.
실험적 사고를 바탕으로 어떠한 문제에 마주쳤을때 직관에 의존하는 것이 아닌 “테스트”를 해보고 그 근거들을 바탕으로 더 나은 선택을 하는것이 실험에 대한 긍정적인 가치가 있다고 생각한다면
나는 일상생활속 “테스트” 를 “일상속 크고 작은
에피소드들을 기록하는 습관” 으로 바꿔보았다.
그리고 거기서 내가 한 선택에 대한 결과를 객관적 판단 및 반성을 하고 , 선택에 대한 갈등이 생길때면 비슷했던 상황의 그 기록들을 보고 그 순간의 감정 및 직관에 의존하는 것이 아닌 전의 기록들을 바탕으로 선택을 보완해나가는것. 그리고 가장 중요한 것은 기록에 대한 결과의 불확실성을 인정하고 맹신하지 않는 것!! 이 내가 이책을 읽으면서 인생에 적용해 나갈 부분이다.
간단히 설명하자면 나만의 “선택의 역사”를 기록하고 앞으로의 선택에 반영할 것이다.
1. 어떤일에 대한 의사결정을 직관적감각이 아닌
테스트를 통해 선택을 보완
우리가 의사결정을 내릴 때 직관에 의존하는 경우가 많기 때문에, 실험이 직관을 보완함으로써 정책과 경영의 결정에 영향을 미칠 수 있다는 게 이 실험에서도 확인되었다는 것이다. 이 부분에서 아직도 연구해야 할 것이 많지만, 의사결정에 대해 물을 때 신중해야 하고, 증거가 확보되기 전에는 이런저런 시스템을 섣불리 권장하지 않아야 한다는 것도 이 실험에서 얻은 수확이다.
토드는 학생들의 출석률 제고에 관심을 두었다. 한 연구에서, 토드와 에비 펠러는 28080명의 학무보에게 한 학년동안 세 종류의 가정 통신 자료를 보냈다. 한 집단에게는 정상적인 통신 자료 이외에는 어떤 자료도 보내지 않았다. 두 번째 집단은 출석의 중요성, 학생의 출석에 미치는 부모 역할의 중요성, 그해 자녀의 총 결석일에 대한 정보를 담은 우편물을 다섯 번이나 받았다. 마지막 집단은 두 번째 집단과 똑같은 정보 이외에, 다른 학생과 비교한 자녀의 결석률에 대한 정보를 추가로 받았다.
그 결과에 따르면, 부모가 추가로 정보를 받은 두 경우에 대조군과 비교하여 총 결석률이 6퍼센트가량 줄었고, 상습적인 결석은 10퍼센트 이상 줄었다. 특히 공립학교에 대한 재정 지원이 만성적으로 부족한 현실을 고려하면 이런 개선은 저비용으로 이루어 낸 훌륭한 성과였다. 구체적으로 말하면, 학생의 출석일을 하루 늘이는 데 6달러밖에 들지 않았다. 반면에 학생들의 출석률 제고를 위해 상담자와 멘토를 교육시키고 그들에게 지불하는 비용은 수업일당 121~500달러에 달한다.
이처럼 테스트를 거쳐 의사결정을 한다면 문제 해결에 대한 금전적, 시간적 비용을 줄이는 효과를 볼 수 있다.
2. 상황속 특정한 맥락을 이해하려고 하면서 그 결과에 대한 이유는 아직 모른다는걸 인지하자.
3. 불확실성을 인정하고 빠르게 대처할 수 있는 유연한 사고가 필요하다.
4. 단기적인 결과를 보고 그것을 통해 장기적 결과를 단순계산 하는것은 위험하다.
토드와 펠러의 연구에서 얻은 또 하나의 교훈은 기업이나 정책 입안자가 혁신을 추구할 때, 의도하지 않는 결과에 곧잘 부딪친다는 것이다. 실제로 몇몇 부모는 자녀가 자주 결석한 이유가 중대한 질환이나 큰 부상 때문이었다며, 자녀의 낮은 출석률을 나무라는 듯한 편지를 받고 기분이 몹시 나빳다고 항의하기도 했다.
이런 항의에 자극을 받아, 토드와 그의 공동 연구자들은 그런 가족을 찾아내 실험군에서 배제하는 도구를 개발하고, 그래도 걸러지지 않은 경우에는 부모의 불만을 신속히 해결하는 더 나은 절차를 고안하려고 애썼다.
그들은 미국 전역의 학군에서 실험을 시작할 때였기 때문에 문제점을 찾아 개선하려는 이런 노력이 무척 중요했다. 요컨데 실험을 실시해야 문제점이 표면화되고, 혁신적 조치의 어떤 면이 효과적이고, 어떤 면이 의도하지 않은 결과를 낳으며 역효과를 불러일으키는지 알아낼 수 있어, 관련된 프로젝트를 확대해 실시하기 전에 수정할 수 있다.
이 장에는 실험주의자들이 되새겨야 할 중대한 교훈이 있다. 결과를 추적할 때는 충분한 시간을 두고 신중하게 생각해야 한다는 것이다. 그 시간은 연구하려는 문제가 무엇이냐에 따라, 또 단기적인 결과와 장기적인 결과 사이의 관계에 따라 달라진다. 실험은 단기간에 지나치게 많은 것을 추구하면 위험 할 수 있다. 이런 경우에는 장기적으로 해로울 수 있는 방법이 동원되기에 십상이기 때문이다.
리더들이 미래에 대한 결정을 내릴 때 잘못된 직관에 의존하는 경우는 아직도 빈번하다. 그러나 4장에서 말했듯이, 이런 사실을 인정하는 분위기가 조성된 덕분에 실험 혁명이 꿈틀대고, 조직에서도 실험이 시작될 수 있었다. 간단히 말하면, 어려운 결정을 내려야 하는 책임은 리더의 몫이지만, 리더가 더 나은 결정을 내리도록 도움을 줄 수 있는 것이 실험이다. 리더에게는 모르는 것을 인정하는 겸손과, 어려운 질문에 답을 구하는 도구의 일부로써 실험을 활용하겠다는 확신이 필요하다.
조직에서 실험을 활용하려는 사람들이 반드시 기억해야 할 중요한 교훈
교훈 1 : 지금은 실험 혁명이 시작된 초기에 불과하다.
교훈 2 : 지금까지는 많은 실험이 좋았다.
교훈 3 : 실험을 통해 조직은 더 효율적인 조직으로 성장할 수 있지만, 고객이나 조직원에게는 부정적인 영향도 미칠 수 있다.
교훈 4 : 실험은 테크 분야 너머에서도 중요하다.
교훈 5 : 아직도 해야 할 일이 많다.
조직의 의사결정과 실험의 중요성
첫번째: 실험은 기존의 상품이나 정책을 객관적으로 평가하는 데 도움을 줄 수 있다.
두번째 : 실험은 이론이나 가설을 테스트할 수 있다.
세번째 : 실험은 기준틀을 개발하거나 개선하는 걸 도울 수 있다.
네번째 : 실험은 가설이 아직 존재하지 않은 영역에서 사실 확인을 위해 사용 될 수 있다.
최대한 차선을 선택을 했어도
그 또한 불확실하다는 것을 인지하며 ,
악용될 가능성이 있지만 잘 사용된다면
대체로 긍정적인 힘을 가진것이 실험이다.
간단히 말하면, 실험은 새로운 아이디어를 체계적이고 객관적으로 시험하는 한 방법에 불과하다. 실험이 정교하게 진행되면, 새로운 아이디어는 긍정적이라는 증거가 더욱 분명해진다. 따라서 많은 정보를 지닌 사람은 결국 실험의 지지자가 되기 마련이다.
그러나 실험의 진정한 지지자가 되려면 불확실성도 인정할 수 있어야 한다. 우리가 노력을 기울이더라도 새로운 아이디어가 효과적이지 않다는 것으로 결론지어질 수 있다는 걸 인정해야 한다는 뜻이다.
실험은 대체로 긍정적인 힘을 갖는다. 그러나 모든 증거 수집이 그렇듯이, 증거의 가치는 실험을 실시한 사람에게 전적으로 달려 있다. 예컨대 어떤 기업이 실험을 통해 소비자를 속이는 방법을 알아내려고 한다면, 그 실험은 기업에게 좋지만, 소비자에게는 좋을 게 없다. 이런 부정적 가능성을 무시할 수는 없겠지만, 조직에 충분한 투명성과 분계선을 둔다면 실험의 가치를 지키면서 최악의 남용을 피할 수 있을 것이라 확신한다.
