Statistics. 웃는 얼굴로 돌아보라

인문학으로 MBA하다 (5)

인문학으로 MBA하다 (5)
2023 Fall - Mod 1
Business Statistics and Analytics. 웃는 얼굴로 돌아보라
#경영통계, #문학, #이건범, #파산, #가설검증

수업을 들었을 때 ‘와 재미있다’ 라거나, 교수님이 가르치는 개념을 ‘완전히 이해했다’는 느낌은 없지만 성적은 이상하게 잘 나오는 과목이 있다. 배운 이론을 종합적으로 다 이해한 상태에서 문제를 위에서 내려다보며 거침없이 풀어나가는 것과는 정 반대로, 개념과 개념 사이의 연결고리를 잘 이해하지 못한 채 가까스로 문제를 풀어나간다. 문제를 몇 분 정도 들여다보고있으면 ‘아, 이 개념을 사용하면 되겠다’는 것이 머리에 떠오르고 가까스로 문제를 풀게 되는데, 답안지를 제출하고 나면 시험을 망쳤다는 생각밖에 들지 않는다. 그러나 며칠 뒤 받아든 성적은 희안하게 거의 만점에 가까웠다. 문제를 풀 때와 결과를 확인할 때가 전혀 다른 과목 중 하나가 통계학였는데, 배울 때는 알듯말듯한 기분이 들었고 그 알듯말듯한 기분은 학기 내내 이어졌다. 수업이 끝나도 확실하게 안것은 많지 않았다.

터키에서 오신 알리 교수는 Business Statistics and Analytics 과목을 가르쳤다. 이 수업은 학부 때 경영학과에서 배운 경영통계와 비슷한 과목이었는데, 대학교 신입생 때 전공 필수 과목으로 경영통계를 배운 이후에 거의 20년만에 듣는 통계학이었다. 20년 전 처음 경영통계를 배울 때와 지금 통계학에 대해 느끼는 바는 조금 달랐다. 일반화하긴 어렵지만 2004년에 경영학과에서 배우는 통계학 주류에서 조금 벗어난 다분히 기술적인 색채가 강한 영역이었다. 당시에 학생들이 가장 주목했던 과목은 아무래도 회계, 재무, 전략과 같이 전통적인 경영학 분야였고 통계학은 우리보다는 정치외교학, 경제학, 행정학과 함께 편성되어 사회과학을 전공하는 이들에게 더 적합한 분야였다. 그때 우리는 기초 소양을 배운다는 정도의 마음가짐으로 수업을 들었고 SPSS 프로그램을 돌리며 기계적으로 통계적 유의미함을 분석하곤 했다.

그런데 20년 정도 지나보니, 특히 2020년대 들어 OpenAI에서 ChatGPT가 개발되고 점차 경영학과 내부적으로도 Data Science에 대한 중요성과 필요성이 높아지는 것을 느꼈다. MBA 과정 내에서도 데이터의 기본적인 개념과 응용 방법, 파이썬을 활용한 데이터 분석 방법, 머신러닝을 활용한 고객 정보 분석 방법 등의 수업이 다수 개설되었고 많은 MBA 학생들이 적극적으로 데이터와 관련한 수업을 들었다. Data Science를 이해하는 여러 경로 중 하나가 통계학이었고, 그건 알리 교수도 늘 강조하는 점이기도 했다. “"모든 것은 데이터에 기반합니다. 꼭 데이터 분석가가 되지 않더라도, 자신의 경력에서 데이터와 계속 상호 작용할 수 밖에 없거든요. (출처: UNC MBA Interview <Asking the right questions>”, 2024-10-11)

알리 교수가 가르치는 Business Statistics and Analytics 수업의 핵심은 아무래도 “회귀분석을 통한 가설 검증 및 분석 모델 개발” 이다. 가설 설정과 검증은 귀무가설(Null)과 대립가설(Alternative) 두 종류의 가설을 세우는 것부터 시작한다. 귀무가설은 일반적으로 받아들여지는 명제고, 대립가설은 귀무가설에 반해 새롭게 검증해보고 싶은 명제다. 귀무가설이 맞는지를 평가하기 위해 여러 종류의 검증방법을 적용하게 되는데, 주로 가설의 P-value 값의 크기를 두고 귀무가설를 기각할지 인용할지 여부를 결정한다. P-value는 귀무가설이 참이라면 이러한 데이터가 나올 수 있다는 확률을 의미한다. P-value가 낮다는 것은 이러한 데이터가 나올 수 있는 확률이 낮다는 것이고, 귀무가설이 그다지 설득력이 없다는 뜻이기도하다. 이런 경우 우리는 귀무가설을 기각하고 대립가설을 채택하는 것이 통계적으로 유의미하다고 말한다.

문제는 분석해야 하는 변수 개수가 무척 많고 변수와 변수 사이의 관계도 복잡다기할 때다. 100개의 변수가 존재하고 이 중 어느 1개 변수와 다른 99개의 관계에 대한 가설을 세우고 그것이 맞는지를 판단하고 싶다고 해보자. 보통 이럴 때 우리는 1개 변수를 종속변수로 놓고, 나머지 99개 변수를 독립변수로 하여 변수 사이의 관계를 분석하는 회귀분석 모델을 구축하고 모델의 설명력을 살펴본다. 그런데 가장 통계적으로 유의미한 모델을 만드는 과정은 생각보다 단순하지 않다. 100개의 변수가 있을 때 100개 변수를 모두 사용하는 모델을 만들면 가장 설명력이 높지 않겠느냐… 라고 생각하게 되지만 실상은 그렇지 않아서 최적 모델을 만들기 위해 회귀분석 모델을 여러번 돌리게 된다. 이 변수를 넣었다가, 뺐다가, 변수 값을 Log로 치환해서 넣어보기도 하고, Log-Log로 치환해서 넣어보기도 한다. 변수들이 갖는 P-value를 분석해서 P-value가 높은 변수 (즉, 종속변수를 제대로 설명해내지 못하는 독립변수)는 제거하고 더 설명력이 높은 모델을 만들어낸다.

요모조모 해보니 전체 99개 중에 최종적으로 11개의 변수가 아까 우리가 생각한 1개의 종속변수 움직임을 가장 잘 설명하는 것 같다! 라는 식이다.

중요한 건 변수 사이의 관계가 이러할 거라는 가설을 처음에 만들고나서 변수들의 통계적인 유의미함을 계속 검증한 뒤 설명력이 높아질 때까지, 즉 초기 가설을 가장 그럴듯하게 뒷받침할 때까지 계속해서 가설을 검증하는 과정을 반복한다는 점이다. 한 번 가설을 세우고, 가설을 검증해서 최대한 설명력 높은 논거를 찾아내고, 그럼에도 불구하고 이 가설이 유의미하지 않다고 판단되면 그 가설을 기각할 수 있다는 자세는 통계학이 가진 ‘자기 객관적 태도’였다. 통계학은 우리에게 속삭인다. “나도 이 가설이 맞다고 생각하는데, 이 가설이 맞는지 최선을 다해서 확인해볼게, 그런데 가설이 틀린 걸로 결정나고 실패할 수도 있어. 그래도 괜찮아. 왜냐하면 가설을 검정하는 단계에서 무엇이 이 가설이 유의미하지 않게 만드는지 그 원인을 어느 정도는 알 수 있거든.”

알리 교수에게서 두 달 내내 회귀분석을 통한 가설 검증을 배우면서, 나는 종종 경영학에서 배우는 ‘가설적 접근에 기초한 전략적 문제 해결’을 떠올렸다. 내가 경영학과 학부를 다니던 2004년에서 2009년 사이에는, 소위 ‘맥킨지처럼 사고하는 법’이 꽤 유행했다. 공인회계사 시험을 준비하지 않는 경영학과 학생들 중에는 졸업 후 컨설턴트나 외국계 마케팅 회사를 꿈꾸는 이들이 많았고, 이미 필드로 나가있던 선배들은 맥킨지 컨설팅 회사에서 강조한다는 ‘가설적 접근에 기초한 문제 해결’을 체화해야 한다고 강조했다.

맥킨지처럼 사고하는 법은 이랬다. 주어진 데이터를 잘 분석해서 도대체 이슈가 무엇인지를 구조적으로 잘 파악한 다음, 구조화된 이슈 트리를 들여다보며 아! 혹시 이런게 해결방법 아닐까? 라는 초기 가설을 설정한다. 그리고 객관적인 사고실험과 데이터 검증을 통해 그 가설이 맞는지를 판단해서 최종적인 해결방안을 도출하는 것이 이 문제 해결법의 핵심이다. 중요한 건 문제 해결 과정 중간에 등장하는 가설 설정과 지속적인 검증이다. 문제 해결 과정 중간에 세워진 가설은 합리적인 추론과 경험적인 직관이 혼재되어 있기 때문에 그 자체로 완성된 종결형 가설이 아니다. 맞는 것 같긴 한데… 이거 맞나? 라는 질문을 스스로, 그리고 함께 모여 계속해서 토론하는 과정을 통해 가설을 보다 설득력 있게 만들어나가는 것이 꼭 필요하다.

그런데 문제는, 분명 이론적으로는 그렇게 ‘가설적 접근에 기초한 전략적 문제 해결’의 방법을 알고는 있지만 사회생활을 시작해 보니 실제 비즈니스 조직 내에서는 그렇지 못한 경우가 더 많았다는 점이다.

15년 동안 한 회사에서 직장생활을 하는 동안 나는 5명의 CEO를 경험했는데 모든 CEO들은 다 저마다 탁월한 재능을 갖춘 분들이었고, 이러한 재능과 자기 확신을 바탕으로 자기만의 비즈니스 프레임과 가설을 구성원들에게 제시하곤 했다. 비즈니스 자체는 크게 변하지 않았다. 다만 그것을 이해하고 해석하는 가설은 해마다 바뀌곤 했는데, 어느 해에는 갑자기 회사 전체적으로 <블루오션 전략> 책이 유행해서 그 책에서 제시하는 분석 방법론에 따라 우리 회사의 현실과 미래를 진단한 적이 있었다. 각 팀마다 블루오션 책이 전달되었고 모든 팀이 블루오션 프레임에 맞춰 팀이 해야 하는 일을 정리했다. 그런데 그 다음 해에는 갑자기 블루오션 전략은 사라지고 V(Value)-P(Price)-C(Cost)로 구성된 VPC 프레임워크가 등장했다. 모든 팀은 다시 VPC 프레임으로 각 팀의 경쟁력을 진단했다. 그 누구도 이전 해에 만들었던 블루오션 전략을 떠올리지 않았다.

어느 해에는 행복이라는 테마로 회사가 나아가야 할 미래전략을 수립하고, 그 다음 해에는 행복이 아니라 ESG 경영이라는 테마로, 그 다음 해에는 위기극복이라는 테마로 성장전략을 재구조화하는 일이 해마다 반복되곤 했다. 이렇게 해마다 등장하는 프레임, 테마, 분석방법론…… 이런 것들을 우리가 비즈니스를 어떻게 이해하고 앞으로 해 나갈것인가?에 대한 비즈니스 가설이라고 생각해보자. 한 번 세워진 가설은 너무나 쉽게 인용되고, 또 그만큼 쉽게 기각되었다. 인용과 기각의 사이는 굉장히 단절적이라서 어제까지 ‘A’라는 가설로 회사를 경영하다가 갑자기 내일부터는 ‘B’라는 가설로 모든 분석방법이 전환되는 경우가 많았다. ‘B’ 가설체제 속에서는, 마치 ‘A’ 가설이라는 것은 없었던 것처럼 오로지 ‘B’ 가설에 대해서만 이야기를 한다. 불과 며칠 전까지만 해도 모든 비즈니스 분석이 ‘A’가설에 의해 이루어졌는데 말이다.

가설과 가설 사이의 단절 속에서는, 어떤 가설에 대한 끈질긴 검증, 가설이 틀릴 수도 있다는 자기 객관적 반성은 없었다. 회사를 경영하는데 성공한 가설, 실패한 가설은 충분히 존재할 수 있다. 둘을 비교했을 때 분명히 더 좋은 가설은 있을 법하다. 그러나 중요한 건, 성공했으면 왜 성공했는지, 실패했으면 왜 실패했는지 요인을 분석하고 가설을 구성하는 요인을 이런 식으로 바꿔보면 가설의 설득력이 조금 더 높아질 여지는 없는지를 되묻는 것에 있었다. 지금 우리가 믿는 이 가설이 유효한지? 유효하지 않다면 어떤 변수 때문에 유효하지 않은지?를 제대로 따져 묻기 전에 다음의 가설로 성큼 건너가버리는 것이다. 가설과 가설 사이의 단절은, 실패가 실패인지도 모르는 상황, 왜 실패했는지 그 이유를 알지 못하는 상황으로 우리 스스로를 내몬다. 단절이야말로 어떤 의미에서는 진정한 실패에 가깝다.

실패에 대해 생각하니 10년 전 읽은 책 한 권이 떠오른다.

국어운동단체 <한글문화연대>의 대표를 맡고있는 이건범 대표는 2014년 <파산: 그러나 신용은 은행이 평가하는 게 아니다 (이건범 씀, 피어나 펴냄, 2014)> 책을 펴낸다. 이 책은 내가 지난 십 수 년간 읽었던 책 중에 유일하게 ‘실패’를 다루고 있다는 점에서 무척 인상적이었다. 이건범 대표는 전형적인 386세대에 해당한다. 서울대학교 사회학과 83학번으로 대학 시절 혁명을 꿈꾸며 민주화 운동에 뛰어들었고 공안사범으로 투옥돼 28개월 청춘을 감방에서 보냈다. 그런데 출소 후에는 민주화 운동에서 벤처 창업으로 급선회한다. 그는 ‘아리수미디어’라는 교육용소프트웨어 IT 기업을 세워 직원 120명에 연 매출 100억 원을 기록하며 승승장구한다. 투옥된 민주화 운동가에서 성공한 벤처 창업가가 된다. 그러나 무리한 사업 확장이 화근이 되어 결국 파산하고 만다. 회사 파산과 함께 50억 원 연대보증 채무도 고스란히 떠안게 되어 개인적으로도 신용불량자 신세로 전락한다. 이건범 대표가 ‘아리수미디어’ 회사를 창업해서 파산하기까지의 과정을 담아낸 책이 <파산>이다.

이 책에서 이건범 대표는 성공이 아니라 성공 이후의 실패에 대해 주로 기술한다. 그가 주목하는 점은 ‘나는 어쩌다, 왜 망하게 되었는지’ 그 원인, 파산 진행 과정에 대해서다. 그리고 사업이 망해가는 가운데에서도 어떤 태도를 지켜야 하는지 언급한다. “사회 생활에서는 책임을 다하는 것이 중요하다. 파산해서 회사를 정리할 때도 내 책임을 다하지 않으면 주위 사람들이 고통스러운 피해자가 될 거라고 생각했다. 그래서 흔히 부도난 사장들이 일반적으로 꼽는 순서와는 정반대로 채무를 처리했다. 맨먼저, 밀린 물품과 용역 대금을 갚았고, 체불 임금을 지급했다. 마지막으로 금융권 채무를 갚았다. (출처: 조선일보 인터뷰 <파산이 내겐 새로운 시작이었다>, 2014.12.20)”

대다수의 경영인의 자서전 혹은 비즈니스 케이스는 ‘결국 이렇게 성공했다.’를 말하며 끝난다. “쉽진 않았어요. 저도 수많은 실패를 겪었죠. 그럼에도 불구하고 결국 이렇게 성공했답니다.” 식이다. 그러나 이건범 대표는 자기 객관적으로 실패의 과정을 복기하며 실패에 이르게 된 원인이 과연 무엇이었는지를 골똘히 생각한다. 통계학적으로 번역해보자면, 초기 가설이 설명력이 높지 않은 변수가 과연 무엇인지를 자기 검증하는 것이다. 그는 말한다. 돈을 많이 벌게 되자 돈을 쫓았고, 그러자 명확하게 상황을 인식하기 어려워서 시장을 잘못 판단하고, 기술력이 부족해지고, 기초체력 이상으로 조직을 비대하게 유지했다. 또 사장이었던 본인이 우유부단하거나 통찰력이 부족할 수 있었던 점도 실패의 원인, 자신이 세운 비즈니스 가설의 유효성을 떨어뜨리는 요인 중 하나로 그는 지목한다.

지나간 실패의 원인에 주목하는 그의 서사는 흥미롭고, 재미있었다. 왜냐하면 내가 회사에서 경험했던 것은 모두 ‘과거를 돌아보지 않는 가설’의 연속이었기 때문이었다.

기업에서는 한 해 동안 나름대로의 가설을 갖고 경영상황을 진단하고 미래 전략을 수립한다. 그런데 그 가설이 성공했는지 실패했는지를 검증하거나 개선하려는 충분한 시도 없이, 바로 다음의 가설이 등장해서 또 한 해를 지배한다. 세상에 100% 온전히 성공한 가설이라는 것은 존재하지 않는다. 우리는 알리 교수와 함께 회귀분석 모델을 만들 때 R-squared 값으로 모델의 설명력을 판단하곤 했다. R-squared 값은 모델이 종속 변수의 변동성을 얼마나 잘 설명하는지를 나타내는 지표로, 0에서 1 사이 값을 갖고, 1에 가까울수록 모델의 설명력이 높다는 걸 의미했다.

알리 교수는 0.7 정도의 R-squared 값을 갖는 회귀분석 모델이라면 어느 정도 높은 설명력을 갖는다고 말했다. 그러나 그래봐야 0.7인 것이다. 수많은 변수를 넣었다 빼고 조정해가며 모델을 계속 돌려봐도 전체 변수의 70%만을 유의미하게 설명할 수 있다. 그러나 현실에서 우리는, 지금의 가설이 마치 1.0의 R-squared 값을 갖는 것처럼 그것을 신봉하다가, 갑자기 기존의 가설을 버리고 새로운 가설을 스스로에게 적용한다. 정부도 다르지 않다. 747 공약, 창조경제, 소득주도성장, 공정과 상식… 정부가 바뀌면 정책 방향도 몇 달 안에 바뀐다. 새로운 언어로 쓰여진 새로운 가설과 함께 말이다. 그리고 이전의 가설은 그것이 실패인지 성공인지 충분히 검증되거나 토의되지 않은 채 잊혀진다.

가설을 검증해보니 설명력이 낮기 때문에 그것을 끝내 기각하더라도 그걸 실패라고 부를 수 있을까? 진정한 실패는, 기존의 가설이 어느 정도의 설명력을 가졌는지 검증하거나 복기하지 않는 태도, 혹은 더 설명력을 높이기 위해 어떻게 조정해야 하는지 고민하지 않고 기존 가설을 한 순간에 용도폐기하는 태도에서 생긴다. 이건범 대표도 <파산>에서 강조하고 싶었던 건 사업은 실패할 수 있지만, 사업이 실패하는 과정을 어떻게 대하는지가 인생의 성공과 실패를 좌우한다는 점이었다. 계속해서 내가 믿는 바를 되돌아보고, 검증하고, 고치려고 노력하고 그런 이후에 다른 가설을 쫓아야 하는지를 연속적으로 판단해보는 것…… 실패는 성공하지 않은 것들의 연속이 아니라 과거를 돌아보지 않는 단절 속에 숨어있다.

알리 교수는 Business Statistics and Analytics 수업을 진행하고 몇 주 지나지 않아, 강의 중간평가를 스스로 진행했다. 자신의 강의가 너무 어렵지 않은지, 강의 속도가 너무 빠르지 않은지 등에 대해 익명의 설문조사를 했다. 놀랍게도, 알리 교수는 다음 강의에서 설문조사 결과를 투명하게 공개했다. 특히 대부분의 학생이 강의가 평균 이상으로 어렵다고 느낀다고 응답한 점이 알리 교수는 인상적이라고 했다. 그러면서 웃는 얼굴로 갑자기 “그래서 내가 준비했지!” 하면서 교탁 뒤에서 물레 같은 작은 기계장치를 꺼내 책상 위에 올려놓고는 “회귀분석을 좀 더 쉽게 이해하기 위해 이걸 직접 가져왔습니다. 그러니까 회귀분석 과정을 이 물레 같은 장치에 비유해보면…” 라고 말하며 열심히 물레 손잡이 같은 것을 돌리며 회귀분석석 개념을 설명하는 것이었다. “바로 이렇게 종속변수가 설명되는 것이지요!”

학생들은 그 장면을 매우 흐뭇한 얼굴로 바라봤다. 알리 교수가 물레 같은 작은 기계장치를 가져와 직접 그 손잡이를 빙빙 돌리며 이야기해도 회귀분석 개념이 갑자기 직관적으로 쉽게 느껴지는 건 아니었다. 다만 알리 교수 자신이 학기 초기에 세웠던 수업진행의 가설이라는 것이 만약 있었다면, 그 가설에 맞게 수업이 잘 흘러가고 있는지, 유효하지 않은 점이 무엇인지를 검증하려는 자세는 지극히 그가 가르치는 통계학 스럽지 않은가, 라는 생각에 다들 웃었던 셈이다. 함께 수업을 들었던 친구에게 그때 그 물레 같은 작은 기계장치를 기억하냐고 묻자 그는 다시금 웃었고, 그때 사실 강의실 안에 있던 모든 학생들이 우레와 같이 박수를 쳤다고 그는 기억했다. 알리 교수 노력에 박수를 보낸 것이다.

틀릴 수도 있다, 실패할 수도 있다. 그러나 무엇 때문에 틀렸는지, 성공했다면 무엇 때문에 성공했는지, ‘웃는 얼굴로 돌아볼’ 용기를 가져야 한다는 것. 그 용기와 함께 부족한 건 계속 조금씩이라도 개선시키는 과정을 꼭 거쳐야 한다는 점이야말로, 어쩌면 그게 통계학에서 내가 배운 유일한 ‘알듯말듯하지 않은’ 개념이기도 했다. 나와 몇 명의 한국인 MBA 학생들은 늘 인자한 미소의 알리 교수를 참스승이라는 닉네임으로 부르곤 했다. 통계란 기계적인 모델 구축이라는 20년 전 생각을 새롭게 일깨워준 것 만으로도 그는 참스승, 맞다.

2025. 2. 21.