여러 액션들 중 현재 어떤 액션을 먼저 실행해야 할지 고민일 때, 이론적으로는 UCB(Upper Confidence Bound) 전략으로 선택하는 것이 최적에 가깝다는 이야기를 많이 합니다. 액션마다 얻을 수 있는 gain의 불확실성을 평가하고 upside가 높은 액션일수록 먼저 수행하는 전략입니다. Optimist 전략이라고 하기도 합니다. 린스타트업에서 말하는 “업사이드가 높고 불확실한 가설부터 검증하라“는 이야기도 이 전략과 저는 궤를 같이한다고 봅니다. (더 궁금하신 분들은 Leap of Faith Assumptions, Riskiest Assumption Test를 찾아보시면 됩니다.)
이 전략에서의 핵심은 빠른 이터레이션입니다. 빠르게 실행하면서 각 액션의 upside를 다시 추정해야 합니다. 빠른 실행은 단순히 빠르게 만든다는 것을 의미하지 않습니다. 빠르게 이터레이션을 돌면서 불확실성을 줄여나가고 계속해서 프로젝트의 upside를 다시 access하면서 이 프로젝트에 얼마나 많은 자원을 투입할지를 결정해나가야 합니다.
해본 적이 거의 없는 종류의 액션은 gain의 불확실성이 매우 높기 때문에 upside가 매우 높게 책정될 수 있습니다. 이런 액션의 경우 작은 실험을 해보면서 불확실성을 더 정교하게 모델링함으로써 upside를 다시 추정하고 이에 따라 얼마의 자원을 추가로 투입할지 결정해야 합니다.
UCB의 regret bound에 대한 증명을 이해하실 수 있는 분들은 이런 증명을 한번 해보실 수도 있습니다.
LCB(lower confidence bound)가 높은 순서대로 액션하면 regret bound가 어떻게 될까?
UCB가 optimist 였다면 LCB는 pessimist 입니다. 안전한 선택을 계속해서 하는 거죠. 증명해보면 pessimist 전략은 우리가 좋은 기회들을 많이 놓칠 수밖에 없다는 것을 알 수 있습니다. 좋은 기회가 있음에도 탐색과 실행을 해보지 않아서 그 기회를 놓치는 거죠.
우리가 데일리로 업무하다보면 관성으로 안전한 선택만 하게 되는 경우가 자주 있습니다. 저도 당연히 여기에서 예외일 수 없고요. 나중에 지나고 나서야 제가 관성으로 업무 했다는 걸 깨달았을 때가 적지 않습니다. 의식적으로 upside가 높은 업무가 뭔지 그리고 업무의 불확실성을 값싸게 줄이기 위해 어떤 실험과 액션을 해야 하는지 고민해야 합니다.
전 Github CEO인 Nat Friedman이 했다고 알려진 (하지만 최초는 누구인지 모르는) 문장 하나를 인용하며 이 글을 마칩니다.
Pessimists sound smart, optimists make money
파란 버튼과 빨간 버튼이 있습니다. 우리는 두 버튼 중 하나를 반드시 눌러야 한다고 가정해봅시다. 비용은 Y원이고, 파란 버튼을 누르면 100% 확률로 X원을 받을 수 있습니다. 반면, 빨간 버튼은 10% 확률로 10배인 10X원을 받을 수 있습니다.
무슨 버튼을 눌러야 할까요?
두 상황의 기댓값은 똑같습니다. 그래서, 어떤 사람들은 이 문제를 사람들의 ‘손실 회피 성향’을 이야기할 때 예로 듭니다. 하지만 이런 선택의 문제는 실제로 제품에 기여하는 AI 조직에서도 자주 마주하게 됩니다.
예를 들어, X가 Y보다 충분히 크고 우리는 손실을 피해야 하는 상황이라면 당연히 확실한 수익이 보장되는 선택을 해야 합니다.
하지만 X가 Y보다 작은 상황이라면요? 그때도 여전히 안정적으로 손해를 보는 옵션을 택해야 할까요?
또 이런 상황도 있습니다. 우리가 큰 이익(10X - Y)을 내지 못하면 프로젝트가 접히는 상황이라면요? 그래도 안정적으로 작은 이득을 취해야 할까요?
제품에 기여하는 AI조직에선 회사의 맥락을 고려한 의사결정이 되어야합니다. 그리고 이런 의사결정은 비단 리더뿐만 아니라 실무진들도 내릴 수 있어야 합니다. 그래서 저는 회사의 현재 상황을 투명하게 공유해주려 합니다. 그래야 조직이 더 일을 잘하고 제품에 임팩트를 내는 팀원들을 만들어진다고 믿습니다.
저는 팀에 “하루에 한 명당 Z원이 든다고 가정하자”고 이야기합니다. 이 말을 들은 몇몇 팀원들은 처음엔 놀랍니다. 하지만 연봉, 클라우드 비용, 학습비용 등을 모두 합치면 실제로 크게 벗어나지 않습니다. 오히려 비용을 약간 높게 생각하는 편이 낫습니다. 그래야 우리의 선택이 얼마나 ‘비싼 선택’인지 체감할 수 있기 때문입니다.
이런 구체적인 감각이 있을 때, 우리는 더 현명하게 선택할 수 있습니다. 결국 AI 조직의 목표는 회사와 정렬해, 회사의 미션을 함께 달성하는 데 있다고 생각합니다.