회사에서 실험할 때 계획 작성하는 방법
왜 문서 작성에 시간을 쏟는지 답답한 분들께
회사에서 처음 실험을 준비하는 분들에게 자주 하는 이야기가 있습니다. 실험에서 어떤 모델을 사용할지, 어떤 툴로 할지 시간을 쓰기 전에 실험에 대한 계획을 먼저 탄탄히 세워야 한다는 말입니다. 실험에 대한 계획은 무엇일까요? 회사에서 바라는 실험과 이제 막 어떤 알고리즘으로 성능을 개선할지 고민하는 분들의 생각 사이에 괴리는 어떤 것일까요?
실험을 하는 목적, 목적, 목적
잊지 말아야 하는 것은 실험이 최신 모델을 구현하는 목적이 아니라는 것입니다. 그리고 평소 내가 하고 싶었던 것을 꼭 실험에 구겨 넣어야 하는 것도 아니라는 것입니다. 기능적인 것에 집중하다가 목적을 놓치고 나중에 어렵게 되는 일을 만들지 않는 게 중요합니다. 실험은 하는 목적이 있습니다. 주문을 더 낼 것인지, 비용을 효율화할 것인지 등 실험이 만들어지게 된 배경, 맥락을 잊으면 안 됩니다. 이걸 맨 처음 위키 문서에 적어두고 항상 미팅을 하기 전 모두가 반복해서 읽어야 실험이 시간이 지나도 수단, 도구에 대한 집착으로 목적을 잃는 일에 빠지지 않습니다. 목적을 이루기 위한 수단으로 우리는 최대한 많은 자유도를 확보할 수 있으며, 각자 아이데이션을 통한 주도권을 가질 수 있습니다. ‘Why'에 대한 모든 구성원에 대한 공유는 자가 동력을 제공하지만, 'What'만 남는다면 상당히 경직되고 끌려가는 프로젝트가 될 것입니다. 목적을 적고, 목적에 맞는 방향인지 늘 돌아볼 준비를 시작부터 해야 합니다.
기대 효과와 비용
회사이기 때문에 중요한 것은 무엇을 써서 어떻게 구현했느냐 보다, 어떤 기대 효과가 있고 여기에 투자해야 할 비용은 얼마나 되는지가 그다음 드러나야 합니다. 처음 주도권을 주고 하나의 실험을 이끌어 보라고 시키면 대부분은 실무적인 부분을 어떻게 할 것인지 설명하는 데 많은 공을 들입니다. 그건 잘하면 좋고, 그걸 잘한다고 해서도 기대 효과와 비용이 기대와 어긋남이 있다면 사실 그것도 쓸모없는 것일 겁니다. 회사이기에 기대 효과와 비용을 추정할 수 있어야 합니다. 복잡하지 않아도 됩니다. 이 숫자의 가정만 있으면 됩니다. 이런 경우 이렇다. 다만, 이미 어딘가에 데이터가 있는 경우에는 가정을 넣는 것은 좋지 않습니다. 있는 데이터도 탐색하지 않았다는 비난(?)을 피하기 어려우니까요. 지금 일정한 패턴이 나오지 않고, 과거 이력도 없는 항목이 있다면 이런 부분만 추정하는 것입니다.
단계별 주요 행동과 지표
위에 내용들을 다 잊지 않고 실험을 하기 전 만들었다고 해도 이 부분을 놓치는 일이 많습니다. 한 번에 목적을 달성하는 액션을 다 하면 좋겠지만, 회사는 당장 일을 시작하기를 원하고 의욕 넘치는 실무자는 당장 아는 지식을 쫙 펼쳐 놓고 앞에서 많은 힘을 쓰고 있습니다. 그럴 필요가 없고, 그래서도 안됩니다. 시작은 가볍고 주변 사람들에게 설명하기 쉬운 부분으로 출발하면 됩니다. 나는 복잡한 방식을 알고 있더라도 주변 사람들은 모릅니다. 같이 공감할 일정 길이의 시간이 필요합니다. 고객 분류를 해서 다른 마케팅 플랜을 가져가는 프로젝트를 한다고 할 때 처음부터 고객 분류에 시간이 많이 걸리고 복잡한 모델을 쓸 필요가 없습니다. 어차피 그건 나 밖에 모르거나 우리 팀 밖에 모를 가능성이 높습니다. 이렇게 구분한 기준과 이것을 통한 실험의 결과, 실험의 결과를 바탕으로 설명할 수 있는 기준에 대한 수정 사항을 설명하기 위해서는 처음에는 모두가 알만한 단순한 기준으로 실험을 시작하는 것이 낫습니다. 일단 기차를 움직인 다음 기차 바퀴를 갈아 끼워야 합니다. 이 무슨 스스로 힘든 길을 만드냐로 생각할 수 있지만, 기차를 아주 복잡하고 디테일하게 만들고 달리려고 하면 이미 철로가 사라져 있거나 기차 부품 어딘가에 녹이 슬어 있을 가능성이 있는 게 요즘 일하는 환경입니다. 단계를 만듭니다. 단계는 모델을 어떻게 만드느냐, 확장을 어디까지 하느냐, 비용이나 효과의 정도를 어디까지 보느냐 등에 따라 구분할 수 있습니다. 단계를 만들어 놓으면서 쉽게 시작하고 시간을 벌 수도 있습니다. 시간을 버는 동안 다음 호라이즌을 준비합니다. 각 단계의 기대효과를 지표로 구분하는 것이 이때 필요합니다. 기대 효과와 비용을 추산하는 것은 위에 쓴 것과 다르지 않습니다.
실험의 다양한 방식 중 우리가 먼저 할 것과 이따 할 것, 안 할 것의 일정
외길 밖에 없는 플랜을 자주 봅니다. 내가 아는 것과 남이 알고 싶어 하는 게 다를 수 있는 게 회사입니다. 실험의 목적과 가용할 수 있는 변수 등을 생각하면 많은 실험의 가짓수가 나올 수 있습니다. 하지만 외길만 있는 플랜은 이 가짓수에 대해 저마다 가지고 있는 생각을 담아내지 못하고, 이 실험이 너무 자의적이라 고려해야 할 요건을 모두 검토했는지 의문을 낳게 됩니다. 하든 안 하든 실험이 나올 수 있는 모든 시나리오를 다 쓰고 이건 왜 하고 이건 왜 안 하는지, 한다면 이걸 우선하고 이건 나중에 하는 이유를 각각의 실험 시나리오에 다 달아줍니다. 여기까지 검토했다를 보여주는 것과 보여주지 않고 ‘내가 이렇게 정했으니 이것만 봐’는 다릅니다. 여러 명이 모여 일하는 회사이기에 의문이 생길 수 있는 구간에 대한 사전 검토는 반드시 필요한 것입니다. 맨 처음 말씀 드린 목적을 잊지 않는다면 무엇을 먼저 하고 안 하는 것은 무엇인지 찾는 것은 어렵지 않습니다. 목적을 중간에 되뇌지 않으면 여기서 막막함이 생깁니다. 목적 안에 모두 부합한다면 위에 쓴 내용 중 그다음 내용인 기대 효과가 큰 것, 큰 것 중 비용이 적은 것이 우선순위가 되는 게 보통일 것입니다. 다른 의도가 있지 않다면요. 이것에 따라 일정이 구체화됩니다. 일정은 각 실험에 소요되는 길이의 영향을 받습니다.
실험을 통해 검증할 지표와 알게 된 것의 반영
실험을 하기 전에 실험 결과를 미리 숫자만 비워두고 모두 준비하는 게 결과를 역으로 설정하고 과정을 준비하는 바른 길입니다. 순방향의 실험 설계는 실험 직전 많은 어려움을 알게 만드는 데 역방향으로 설계하면 결과를 위한 준비를 할 수 있습니다. 결과를 맞추라는 게 아니라, 빨리 해야 해서 답정너여서가 아니라, 원래 실험은 결과를 먼저 생각하고 역으로 준비하는 것입니다. 그게 효율적이고 놓치는 과정이 없습니다. 실험의 성패를 무엇으로 검증할지 지표와 지표의 정도, 비교 집단을 미리 정합니다. 이때 비교할 기간과 기간의 특징이 있다면 어떻게 결과 해석에 반영할 것인지도 놓치지 않습니다. 동시에 여러 구분으로 나누어 실험을 한다면 해당 구분이 실험 전에는 어떤 특징이 있는지 미리 분석하여 결과 해석에 고려할 요소가 있는지 보고 들어갑니다. 레퍼런스가 있다면 참고해서 실험의 성공 정도의 척도를 준비합니다. 또 준비해야 할 것은 실험 후 결과를 누가 어떻게 해석하고 그걸 어떻게 다음 실험에 바로 적용할 것인지 프로토콜을 미리 세워야 한다는 것입니다. 사람들이 궁금해하는 것은 비용을 써서 무엇을 새롭게 알게 되었고, 다음에는 무엇을 반영할 것인지입니다. 끊임없는 성장이 개선이 이 안에서 자체적으로 이뤄질 것이냐인 것입니다. 결과 공유를 누가 언제 누구에게 어떤 수단을 통해 하고 아카이빙 할지, 그걸 다음 실험과 시간이 맞아떨어져서 반영할지 등이 시간 순으로 정리되어야 합니다.
언제 실험을 멈추어야 할까
모든 것이 계속될 수는 없습니다. 성공과 정체에서 실험은 결말을 지을 시기를 미리 생각해야 합니다. 하면서 정할 수도 있지만, 하기 전에 대략적인 약속은 내부에 있어야 합니다. 이 내용을 계획에 미리 넣고 시작해야 출구 전략을 세울 수 있습니다. 보고 받는 사람이 있다면 미리 약속하고 시작하는 것입니다. 이걸 계획하고 있으면 우리가 하는 이번 프로젝트는 어떤 큰 그림 안에서 이뤄지고 이 프로젝트 다음은 무엇을 하면 좋을지 점점 생각이 넓어질 수밖에 없습니다. 계속 프로젝트를 반복하다 보면 결국 그 경계를 넘어가는 성장이 조직과 내게 이뤄집니다. 진정한 기획을 하게 되는 시기가 되는 것이죠.
회사에서는 캐주얼하게 시작한다고 말했지만 막상 며칠, 몇 주 지나면 다른 업무들처럼 결과를 가져오고 공식적으로 보고하라는 것이 당연히 많습니다. 회사니 까요. 시간과 비용, 내 인건비를 포함한 것을 회사가 지불하니 이 시간에 하는 것은 공유가 되는 게 맞는 말입니다. 진정 캐주얼한 출발을 위해서는 차라리 위 내용을 잘 계획해야 내게 주도권이 생깁니다. 내가 이렇게 고민했고 계획하고 있으니 이걸 건드리지 말라, 나보다 더 고민한 게 아니면 이걸 무너뜨리지 말라라고 계획으로 내 주도권을 얼마간 확보할 수 있습니다. 계획을 세우는 것에 마음의 어려움이 있다면 회사의 생리를 이해하지 못한 것입니다. 회사는 신뢰로 서로가 먹고사는 집단입니다. 계획은 신뢰의 출발점이 될 수 있습니다.
