IT 업계에는 어느 날 갑자기 "데이터 사이언스"라는 직무가 등장했습니다. 왜 이들을 단순히 개발자나 분석가가 아니라 **사이언티스트(과학자)**라고 부를까요?
[수학에서 과학으로...]
우리는 어려서부터 수학과 과학을 구분하여 배워왔습니다.
수학은 주어진 문제의 답을 정확히 맞히는 학문이라면, 과학은 정답보다 문제 해결에 한 걸음 더 가까워지는 과정을 탐구하는 학문입니다.
AI 시대 이전의 IT 시스템은 대부분 수학적 사고로 시스템이 구현되어 왔습니다. 한정된 컴퓨터 자원 속에서, 문제를 계산해 맞히는 것이 전부였죠.
하지만 이제는 CPU와 메모리 등 자원이 넘쳐나고, 활용하지 못한 채 비워두는 시간(idle time)이 생기자 단순 계산을 넘어 더 창의적이고 탐구적인 시도가 가능해졌습니다. 바로 여기서 IT는 수학을 넘어 과학의 영역으로 진입하게 된 것입니다.
[왜 "사이언스"인가?]
데이터 사이언스는 문제를 "맞히는" 것이 목적이 아닙니다.
데이터를 실험하고 해석하며, 문제 해결에 조금이라도 더 가까워지려는 연구 활동 자체가 본질입니다.
이는 신약 개발과 닮아 있습니다. 바이오 과학자가 만든 약은 곧바로 환자에게 쓰이지 않습니다. 수많은 자기 증명, 실험, 임상을 거쳐 타인을 설득할 수 있는 근거를 확보해야만 실제 적용이 가능합니다.
데이터 사이언티스트도 마찬가지입니다. 자신이 만든 모델과 알고리즘을 수없이 검증하고, 데이터를 통해 근거를 제시하며, 동료와 조직을 설득해야만 "출시"라는 단계를 밟을 수 있습니다.
[버그가 아닌 버그 같은 너...]
기존의 IT 시스템에서는, 출시된 프로그램이 제대로 작동하지 않으면 그것은 버그였습니다. 하지만 데이터 사이언스의 세계에서는 "버그"라는 개념이 없습니다. 모델이 실패하거나 만족스럽지 못하더라도, 그것은 단순한 오류가 아니라 실험 결과이기 때문입니다.
그래서 데이터 사이언스에는 늘 까다로운 검증 과정이 필요합니다. 자기 확신과 데이터를 통한 증명이 뒷받침되어야 하고, 이후에는 실제 운영 환경에서의 **쉐도우 테스트(일종의 임상 시험)**를 통해 객관적 결과로 다시 증명해야 합니다.
[데이터 사이언스의 본질]
따라서 데이터 사이언티스트의 일은 단순히 "정답을 계산하는 것"이 아닙니다. 끊임없는 탐구와 검증, 실험과 설득의 과정을 통해 문제 해결에 다가가는 연구 활동입니다. 그 결과는 언제나 만족과 아쉬움이 공존하지만, 바로 이 점이 데이터 사이언스라는 직무가 가진 독특한 매력이라 할 수 있습니다.
**쉐도우 테스트
실제 운영환경에 5~20%정도 반영 후에 사용자의 반응을 인사이트하여 서비스 가능 수준의 모델인지 확인하는 단계