AI & Data 직무에서 깨달은 4가지 공리 ①
Data Scientist 4년을 일하면서 느낀 가치에 대하여
저는 Data 분야에서 종사하는 Data Scientist, 컨설턴트였습니다. 여러 기업과 산업군에 나가 AI와 데이터 분석, 개발, 교육 등을 해오다 보니 4년이라는 시간이 지나가있었습니다. 4년이라는 시간은 신입이신 분들은 긴 기간이라고 할 수 있고, 다른 분들은 훨씬 상대적으로 짧은 기간이라고 느낄 수 있습니다. 이 기간 동안 분석, 개발, 교육, 컨설팅 등의 영역을 정의했을 때, 한 곳에 Specialist로써 수행한 것이 아닙니다. 오히려 종합적으로 수행했기 때문에 하나에 대해서 특출 난 큰 강점은 없지만 더 풍부하고 소중한 경험을 짧은 시간에 피부로 배웠습니다.
첫 글의 제목을 '공리(Axiom)'라는 표현을 하였습니다. '공리'의 사전적 의미는 다음과 같습니다.
'하나의 이론에서 증명 없이 바르다고 하는 명제, 조건 없이 전제된 명제'
이 표현이 한편으로는 특정 분야에 대한 경력이 10년 이상이신 분들은 되어야 '공리'라는 표현이 아닌가 싶기도 하네요. 하지만 이 내용은 읽어보시면 많은 분들이 공감을 할 것 같아서 '공리'라는 단어를 사용하였습니다. (여담이지만 제가 자연과학에서 통계학을 했기 때문에 "Axiom"이 주는 느낌이 시원시원해서 좋아하는 것도 있습니다.) 어떻게 보면 이 내용은 IT 섹터에서 종사하는 많은 분들에게도 해당되고, 더 나아가 많은 직무를 관통하는 내용일 수 있습니다. 한번 글을 시작해 보겠습니다.
첫 번째, 끊임없는 학습
개인적으로 가장 중요하다고 생각하는 부분으로 '끊임없는 학습'이라는 표현을 사용하였습니다. 단어 자체로만 보면 정신적으로 고통스럽고 지겹기 십상입니다. 하지만 이 부분은 인생에서도 상당히 기본적인 자세입니다. 여기 AI 섹터에서는 매주, 매월, 매년 신기하고 재미있는 기술, 기존 기술을 뒤엎는 뛰어난 성능과 효율을 가진 기술과 논문이 나옵니다. 최근에 제일 핫한 ChatGPT와 같이 여러 산업군 전반적으로 충격을 안겨다 준 기술까지 미래에 꾸준히 나올 수 있습니다.
방금 언급한 ChatGPT 부분만 하더라도 구글에서 LLM(Large Language Model) 유사 Product인 Bard를 빠르게 출시를 하는 경우도 있고 최근에는 다른 사람들이 접근성이 용이하게 관련 경량화 모델들이 나오고 있습니다. 이와 관련하여 꾸준히 매주 충격적이거나 신선한 논문들도 나오고 있어 저 포함하여 AI 한다는 주변 사람들 또한 피로도를 호소하고 있는 상태입니다.
"Jerome Powell Reading While Looking Happy" - Stable Diffusion 2.1 Demo하지만 개인이나 기업은 항상 새로운 문제를 해결하면서 생존하는 존재이므로, 그 근간은 끊임없이 누적된 배움을 바탕으로 한다고 생각합니다. 그리고 여러 사람들과 큰 문제 해결을 성공했을 때 저는 큰 유익과 행복을 찾습니다. 만약 성공적인 문제 해결에서의 가장 큰 기여가 저라고 가정했을 때, 꾸준하게 배워 놓았던 기술과 이론, 인사이트들이 결합되어 좋은 빛을 보았던 것이었습니다. 즉, 평소에 준비해두지 않고 급하게 찾아 배우는 것들은 효용이 떨어지거나 좋은 결과를 보지 못했던 것 같습니다. 그래서 자기 일을 사랑하면서 끊임없는 학습에 대한 내재적 동기가 받쳐준다면 좋은 기회가 올 때 기대 이상의 성과를 볼 수 있을 것입니다.
두 번째, 좋은 의심
두 번째로는 그냥 의심하는 것이 아닌, 좋은 의심이라는 표현을 썼습니다. 대중들에게 뛰어난 기술들이 나타났다거나, "특정 A라는 논문에서 나온 기술이 최고 성능을 찍었다", "SOTA(State of The Art)를 달성했다" 등의 말을 들었을 때, 가슴이 뛰고 맹신하던 시절이 있었습니다. 하지만 설레는 마음으로 맹신한 것을 특정 비즈니스에 적용했을 때 기존 것보다 못한 기억이 있습니다.
방금 이야기한 예시들은 기술만을 언급했는데, 더욱 의심해야 하는 부분은 따로 있습니다. 바로 데이터입니다. 내가 보유한 데이터 또는 기업이 보유 중인 데이터의 정확한 용도는 무엇인지? 적재된 DB가 정말 속성이나 Key들에 맞게 옳게 적재되어 있는 것인지? 테이블 정의서대로 정확히 구축이 되어있는지? 정합성은 맞는지? 탐색 시에 이런저런 값들이 의미하는 것들이 내 가설과 맞는지? 내가 데이터를 보고 해석한 것이 옳게 된 문해력을 보이는지 등등 적어도 기본적인 의심을 할 필요가 있다는 것입니다.
따라서 너무 맹신하기 이전에 어느 부분에서 약점이 있는지?, 특정 산업군이나 도메인에서는 적용했을 때 문제는 없는지?, 내가 생각하는 직관에 반하는 것이 있는지? 등 다양한 관점으로 의심과 탐구하는 자세가 중요한 것 같습니다.
하지만 제 인생에서 중요시하는 여러 키워드들 중 하나는 바로 '중용'인데요. 적당한 합리적 의심이 좋지만, 너무 과하면 만사에 불평이 많고 의심만 하는 사람으로 프레임이 씌워져 다른 이들에게 불쾌감을 안겨다 줄 수 있습니다. 그래서 '좋은' 의심을 하는 자세를 가지고 질문하는 습관이 좋은 문제 해결 방법과 의사 결정에 기여할 수 있을 것입니다.
나머지 공리들에 대해서는 다음 글에서 찾아뵙도록 하겠습니다.
