개발자 직군
오늘 Snowflake 주가가 실적발표 후 큰 폭으로 하락했는데, 대용량 데이터 분석 플랫폼은 더 이상 미래 성장 산업이 아닐 수도 있겠다는 생각이 들었다. 특히 최근 등장한 ChatGPT 같은 대화형 AI 때문에 데이터를 분석하는 방식도 혁신적으로 바뀔 수 있겠다는 생각이 들었다. 현재는 개발자가 인간과 컴퓨터 사이에서 일종의 통역사 역할을 하고 있는데, 이런 개발자 직군에 대한 수요도 점점 줄어들지 않을까?
난 2010년부터 2022년까지 13년간 개발자로 일했다. 처음에는 분산시스템 개발자로 경력을 시작했고, 그 후에는 데이터 플랫폼과 클라우드 인프라를 개발하고 운영하는 일을 했다. 특히 "빅데이터 플랫폼"이 나의 전문 분야인데, 소위 말하는 "빅데이터 버블"과 시기가 잘 맞아 분에 넘치는 대우를 받으면서 직장을 다녔다. 하지만 개발자가 미래에도 각광받는 직업일까?
ChatGPT 같은 대화형 AI가 개발 업무에 미치는 영향은 무한하겠지만, 나는 내가 제일 잘 아는 데이터 엔지니어링(data engineering)과 데이터 분석(data analytics)에 국한해서 얘기해 보겠다. 일반적으로 데이터 엔지니어링과 데이터 분석 조직은 거의 모든 회사에 존재한다. 몇 년 전부터 “data is the new oil”이라는 말이 유행했는데, 인터넷이 발달하면서 각종 데이터를 수집할 수 있게 되었고 이를 분석해서 비즈니스에 대한 통찰을 얻을 수 있다는 것이 빅데이터 혁명의 핵심이다.
문제는 데이터 분석을 하기 위해서는 데이터를 수집하고 가공해야 하는데, 인터넷에서 발생하는 데이터는 대부분 비정형이기 때문에 이를 처리하는 기술이 필요했다. 이걸 가능하게 해 준 기술이 빅데이터 플랫폼이다. 2004년 구글에서 발표한 멥리듀스(MapReduce)라는 논문을 기반으로 하둡(Hadoop)이라는 오픈소스가 생겨났고, 대용량의 비정형 데이터를 저가의 서버 여러 대 위에서 분산 처리할 수 있도록 해준 것이 빅데이터 혁명의 시작이다. 오늘날의 Snowflake도 이런 빅데이터 플랫폼이 진화한 결과물이다.
데이터 엔지니어는 비정형 데이터를 테이블 형태로 변환해 데이터베이스(DB)에 저장하고, 데이터 분석가는 이렇게 저장된 DB의 테이블을 SQL 쿼리로 조회해 대시보드나 리포트를 작성한다. 따라서 대부분 회사에서 CEO가 비즈니스 지표를 보고 싶다면 다음과 같은 과정을 거쳐야 한다. 먼저 CEO는 데이터 분석팀에게 질문을 전달하고, 데이터 분석팀은 분석에 필요한 데이터를 수집해 줄 것을 데이터 엔지니어링팀에 요청한다. 데이터가 DB에 준비되면 데이터 분석팀은 이를 쿼리로 조회해서 CEO에게 보고한다.
그런데 만약 CEO가 이런 번거로운 과정을 거치지 않고 직접 ChatGPT에 문장으로 질문할 수 있다면 어떻게 될까? 인간의 질문을 SQL 쿼리로 전환하는 데이터 분석가의 역할이 필요할까? 더 나아가 ChatGPT에 데이터를 적재하고 학습하는 과정도 자동화되지 않을까? 예컨대, ChatGPT가 클라우드 SaaS 형태로 진화해서 각종 비정형 데이터를 텍스트 형태로 업로드할 수 있게 하고 이 데이터를 손쉽게 학습시키는 UI를 제공한다면, 데이터 엔지니어라는 직군도 더 이상 필요 없을 것이다.
AI가 인간과 컴퓨터 사이의 장벽을 허물고 있다는 생각이 든다. 더 이상 컴퓨터를 활용하기 위해 프로그래밍 언어를 익히거나 컴퓨터 내부를 이해할 필요가 없는 시대가 도래하고 있다. 누군가는 여전히 ChatGPT 같은 AI를 개발하겠지만, 지금과 같이 다수의 평범한(average) 개발자가 필요한 시대는 곧 끝날 거라고 생각한다. 다가오는 "AI 버블" 시대에도 개발자가 인기 있는 직군일지 의문이다.
