AI 시대의 소작농
대규모 데이터 작업 후기
이 글은 '20년 6월에 작성된 글입니다. 기존에 사용하던 블로그에서 가지고 왔습니다. :)
조선시대에는 지주로부터 토지를 빌려 농사를 짓던 "소작농"이 있었습니다. 그리고 소작농의 감독관인 "마름"이 있었고, 그 위엔 땅의 주인인 "지주"가 있었죠. 마름은 대한민국 방방곡곡에 땅이 있어 부재한 지주를 대신해 노동을 관리했습니다. IT 시대인 지금도 그 구조는 크게 달라지지 않았습니다.
과거의 농사 계급 구조와 현대, IT 시대의 계급 구조를 비교했습니다.
IT 시대의 소작농 계급 구조IT 시대의 소작농 계급 구조입니다.
과거의 지주는 현대의 IT 기업이고, 과거의 마름은 현대의 기업에 직원인 IT 프로젝트 매니저이며, 소작농은 IT 단순 반복 노동자 (하청 기업 직원 / 단기 계약직)입니다. IT 기술이 발전한 현재에도 과거와 노동자 계급 구조가 비슷합니다.
그렇다면 차이점은 무엇일까요? 중간 관리자가 2개 이상이라는 것입니다. 마름 1은 IT 기업에 근무하고 있는 직원입니다. 마름 2는 노동자를 관리하고 있는 회사입니다.
과거에는 마름 하나가
- 노동 일정을 관리, 감독하고
- 작황을 조가 했으며
- 소작농을 평가하고
- 소작료를 거둬서 상납했습니다.
현재에는 마름 1이 마름 2와 계약합니다.
마름 1 (기업의 직원)은
1) 시스템에 필요한 데이터를 정의하고
2) 데이터를 전 처리할 때 필요한 노동량을 예측하며
3) 결과물에 대한 평가만 진행하고
4) 전 처리된 데이터를 시스템에 적용하는 과정을 관리합니다.
마름 2는 노동자들을 관리, 평가하고 돈을 줍니다.
두 명의 마름이 있기 때문에 노동자가 실제 받을 수 있는 돈은 줄어듭니다. 반면, 지주와 마름들의 입장에선 업무가 분화되어 효율적인 처리가 가능하다는 이점이 있습니다.
그럼 이번에는 과거의 IT 노동과 현재의 IT 노동을 비교해볼까요?
과거의 농사는 현대의 데이터 생성/전처리/검증입니다. 과거의 농작물은 현대의 전 처리된 데이터입니다. 과거 농작물의 목적은 팔아서 돈을 벌고 먹고사는 것이었다면, 현대의 데이터는 AI 알고리즘 생성 및 개선 > 서비스 제공 > 팔아서 돈 벌기의 과정을 거쳐 먹고살기에 쓰입니다.
과거의 소작농이 자신의 수확물 일부를 땅을 빌리는 대가로 제공했다면, 현재의 노동자는 돈을 받는 대신 생성한 데이터에 대한 권한을 줍니다. 즉, 시간, 노동력, 노동의 결과물(데이터)을 돈과 치환하는 셈입니다.
카페 아르바이트 학생이 제공하는 것은 자신의 시간과 노동력입니다. 아르바이트 학생이 일을 그만 두면 남는 것은 없습니다. 반면, IT 노동자가 제공하는 것은 자신의 시간과 노동력 외에 "전 처리된 데이터"를 남기고 갑니다. 그 데이터는 노동자가 노동을 멈추어도 지속적으로 가치를 제공합니다. 데이터는 AI 알고리즘 개선에 사용되어 지속적으로 서비스를 풍요롭게 만듭니다.
예를 들어, 네이버 쇼핑은 리뷰의 주요 키워드를 추출하여, 키워드 별로 리뷰를 볼 수 있는 유용한 서비스를 제공하고 있습니다.
네이버 쇼핑 리뷰 예시이러한 서비스가 가능하게 하려면, 패션 상품 리뷰에 어떤 키워드가 의미 있는 것인지에 대한 "사전"을 구축해야 합니다. 위 리뷰를 예시로 들자면, "가성비가 좋다"라는 말이 리뷰에서 중요한 내용이며, "만족도"와 관련이 있다는 것을 시스템이 알아야 합니다. "가성비"에 관한 말 외에도 만족도에 관련된 단어/표현이 굉장히 많겠죠.
그 데이터를 구성하기 위해 마름 1은 네이버에 있는 리뷰들을 분석하여 전반적인 카테고리를 짜고, 노동자들이 노동을 할 수 있는 구조를 만들었을 것입니다. (웹사이트를 만든다거나, 몇 명이 어떤 노동을 한다고 계획하거나) 그리고 마름 2에 속해있는 노동자들에게 시켜 카테고리 별로 의미 있는 말을 복사하여 넣게 했을 것입니다. 시스템이 개발되고 나서는 잘못 나온 결과에 대한 검증도 진행해야 합니다.
이 데이터는 노동이 멈춘 후에도 리뷰를 분석하는 데 활용됩니다. 더 많은 데이터는 곧 더 나은 서비스를 의미하니, 이 데이터로 인해 서비스는 더 발전하겠죠.
데이터는 돈입니다. IT/AI 시대가 발전할수록 데이터를 소유한 사람이 엄청난 힘을 갖게 될 것입니다. 그런데 데이터의 가치를 모르는 사람은 이가 돈이라고 생각하지 않으며, 데이터가 돈이 됨을 아는 사람들만 비용을 제공하지 않고 데이터를 이용합니다.
사업가에게 데이터 사업은 꿀 사업입니다. 하지만 데이터 노동자는 데이터에 대한 자신의 권리를 주장해야 제대로 된 보상을 받을 수 있을 것입니다.
AI 서비스를 위한 대규모 데이터 작업의 "마름 1"로 일하면서 느꼈던 바를 정리했습니다. 이 대규모 데이터 작업은 회사에게 더 많은 데이터와 개선된 알고리즘을 남겼습니다. 덕분에 앞으로도 계속 더 나은 서비스를 제공할 수 있을 것입니다.
"IT 시대의 소작농 (대규모 데이터 작업 후기)"
20.06.28
