brunch

You can make anything
by writing

C.S.Lewis

by Brian Cheong Dec 02. 2020

블록체인을 통한 대규모 협업 진행 사례 소개

우리 팀은 올해 상반기에 작성한 글(글로벌 네트워크 경제 시스템 구축을 위하여) 대로 블록체인을 통해 대규모 협업을 가능하게 하고, 의미 있는 데이터를 대량으로 생성하며 그 과정을 통해 가치를 창출하고 관련한 에코시스템을 세우는 것에 대해 고민해왔다. 그리고 고민과 가설 끝에 블록체인 기반의 리모트 워킹 솔루션인 WorkBox와 개발자와 기업을 대상으로 한 데이터 어노테이션 솔루션인 ByteBridge.io를 베타 런칭하였다.

워크박스 서비스 소개 영상

예전의 긴 글을 다시 요약하여 설명하자면, 워크박스는 복잡 다양한 업무를 단순한 업무로 분리, 자체 컨센서스 기제를 이용하여 수많은 사람들 모바일 앱을 통해 빠르게 업무에 참여하고 업무 결과에 대한 검증(verification)을 가능하게 해 준다. 바이트브릿지는 데이터가 필요한 고객(일반적으로 AI 관련 기업)들이 쉽고 빠르게 원하는 데이터에 대한 레이블링을 진행하고 그 결과물을 받아볼 수 있게 해 준다. 그 과정에서 모든 태스크에 대한 비용 정산은 토큰을 통해 실시간으로 이루어지며, 블록체인의 1) 마이크로 페이먼트(그 금액이 아무리 적다 하더라도), 2) 인스턴트 페이먼트(편리하고 빠르게) 그리고 3) 스마트 컨트렉트(조건만 만족하면 바로 정산) 등의 특징은 다양한 국가의 걸쳐진 많은 사람 간의 협업이 무 신뢰 기반에서 실현 가능하게 해 준다.

이 글에서는 가설의 설립과 프로덕트의 개발 과정 완료 후 지난 몇 주간 실제 고객사들과 함께 진행한 프로젝트를 소개하고, 이 전체 프로세스가 어떤 식으로 진행되었는지 소개해보고자 한다.

대량 이미지 컨텐츠 분류 업무

데이터 분류

분류되어있지 않은 수십만 장의 이미지 풀에서 8가지 조건에 모두 부합하는 이미지만 분류하여 그 분류 결과를 따로 기록하는 업무로 데이터 트레이닝에 적합한 이미지를 분류하는 업무다. 고객 입장에서는 가지고 있는 데이터의 양이 방대하여 회사 내에서 인력을 고용하여 분류 작업을 진행하기엔 시간과 비용이 크게 발생한다. 하지만 우리 솔루션을 통하면 짧은 시간 안에 대량의 데이터에 대한 분류 작업이 가능해진다. 실제 진행 결과를 보면, 보통 수십만 장 단위는 수시간 안에 분류 작업을 완료할 수 있고, 백만 단위 또한 보통 24시간 안에 처리 가능함을 확인할 수 있다. 이와 유사한 케이스로 인스타그램의 특정 해시태그 및 특정 어카운트 내의 모든 컨텐츠를 대상으로 포스팅 내용에 대한 분류 및 센티먼트 분석을 진행한 경우가 있었고 매우 빠르고 정확하게 그 결과물을 추출할 수 있었다.

고속도로 자동차 번호판 박싱 업무

참고 이미지, 실제 프로젝트는 더욱 세밀하게 자동차 번호판 라벨링 진행 (본 이미지는 실제 프로젝트와 관련 없음)

도로 정보 수집을 위한 감시 카메라에 수집된 동영상 자료를 기반으로 도로 위 차량의 수량, 번호판의 위치 및 내용을 레이블링 하는 업무. 제공된 비디오 영상을 이미지로 전환하여 프레임 단위로 전환 후 각 프레임에 대한 레이블링을 진행한 후 데이터를 합치는 방식으로 진행된다. 자동차가 배치되는 방식, 한 화면에 등장하는 자동차의 수량에 따라 (교통체증 여부) 임무 난이도가 변경되는 등 다양한 이슈를 경험할 수 있었다. 프로젝트를 진행하면서 객체에 대한 분류 및 위치 인식 방식 등을 크게 개선할 수 있었고, 이미지를 더 세분화하여 업무 참여의 난이도를 낮출 수 있었다. 자율 주행을 위한 훈련용 데이터 레이블링도 비슷한 형식으로 진행된다. 2D BOX, 3D BOX, 3D Cloundpoints 등 표기 방식만 조금씩 다를 뿐이다.

흑인 사진 컬렉션

다양한 인종의 이미지 컬렉션이 이루어짐 (본 이미지는 실제 프로젝트와 관련 없음)

아시아에 위치한 기업의 경우, 상대적으로 유럽 및 아프리카 등 다른 인종의 다양한 얼굴 사진 데이터를 확보하기 어렵다. 이런 경우 비용을 들여 원하는 훈련용 데이터를 구매할 수밖에 없는데, 이런 연유로 진행하게 된 아프리카 흑인 인물 사진 컬렉션 프로젝트다. 기존 에이콘박스의 사용자 중 아프리카 쪽 사용자가 적었기 때문에, 아프리카 지역의 블록체인 커뮤니티와 협업하여 에이콘박스와 워크박스를 소개하는 방식으로 홍보를 시작하였다. 고객사가 요청한 약 190여 개 분류에 맞춰 (낮/밤, 남/녀, 실내/실외 등) 사용자들은 사진을 찍어 제출하고, 다른 사용자들이 제출된 사진이 조건에 부합하는지 심사하는 방식으로 프로세스가 진행되었다. 그리고 심사가 통과되면 사진을 올바르게 제출한 사람들은 즉시 토큰을 통해 보상을 받을 수 있었다.

이 프로젝트를 진행 과정에서 우리가 사용하는 CDN 서비스가 특정 국가를 완전히 블록하고 있다는 사실도 확인할 수 있었고, 다양한 국가의 휴대폰 기종의 이미지 퀄리티 차이가 천차만별이라는 것도 절감할 수 있었다. 이 프로젝트를 통해 우리는 지구 반대편의 사람들이 기존의 신뢰 관계없이도 오리지널 데이터를 생성하고, 검증하며 거래할 수 있음을 다시 한번 확인할 수 있었다. 이 프로젝트를 진행하는 동안 결과적으로 우리는 수만 장의 흑인 사진을 컬렉션할 수 있었다.

다국어 음성 컬렉션

누구든 휴대폰을 통해 보이스 컬렉션 업무에 참여할 수 있음 (본 이미지는 실제 프로덕트와 관련 없음)

스마트 스피커를 만드는 업체, 자동 고객 상담 솔루션을 만드는 업체, 대화 내용을 듣고 화자의 상황 및 감정을 분석하는 업체 등에서 더욱 다양한 언어를 지원하기 위해 필요한 음성 데이터를 수집하는 프로젝트. 미리 준비된 원고에 따라 다양한 국가, 지역의 사람들이 음성 녹음(볼륨 낮춰줘. 불 꺼줘 같은 명령부터, 특정 상황의 대화를 시뮬레이션하는 것까지 등)을 하고 또 다른 사용자들이 그 녹음 내용과 텍스트의 부합성을 확인하는 방식으로 진행된다. 우리는 기술 개발 직후 자체 프로젝트로 베트남어, 영어, 방글라데시어 등의 음성 데이터베이스 구축을 진행하였다. 조만간 실제 고객사와 함께 곧 독일어/프랑스어 컬렉션 업무가 진행될 예정이다. 이미지 컬렉션 프로젝트에서 아프리카 커뮤니티를 빌딩 했던 것과 유사한 방식으로 독일어권, 프랑스어권 사용자들을 확보하고 관련 프로젝트를 진행할 예정이다.

이외에도 크고 작은 프로젝트들이 몇 가지 더 있었지만, 여기엔 대표적인 것들만 소개해보았다. 위의 설명은 간단하게 작성했지만, 사실은 우리 팀은 각종 버그, 프로세스 상의 문제를 해결하면서 고생스럽게 프로젝트를 진행해왔다. 다만, 좋은 소식은 대부분 과정에서 해결 방안을 찾았다는 것. 우리는 고객사들과 프로젝트를 진행하면서 계속 솔루션의 정확도와 프로세스 진행 속도를 개선해가고 있다.

나는 우리가 만들고 있는 WorkBox와 ByteBridge의 조합이 블록체인 기술을 기반으로 수많은 사람이 동시에 협업할 수 있게 하여, 가치 있는 데이터를 생성해하고 그 과정에 대해 정당한 보상 체계까지 갖춘 최초의 상업 솔루션이 될 것이라고 기대하고 있다. 이 과정에서 빠르고 효율적인 마로 블록체인이 그 역할을 충실하게 잘해주고 있으며, 에이컨 프로토콜은 우수한 데이터가 더욱 빠른 속도로 더욱 많이 생성될 수 있게 해 주며 그 과정을 투명하고 공평하게 만들어주고 있다.

2020년 상반기 코로나바이러스를 겪으며 세운 가설이 이제는 실제 비지니스로 이어지고, 그 가능성의 입증 또한 눈앞에 보이고 있다. 단기적으로는 데이터 레이블링 업계를 바꾸고, 그리고 중기적으로는 온라인을 통한 대규모 협업의 방식의 실현을 구현하며, 장기적으로는 블록체인 네트워크 위에 새로운 경제시스템을 실현하기 위한 노력은 오늘도 계속되고 있다.

참고 링크

마로 블록체인 : http://ma.ro

에이콘 프로토콜 : http://acorn.eco

워크박스 : http://workbox.org

에이콘박스 : http://acornbox.org

바이트브릿지 : http://bytebridge.io

keyword