아마존고를 통해 이해하는 무인점포
무인점포 기술과 미래사회 변화
무인점포의 등장
아마존 고(Amazon GO)는 아마존이 2016년 12월 본사로 있는 미국 시애틀 아마존 본사 건물 1층에 오픈한 무인매장이다. 아마존 직원을 대상으로 1년 이상 시험운영 후 2018년 1월 22일 정식으로 일반에 공개되었다.
아마존 고에는 컴퓨터 비전, 딥러닝, 복합센서 기술이 적용된 플랫폼인 "그냥 나오세오(Just Walk Out Technology)"라는 컴퓨터 비전 기술이 적용되었다.
이를 통해 많은 상점에서는 인력 감소가 될 가능성이 많아졌다. 그러나 현실적으로는 완전히 인력을 줄이는 것은 불가능하고 바람직하지도 않다. 실제로 물건을 하차하고 배열하고, 악성민원을 대응하는 등 기계로 대체하기 어려운 일들이 많기 때문이다.
그리고, 무인 상점에서 자동화 기술은 계산을 하는 부분이지만 많은 무인 샵 운영 데이터에 대한 관리를 위한 분석이 필요하기에 단순 인력 감소를 목적으로 하면 리테일 매장은 과거보다 손실을 볼 가능성이 많다.
그러나, 관련 자동화는 인력 감소를 불러올 것이고 한국사회의 급격한 인구감소를 대응할 수 있는 부분이 될 수도 있고 새로운 산업에 대한 성장을 생각해 볼 일이다.
문제는 현재와 같이 아직 기본소득과 같은 복지시스템이 준비가 안 된 상태에서 빈익빈 부익부 현상을 가속화할 수 있어 우려된다.
인공지능기반 무인 가계 설루션은 컴퓨터 비전 기술을 활용하게 된다.
기술에 대한 세상의 변화는 막을 길이 없다. 국내에서도 관련 기술에 대한 이해와 개발, 활용 방안을 찾고 관련 기술이 도입된 사회에서 어떤 제도를 통하여 사회를 위한 여러 관점이 함께 논의되는 계기가 되었으면 한다.
지인 가족의 아마존 고와 대결
캐나다의 지인 김익성 님의 페북에서 아마존 고 매장 방문 및 테스트로서 시애틀의 아마존 고에 방문한다고 하여 서울에서 여러 가지 궁금한 부분을 서로 공유하면서 가족이 테스트한 내용을 공유해 주셨다.
관련으로 시애틀 아마존 고에서 여러 가지 시험을 해주신 김익성 팀장님과 가족분들께 감사를 드립니다.
인공지능 아마존 고와 우리 가족의 대결!! <김익성 님의 페북>
어제 차원용 박사님이 주신 아이디어를 참고해서 아들과 작전을 짜고 다른 고객에게 피해를 주지 않으면서 정당한 방법으로 아마존 고를 혼란에 빠뜨려 보기로 했습니다^^
일단 동행으로 같이 들어가서..
1. 옷 갈아입기
2. 살짝 눌러서 무게를 헷갈리게 하기
3. 들었다 놨다 반복하기
<진열대에 있는 물건은 집는 순간 바로 아마존 고 앱 내 가상 카트에 추가된다. 반대로 원래 자리에 내려놓으면 카트에서 해당 물품을 삭제한다>
4. 서로 주고받기
<. 함께 온 일행이 선택한 물건도 자동으로 카트에 추가된다. 물건을 집어서 모르는 사람에게 건네주면 여전히 내 카트에 추가돼 있으니 주의해야 한다.>
5. 각자 따로 들고나가기
< 친구나 가족 등 함께 간 사람까지 입장시킬 수 있다. QR코드를 찍고 일행을 먼저 들여보내고 내가 마지막으로 찍고 들어간다. 스마트폰이 꺼져도 출입을 마친 뒤라면 구매 추적 시스템은 정상 작동한다. >
이렇게 해 봤는데..
나중에 잘 계산되었네요 ㅋㅋㅋ
저는 또 이곳에 온 다른 한국분을 만나서 둘이 짜고 물 한 병을 두 사람이 동시에 집어 들고 안 보이게 감추어서 주머니에 넣은 다음 가지고 나왔는데.. 이것도 역시 잘 계산되었습니다^^
바나나를 먹으며 영수증을 기다렸는데, 잘 계산된 것을 보고 이번 대결은 아마존 고의 승리, 우리의 패배였음을 인정했습니다 ㅋㅋ
이번 여행에선 아이들과 최첨단 편의점을 경험하면서 두고두고 이야기할 재미있는 추억거리도 하나 만든 것 같습니다^^
아마존 고 운영방식
아마존 고가 완전 무인 매장은 아니다. 요리사가 상주하고 있으며 주류를 구매하려는 고객 신분 확인 직원이 따로 있으며 물건을 채우는 직원이 별도로 있다. 다만 쇼핑을 온 사람은 계산을 위해 힘겹게 줄 설 필요 없이 물건을 들고나가면 자동 계산이 된다.
“No Lines, No Checkout” 는 아마존 고 매장 쇼윈도에 적혀 있는 문구로서 첨단 기술을 도입해 기존 쇼핑 방식을 획기적으로 바꿨다.
아마존이 만든 ‘저스트 워크 아웃 기술’(Just Walk Out Technology)은 지하철 개찰구처럼 생긴 출입구를 스마트폰을 찍고 들어가서 물건을 고르고 유유히 개찰구를 통과해 나가면 알아서 계산이 되는 방식이다
QR코드를 찍어야 입장 가능하다
아마존 고 매장을 이용하려면 스마트폰에 아마존 고 앱을 설치해야 한다. 앱을 실행하여 나타난 QR코드를 입구 개찰구에 교통카드처럼 찍고 통과한다.
아마존 고 의 앱아마존 고객은 iPhone 및 Android 용으로 제공되는 Amazon Go 앱을 다운로드하고 일반 Amazon 계정으로 앱에 로그인하여 액세스해야 한다.
QR코드 리더기 기능 개찰구 입구 
스마트폰 QR코드를 통해 통과
매장 내에서 상품을 담는 행위로 구매 바구니 변경
아마존 고 사용자는 물건을 들고 매장을 나서면 스마트폰으로 영수증이 전송된다. 쇼핑이 끝나면 물건을 들고 그냥 개찰구로 나가면 된다. 5분에서 15분 뒤 영수증이 스마트폰으로 전송되며 결제가 이뤄진다. 잘못 청구된 물품이 있다면 해당 항목에 대해서만 환불 요청하면 된다.
아마존 고 기술
아마존은 카메라와 센서를 사용하는 것 이외에 고객의 구매를 추적하는 방법에 대해 상세히 언급하지 않았다. 아마존 공식 홈페이지에서는 컴퓨터 비전, 융합 센서, 딥러닝이 사용된다고 간략하게 설명하고 있다.
그러나 매장 천장에 설치된 카메라는 사용자의 움직임을 추적한다. 또한 선반에 있는 방대한 오버 헤드 카메라와 무게 센서를 사용하여 잡화 식료품을 인식하여 사람들이 매장에서 들고 가져가는 것을 자동으로 추적한다.
이 방식의 시스템은 출입구에서 쇼핑객을 로그인을 통해 인식한 다음 매장에서 쇼핑객의 구매과정을 추적하고 결제함으로써 전통적인 계산대와 계산 직원이 필요하지 않다.
사람들은 매장 내에서 자신의 행동을 추적한다는 개념에 어떻게 반응할까?
물론 거부감은 있을 수 있지만 사람들은 기꺼이 상점을 활용할 것이며 상점은 기본적으로 온라인에서 이미 하고 있는 추적 방식에 대한 물리적 표현일 수 있다. 이 시스템에는 사용자가 쇼핑센터 상점 천정에 노출된 카메라를 통해 상황 인지를 위한 복합 센서 카메라가 있다는 것을 숨기지 않고 보여 줌으로써 일반인들에게 실제 세계에서 개인 정보 보호에 대한 기준에 대하여 의미를 제시한다.
아마존 고 사례에서 볼 수 있듯이 휴대폰에서 Amazon Go 앱으로 생성된 QR 코드를 스캔할 때 열리는 게이트를 통해 상점에 들어간다. 이 시점에서 (출입 게이트로 계정 정보가 인식된 순간) 출입자의 계정으로 연동되고 카메라가 해당 계정 출입자의 움직임을 추적하기 시작한다.
아마존 고 천정의 복합센서 카메라들
아마존의 접근 방식은 예상만큼 복잡한 방식이 아니다. 주로 천장에 장착된 수십 및 수십 개의 카메라 유닛으로 구성되어 여러 각도에서 매장 공간을 커버한다.
Amazon Go 스토어 내부의 오버 헤드 카메라. (GeekWire 사진 / Kevin Lisota)
이들은 일반적인 RGB 카메라가 장착된 사각 함체 내에 맞춤형 보드 내에 컴퓨터 비전, 모션 감지, 기본 물체 식별 등과 같은 작업을 복합적으로 수행하도록 설계되었다.
복합 감지 카메라는 키넥트나 엑스박스에서 사용되는 깊이 감지센서 류를 포함하고 있다.
이 카메라에서 캡처 한 이미지는 중앙 처리 장치로 전송된다.
영상분석을 통해 상점의 다른 사람과 픽업 중인 물건을 빠르고 정확하게 식별하는 작업을 수행한다.
물건을 집어 올리면 “가상 쇼핑 카트”에 추가되며 원하는 대로 쇼핑백에 넣을 수 있다.
아마존 고에서는 정보보안 측면에서 안면 인식이 사용되지 않는다.
Deirdre Bosa ✔@dee_bosa
무인 편의점 기술로 센서를 통해 상황을 인지하고 앱 사용하는 누군가는 입구 영역에서 머무르는 사람에게 도움을 요청하고, 질문에 대답하고, 반품할 수 있도록 한다.
무인매장이라고 사람이 없는 것이 아니다. 실제로 매장운영시 완전 무인화는 가능하지 않다.
아마존 기술을 통해 계산원 또는 셀프 계산하는 모든 작은 움직임을 끊임없이 기록하는 수백 대의 카메라를 사용하는 것은 약간 과잉일 수 있다. 기존 사용자들이 기존방식처럼 계산을 위해 줄을 서는 20 ~ 30 초 기다리는 것에 대해 사람들이 불만을 느끼거나 편의성이 부족하고 생각하지 않는다.
오히려 무인매장이 필요한 경우는 작은 24시간 편의점 점주가 매출이 크게 나오지 않는데도 야간 인력을 두고 매장을 운영해야 하는 경우 필요하다.
아마존 고에 적용된 특허기술
2014년 9월 아마존이 출원(신청)한 특허(공개번호:US20150012396)를 보면 계산원이나 키오스크 결제 없이 매장을 나가는 기술을 제안하고 있다. 특허는 카메라, 센서, 무선주파수 인식(RFID) 시스템을 사용해 구매자와 그들이 선택한 물건을 식별한다.
아마존의 특허(공개번호:US20150012396)는 무인 매장 구축 기술을 다룬다. 카메라(208)는 천장과 진열대에 설치돼 사용자, 구매자의 손, 물품 이미지 등을 캡처한다. 카메라는 RGB 카메라, 뎁스 센싱 카메라가 사용된다. 사용자와 재고 관리 시스템 간 통신을 위해 프로젝터(210), 디스플레이(212), 스피커(213), 마이크로폰(214), 무선 안테나(216)와 같은 장치도 사용한다. (source:미국 특허 상표청(USPTO))
인벤토리 관리 시스템 ( 150) 에서 이용되는 컴포넌트 유형들 간의 추가 컴포넌트 및 구성도이다.
휴대용 장치 ( 305) 는 다양한 통신 경로를 통해 재고 관리 시스템 ( 150) 의 다양한 구성 요소와 통신하고 상호 작용할 수있다 . 일반적으로, 재고 관리 시스템 ( 150) 은 입력 컴포넌트 ( 311) , 출력 컴포넌트 ( 301) 및 컴퓨팅 자원 ( 203 )을 포함 할 수있다 . 입력 컴포넌트들 ( 311) 은 이미지 캡처 장치 ( 308) (예를 들어, 카메라), 마이크로폰 ( 314) , 안테나 ( 316 )를 포함 할 수있다. 출력 컴포넌트 ( 301) 는 프로젝터 ( 310 ), 휴대용 디바이스 ( 306 ), 디스플레이 ( 312 ), 안테나 ( 316 ), 라디오 (도시되지 않음), 스피커 ( 313) 및 / 또는 출력을 제공 할 수있는 임의의 다른 컴포넌트를 포함 할 수있다.
재고 관리 시스템 ( 150) 은 또한 컴퓨팅 리소스( 203 )를 포함 할 수있다 . 컴퓨팅 자원 (들) ( 203 ) 은 환경 (예를 들어, 재료 취급 설비)에 국지적이거나, 환경으로부터 멀리 떨어져 있는등 다양하게 구성된다. 마찬가지로, 컴퓨팅 리소스 (들) ( 203) 는 입력 컴포넌트 ( 311) , 출력 컴포넌트 ( 301) 및 / 또는 휴대용 장치 ( 305) 및 / 또는 사용자 ( 304) 와 직접 네트워크 ( 302) 를 통해 통신하도록 구성 될 수있다 .
매장에서 물건을 집어서 선택하거나 물건을 두고 오는 등의 경우 다음과 같은 알고리즘으로 동작을 분석을 한다.
이미지의 비교를 이용하여, 516 에서와 같이 하나 이상의 아이템이 재고 위치로부터 집어졌는지, 517 에서와 같이 기존 재고들 위치에 놓여졌는지에 대한 판단이 이루어질 수있다 .
하나 이상의 품목이 재고 위치에서 선택 된 것으로 판단되면, 518의 예시적인 하위 프로세스는 재고 위치에서 품목이 선택되었다는 값을 반환한다. 품목이 재고 위치로부터 선택되지 않은 것으로 결정되면, 517 에서520과 같이 품목이 재고에 있다는 값을 보내준다.
마지막으로, 품목이 변동되지 않았다면 522 에서와 같이 재고 위치가 변경되지 않았다는 값을 보내준다 .
쇼핑할 때 재고 선반의 센서는 언제 어떤 품목을 수령하는지 모니터링합니다.
센서는 품목이 선반에 다시 놓일지 여부를 감시하며 품목의 무게가 원래 상태에서 변경되는지 확인할 수도 있다. 이것은 사람들이 음식이나 음료를 집어 들어 매장에 있는 동안 소비하기 시작하면 다시 물건들을 채울 수 있도록 설계되었을 가능성이 높다.
선반을 보고 있는 고정 카메라는 또한 여러 개의 껌 또는 몇 개의 과자 봉지와 같은 동일한 항목을 여러 개 촬영할지 여부를 결정한다.
진열대에서 하나의 과자를 선택하기 위해 몇 개의 과자를 동시 집어 올리면 카메라는 선택을 위해 몇 개 과자를 집어 든 것을 알게 된다. 아마존이 얼마나 많은 품목을 가져갔는지 또는 정확히 무엇을 가져갔는지 확인해야 한다
또한 카메라는 피부톤의 색을 결정하기까지 갈 수 있습니다.
이 특허는 이것이 구매자의 손을 식별하여 실제로 진열대에서 물건을 가져왔는지 여부를 확인하는 데 사용되지만 아마존은 소비자가 구매하는 것을 알고 있으며 피부톤 등 영상 습득 정보와 결합한다고 한다.
더 나가서 이러한 정보는 소비자별 시장 조사 데이터로 활용될 수 있다.
이 특허는 Amazon Go의 작동 방식을 잘 보여 주지만 앞서 가족이 실험한 것처럼 해당 품목에 대해 누구의 계정이 청구되는 것과 아마존은 매장에 함께 들어가는 두 사람이 같은 세대의 가족 구성원인지 확인하게 되며, 상점에서 분리되어 다른 시간에 떠나는 것도 확인한다.
https://patents.google.com/patent/US20150012396
출처 : http://www.theverge.com/2016/12/6/13856158/how-amazon-go-stores-work-patent
컴퓨터 비젼과 무인화 기술 확산
아마존 고에서 목표로 하는 기술은 상황인지 기술이라고 할 수 있다.
아마존 고는 특정 공간에서의 인간의 행동 분석을 위한 다양한 센서와 인공지능의 결합체이다.
이러한 기술이 바라보는 것은 단순 쇼핑을 위한 인프라뿐 아니라 인간과 협동하는 생산로봇기술이 활용되는 스마트팩토리 등에 활용될수 있다.
그리고, 인간의 행동을 분석하여 빅데이터를 모아서 이를 통해 상황인지 기술을 획득하게 된다.
아마도 현재의 인공지능 스피커의 경우 로봇으로 발전하기 위해서는 넘어야 할 산이 많다.
본격적인 가정 및 산업에 인공지능이 활용되기 위해서는 컴퓨터 비전 기술을 통한 로봇기술이 필수적이라고 할 수 있다.
최근에는 이런 형태 기술로 무인매장을 테스트하는 기업들이 많아지고 있다. 중국에는 클라우드픽(Cloud Pick)이라는 회사를 비롯하여 AiFi(https://www.aifi.io/)와 같은 기업들이 무인매장 기술을 시도하고 있다.
그러나 이들 역시 컴퓨터 비전을 통해 행위 분석과 이를 수집하여 유통에 대한 빅데이터를 만드는 것을 준비하고 있다. 많은 기업들이 구매 행위 데이터를 수집하는 이유는구매 행위 분석정보에 대한 가치를 보고 있기 때문이다. 이에 따라 매장분석을 통해 판매를 촉진시키는 업종이 나타나거나 프렌차이즈 점에서 활용하게 될수 있다.
https://www.youtube.com/watch?v=cSuz2QIxFHU
새로운 일자리와 미래사회
현재 무인점포 기술은 가격이 비싸기에 당장에 현실적으로 확산되기 어렵다. 최근에는 비용대비 투자가 용이한 구조의 방식이 적용되지만 가격은 점차적으로 내려갈수 밖에 없는 환경이라고 보여진다.
기술에 의해 효율화가 거듭되는 동안 기존의 일자리는 일정부분 대체될수 밖에 없다. 우리는 과도기적 시점에서 일자리 감소와 변화에 대하여 깊은 고민이 필요하다.
무인점포의 등장과 함께 비록 계산원과 같은 일자리의 축소는 불가피하겠지만, 무인매장에서 소비패턴 분석을 통해 계절별, 나이대별 손님들에 대한 분석과 판매가 잘될만한 상품기획을 위해 분석하여 준다면 많은 유통 프렌차이즈 및 상점에서는 관심을 가지게 될것이다. 이를 통해 정보를 분석하고 전문 매장관리를 해주는 직업이 생길 수도 있다. 무인점포에 적용되는 컴퓨터 비전은 공장 및 물류창고 협동 로봇등 산업전반에 확대되어 갈 수 있다.
결론적으로는 소수의 새롭고 전문적인 일자리가 만들어 지지만 기존의 다수의 단순한 일자리는 사라지게 될 것이다. 불가피하게 일자리 감소가 되지만 희망적인 흐름은 무인화 기술은 한국사회 처럼 고령화로 인해 생산 및 활동 인구가 감소하는 구조를 돌파하기 위한 대안이 될 수도 있다.
그런면에서 우리는 변화가 만들어낼 미래에 대하여 긍정도 부정도 하기 어렵다.
기술발전에 새로운 직업이 생긴다고 하더라도 사람들은 새로운 직종과 직업에 적응하기 위한 시간이 필요하다. 또한, 직업의 난위도가 올라감에 따른 직업 재교육등 사회적 비용과 개인의 노력을 동반하게 된다.
따라서 변화에 적응이 어려운 계층을 위한 사회완충 시스템으로서 사회보장제도 발전이 중요해진다.
이미 서구사회는 무인화에 맞추어 기본소득에 대한 이야기가 많이 나오는 추세이다.
분명한것은 기술의 발전은 사람들의 노동을 대체하면서 절대적 일자리를 줄이고 노동시간을 줄이게 된다.
한국사회도 기술발전에 따른 사회제도 변화를 함께 고려해야 한다.
그동안 인간이 발명해내는 기술은 지속적으로 인간의 노동을 줄여왔다. 세탁기 등 가전제품을 통해 지속적으로 가사 노동을 줄여왔고 남는 시간 여유를 통해 문화를 발전시켜 왔다. 기술은 인간의 삶을 여유롭게 하면서도 자동화로 나타날수 있는 불평등을 줄여가기 위한 인류 사회의 공통된 인식전환이 필요하다.
특히, 우리가 4차산업혁명이라고 하는 기술혁명은 인간과 환경에 대한 모든 고려를 담아야 한다.
지금처럼 특정자본과 기득권만을 위한 기술 혁명이 된다면 인류는 재앙을 맞게 될지 모른다.
그 근본속에는 인간에 대한 공감과 우주속 지구라는 환경속 함께 공존을 하기 위한 기술과 함께 변화하는 노력이 필요하다.
[출처]
1. 무인매장 '아마존 고' 일반에 개장... 무슨 기술 적용했길래? - 작성자 테크플러스
2. Inside Amazon’s surveillance-powered, no-checkout convenience store
Devin Coldewey (https://techcrunch.com/2018/01/21/inside-amazons-surveillance-powered-no-checkout-convenience-store/)
