라운즈, 안경 쇼핑하면서 개발 과정 분석하기
[코드스테이츠 PMB 10기] 프로덕트 개발 구조 공부하기
'세상에 없던 안경 쇼핑' 라운즈 (Rounz)
라운즈는 이스트 소프트(ESTsoft)에서 설립한 아이웨어 AR커머스 플랫폼 서비스입니다.
안경은 한 사람의 인상, 분위기를 결정할 수 있는 옷과 같은 패션 아이템이자, 시력이 안 좋은 사람들에게는 세상을 비춰주는 눈이 되어주는 중요한 제품입니다.
라운즈는 직접 도수를 가진 렌즈를 제작하지 않고, 안경원과 파트너 제휴를 맺어 라운즈에서 판매하는 안경테와 안경원의 렌즈를 합쳐 판매하는 방식으로 운영하고 있습니다.
안경을 구매할 때 어떤 과정을 겪고 계신가요?
보통은 안경 테를 고르고, 시력에 맞춰 렌즈를 제작한 후 안경 테와 렌즈를 합쳐 안경을 완성하게 됩니다.
이 과정 속에서 안경 테의 종류, 렌즈의 종류, 추가 서비스 등에 따라서 가격이 달라집니다.
안경은 자주 구매할 만큼 저렴한 가격이 아니기 때문에 구매할 때 더 신중하게 되죠.
그래서 더욱더 매장에 가서 직접 착용해보고, 렌즈 테스트를 거친 후 구매를 하게 됩니다.
하지만 안경을 구매하는 고객들은 항상 자신에게 어울리는 안경을 찾기 어렵다는 문제를 겪게 됩니다.
비슷한 안경을 몇 개씩 쓰다 보면 자신의 외모에 어울리는 안경이 무엇인지 결정하기 어렵죠.
라운즈는 이러한 고객의 문제를 해결하기 위해 AI 딥러닝 기술을 활용한 '가상 아이웨어 피팅 서비스'를 개발했습니다.
라운즈의 가상 피팅 서비스는 딥러닝 기술로 카메라를 통해 고객의 얼굴형을 분석하고, AR(증강현실)로 모바일 앱 내에서 실시간으로 안경을 착용해 볼 수 있습니다. 매장에서 다양한 안경을 써보는 것과 같이 모바일 앱에서 터치 한 번으로 제품을 고르는 현장과 동일한 경험을 제공하는 것이죠. 게다가 매장에서 안경을 껴보면서 자신에게 어울리는지 확인했던 일을, 얼굴형에 맞는 제품을 추천해주면서 해결할 수 있게 되었습니다.
아래의 영상으로 라운즈의 가상 피팅 기술을 느껴볼 수 있습니다.
라운즈의 가상 피팅 AI 기술은 어떻게 구현할 수 있을까요?
여러분이 라운즈 앱을 켜고 가상 피팅을 사용하는 동안 다음과 같은 Technical Flow 가 작용합니다.
Front
라운즈는 앱과 웹 서비스를 운영하고 있고 가상 피팅 기능은 현재 앱에서만 사용할 수 있습니다.
앱에서 사용자에게 보이는 부분을 Front-end, Client라고 하는데, 기획과 디자인 단계를 거쳐 프로토
타입 화면이 완성되면, 프런트 개발자는 서비스의 화면들을 구현합니다. 사용자에게 보이는 버튼, 이미지 등 모든 기능을 개발하고, 상품 리스트, 회원 정보 등 백엔드 데이터 베이스에 저장된 정보를 불러올 수 있도록 개발합니다.
Back
백엔드는 보이지 않는 곳에서 클라이언트의 요청을 수행하고 잘 전달하는 역할을 합니다.
백엔드 개발자는 상품을 홍보하는 배너, 여러 디자인의 상품 이미지들의 정보를 저장한 데이터 베이스에서 수 만 가지 데이터들을 좀 더 쉽게 가져오기 위해 API를 개발합니다. 그리고 데이터를 수집, 전처리, 저장을 오류 없이 진행될 수 있게 관리합니다.
라운즈를 사용하면서 보이는 모든 데이터들은 백엔드 서버에서 호출하고 프론트로 전달하는 과정을 거치게 되는데요. 가상 피팅할 때 상품 정보들을 불러오고 빠르게 전환될 수 있도록 효율적인 알고리즘을 구현하는 것은 백엔드의 역할이라고 할 수 있습니다.
그렇다면 가상 피팅 AI 기술은 어떻게 구현되는 걸까요?
우선 가상 피팅 기능을 사용하려면 카메라에 비치는 얼굴을 라인에 따라 돌려주기만 하면 됩니다.
이때 가상 피팅 알고리즘이 카메라 얼굴 인식을 통해 사용자의 얼굴 정면, 측면 등 다양한 각도의 얼굴 이미지 데이터를 수집합니다. 각도, 밝기 등 인식이 어려운 환경에서도 얼굴 영역을 찾아내는데, 사전에 학습된 많은 얼굴형과 비교해 사용자의 얼굴 특성을 파악하기 위한 단계라고 할 수 있습니다. 딥러닝을 통해 사용자 얼굴을 67개 좌표로 구조화하고, 그 값을 통해 이목구비 비율을 계산해 8가지 대표 얼굴형으로 분류합니다.
또한 안경 이미지를 단순 합성하는 것이 아닌, 안경을 썼을 때 다양한 각도를 보여줘야 하기 때문에 3D 형태로 얼굴 데이터를 수집해야 합니다. 얼굴의 특징점을 잡고 카메라와의 거리, 응시하는 방향 등의 조건을 3D로 파악합니다.
얼굴 인식 (3D face recognition) 학습 예시여기서 얼굴만 3D로 학습하면 끝일까요? 또 중요한 게 남았습니다.
바로 안경, 제품의 이미지죠.
안경이 장착된 모습은 실제 안경을 착용하고 거울을 봤을 때와 최대한 같은 모습이어야 합니다.
얼굴 크기와 안경의 크기가 알맞게 조절되어야 하고, 얼굴 모양, 눈코입 위치, 귀 위치와 안경다리의 접점 등 많은 요소를 고려해야 합니다. 따라서 안경의 이미지를 3D로 수집하고, 어떤 얼굴 유형과 방향이라도 적용되게끔 구현해야 합니다.
라운즈는 3D 렌더링을 통해 안경의 모양, 질감, 광택 등을 가상의 세계에 표현하여 3D 안경을 만들어 냈습니다. 이 기술은 건물 설계, 애니메이션, 영화, 게임 제작에 주로 사용되며 3D 모델에 질감을 입히고 광학 효과를 표현하는 작업을 말합니다. 처음에는 안경을 3D 스캐너로 안경을 촬영한 것이라고 추측했는데 해당 방법은 비용이 많이 들고 퀄리티가 낮아 제외했고, 라운즈에서는 2D로 안경을 촬영한 후 안경의 특징점을 파악하고 3D로 그려서 재구성합니다. 게다가 개당 100kb 미안의 용량으로 압축하여 모바일 기기에서도 무리 없이 실행 가능한 기술을 구현했습니다.
라운즈는 위에서 설명한 방식으로 Virtual Fitting Asset을 구축하여 제작 비용을 절감했고, 사용자의 얼굴에 맞춰 안경을 착용할 수 있는 고퀄리티의 AI 아이웨어 피팅 기술을 개발할 수 있었습니다. 현재까지 라운즈는 안드로이드, IOS 모두에서 실시간 AR 가상 피팅이 가능해졌고, 아이웨어의 색감, 광택, 투명도 등을 실제와 같은 더 높은 수준의 AR 기술을 구현하기 위해 끊임없이 연구 중입니다.
아이웨어를 구매할 때는 '라운즈'
라운즈의 가상 피팅 이용 건수는 전년 11월 기준 400만 건이 넘었고, 앱 다운로드 수도 50만 건으로 전년대비 약 1800% 성장하고 누적 매출액은 200억 원 이상을 달성했습니다. 게다가 100개의 브랜드와 약 4,500여 종의 안경과 선글라스를 가상 피팅으로 착용해볼 수 있는데, 상품 데이터가 세계 최대 규모라고 합니다. 지속적으로 성장하면서도 국내 안경업계 전체와 상생할 수 있는 비즈니스 모델을 확립하기 위한 노력을 하고 있고, 앱뿐만 아니라 제휴를 맺은 안경원에서 '라운즈 미러'를 통해 착용한 제품 정보가 나오고, 안경에 도수를 넣은 렌즈를 꼈을때, 컬러 렌즈를 꼈을 때의 모습을 미리 체험해 볼 수 있습니다.
라운즈의 기술 고도화와 앞으로의 성장이 매우 기대가 커지네요.
"모든 지구인의 안경을 사고 쓰는 일이 즐거운 경험이 되도록"이라는 미션에 맞춰서
아이웨어를 구매하려는 모든 고객들이 첫 번째로 '라운즈'를 떠올리는 때가 올 것이라고 생각합니다.
라운즈 구성원분들의 이야기를 볼 수 있습니다.
https://rounz.notion.site/rounz/0-2-727014ea7ca44e55b86a9a0fa84ebd44
