by
Jul 13. 2020
[AI무용] 인공지능은 인간의 움직임을 어떻게 알아낼까
누구나 쉽게 무용을 만들어 보는 LIVING Archive
예술 근처 어디쯤 Day.7
지난 번 게시글에서 웨인 맥그리거 안무팀와 구글이 공동 작업한 <LIVING ARCHIVE : AN AI PERFORMANCE EXPERIMENT>에 대해 이야기하였다. 원리는 간단하다.
1. 인공지능이 카메라로 찍은 화면에서 인체의 골격을 인식하고 이를 통해서 안무가의 안무를 인식한다. 인공지능이 인식한 모습은 이러한 골격의 움직임이다.
2. 머신러닝 기법으로 이를 학습하고 입력받은 움직임을 토대로 이와 관련된 새로운 움직임을 만들어낸다.
3. 안무가의 역할은 인공지능이 만들어낸 새로운 움직임에 상상력을 더해서 새로운 안무로 완성하는 방식이다.
LIVING Archive에 활용된
인공지능 기술
이번에는 좀 더 인공지능 기술과 관련된 이야기를 해보고자 한다. 골격의 움직임을 어떠한 원리로 인식하는지 이해해보자.
PifPaf : Composite Fields for Human Pose Estimation
코넬대학교에서 연구를 진행한 PifPaf은 인간의 포즈 측정을 위해 개발된 기술이다. 이는 기존의 신체 부위를 부분화하는 PIF 기술과 부분화된 신체 관절를 연결하여 전체 포즈를 완성하는 PAF 기술이 결합된 방식이다.
Part Intensity Field(PIF)
Part Intensity Field(PIF)는 신체 부위를 탐지하고 이를 정교하게 부분화한다. PIF는 관절 위치를 위한 스칼라요소와 특정 신체 타입 및 사이즈를 위한 백터요소의 결합물이다.
(a) confidence map (b) vector field (c) the fused confidence, vector and scale components(a) confidence map : 이미지 속 사람의 관절 위치를 파악하는데 사용
(b) vector field : 신체 타입 및 사이즈 파악
(c) the fused confidence, vector and scale components : 종합된 결과물
Part Association Fields(PAF)
Part Association Fields(PAF)는 포즈마다 있는 신체 관절의 위치를 연결시킨다. 관절마다 연결은 다음과 같이 방식마다 다양하게 할 수 있다. 파랑 점은 관절, 초록 점은 confidence를 의미한다. 첫번째는 벡터 값을 결정하기 위해 가까운 거리를 고려하지만 두번째에서는 굳이 가장 가까운 점이 연결될 필요가 없기에 멀리있는 점도 가능해진다.
Illustration of the PAFPifPaf의 작동 과정
1. 초기 입력값은 세 가지의 색상을 갖은 이미지의 사이즈(H, W)이다.
2. 이러한 입력값을 토대로 신경망 기반 encoder에서는 17×5 and 19×7 channels을 갖은 PIF 과 PAF fields 를 생성해낸다.
3. decoder에서는 PIF and PAF fields 를 17개의 마디가 있는 포즈 결과물로 변환시킨다.
PifPaf 결과물프로그램 내 PifPaf을 활용한 학습과정
<InData Labs>에서 실제 작업과정PifPaf을 활용한 다양한 산업분야
Fitness and Wellness
홈트레이닝 분야에서 이는 적극적으로 활용된다. 핸드폰 카메라 앞에서 운동을 하면서 자신들의 움직임에 대한 즉각적인 피드백이 가능해지기에 부상을 방지할 수 있다.
Healthcare
물리치료 분야에서도 활용된다. 사용자의 움직임을 추적하여 이를 평가하고 이에 따른 유용한 피드백을 제공하므로써 좀 더 효과적인 치료를 가능케한다.
Surveillance 감시
computer vision (CV)을 통한 보완시스템 자동화를 가능케한다. 사람이 많이 붐비는 경기장, 도로 등 다양한 곳에서 사람들의 움직임을 분석하므로써 비정상적이고 폭력적인 행동을 찾아낼 수 있다. 또한 이러한 감시 시스템을 24시간 가능케하여 좀 더 안전한 사회를 구축해낸다.
이제 이러한 기술을 간단하게 실습해보자. 기술에 대한 복잡한 연구는 세계 유수의 개발자들이 열심히 해주었다. 우리는 그 연구의 결과물을 무료로 그리고 무척 쉽게 사용해볼 수 있다. 우리의 역할은 이러한 기술을 통해서 예술을 좀 더 다채롭게 만들면 되는 것이다.
이곳에서는 정말 다양한 기술들을 실습해볼 수 있다. 위의 개념적인 이해를 전혀 하지않아도 된다. 그냥 이곳에서 이것저것 만져보자.
프로그램 첫 페이지그 중에서 오늘은 구글에서 자료를 공개한 PoseNet을 이용할 예정이다.
실시간으로 수많은 사람들의 골격 모습을 찾아낼 수 있다.
