그림에서 사람의 관절 위치를 분석해주는 AI

2D Human Pose Estimation 사람의 자세 추정

  얼마 전, 2024년 1학기에 졸업 한 대학원 동기를 만났습니다. 저 동기가 쓴 학위논문 받았어요!! 논문을 작성하는 과정을 옆에서 지켜보았는데, 실제로 논문을 받아보니 감동. 우여곡절과 정성이 담긴 논문을 한번 읽어 보겠습니다. 

  웹툰 스타트업에서 수집한 스케치의 그려진 사람 의 관절 위치를 예측하여 자세를 추정하는 딥러닝 연구로 웹툰,  스포츠 분석, 가상 현실, 보행 분석에 활용될 수 있는 연구였습니다. 로봇에 적용하였을 경우에 로봇이 필요한 위치를 예측해서 로봇이 행동할 3차원 공간에서의 좌표를 알려줄 수 있습니다.

연구 배경

  스케치는 기하학적 및 해부학적 표현과 달리 추상적이고 과장될 수 있으며, 스케치에서의 자세 추정은 사진을 이용한 기존의 자세 추정 알고리즘을 적용하기 어렵다.

연구의 필요성

  더 간편하게 3D 캐릭터 포즈를 설정하기 위해서 우선적으로 스케치 기반의 2D 자세추정 연구가 필요하다.

연구에 사용된 인공지능 모델  

   ViT 모델의 MLP (Multi-Layer Perceptron) 특징 추출부분을 자세 추정에 사용하였다. CNN 입력 이미지 형태는 RGB 이미지고, ViT 출력 결과를 CNN을 사용하기 위해 변환 과정을 수행하였는데, ViT 의 출력 토큰을 변환하여 RGB 채널을 갖는 224x224 이미지로 재구성하여 각 관절별 히트맵을 구성했다.  

연구 결과

제안 기법의 경우 손목과 발목과 같은 신체 말단 관절의 예측 성능이 가장 낮다. Sketch2Pose 의 경우 팔꿈치 관절의 성능 점수가 유독 낮아 정성적 지표로 확인했다.

제안한 모델과 Sketch2Pose 모델 관절 좌표 비교표 

  팔꿈치와 손목, 골반 관절에 대해서 Sketch2Pose 가 제안 기법에 비해 성능이 떨어진다.

연구의 결론

    합성 데이터만을 사용하여 스케치 기반 2차원 사람의 자세 예측했다. 기존 Sketch2Pose 모델에 비교하여  PCKh@0.5 기준 우수한 성능을 기록했다.

연구에서 비교했던 Sketch2pose 모델

(a) 스케치  (b) 3D모델링은 (a) 스케치 이미지의 캐릭터 자세를 비롯해서 피부표현과 3D모델링 표현이 가능하다.