2D RGB 영상으로 나를 따라하는 증강현실 아바타

소개
  •  본 서비스는 입력 이미지로부터 인간 관절의 위치를 추정하는 것을 목표로 하는 Human Pose Estimation 기술을 활용합니다. 추정된 관절의 위치는 그 자체로도 의미 있게 사용될 수 있지만, 인간의 행동을 이해하거나 재현하여 행동 인식, 가상공간에서의 가상 아바타 등을 만드는 곳에 사용될 수 있습니다.
  • 사람의 동작을 인지하고 모션을 추정하기 위해서 기존에는 센서 또는 마커에 의해 해당 정보를 얻었으나 이제는 센서나 마커 없이 일반 카메라로 촬영되는 영상을 통하여 동작인식이 가능해 짐으로서 기존에는 센서 장비가 있는 장소에서만 가능했던 서비스들이 이제는 모바일 폰의 카메로 언제, 어디서나 가능해 질 수 있게 됩니다.
  •  해당 기술의 폭넓은 활용을 위하여 추정되는 데이터의 직관적 표현을 위해 나를 따라하는 아바타 서비스를 선정 하였습니다.
     시스템은 서버/클라이언트 구조로 웹소캣으로 이미지를 전달하고 추정된 데이터를 json(JavaScript Object Notation) 포맷으로 회신합니다. 클라이언트는 Unity IK(Inverse Kinematics) 를 활용한 App으로 구성하였습니다.
필요성
  •  지난 2019 AI Expo를 통하여 제조, 화학, 에너지, 국방, 의료, 문화 등 전방위 산업에서 사람동작영상 데이터에 대한 관심을 확인하여 특정 도메인에 속한 시범서비스 보다는 기초 기능의 이해를 돕는데 직관적인 서비스로 기획하였습니다.
사용방법
  • 내려받은 sweet_pose.zip의 압축 해제 후 sweet_pose.exe를 실행하면 해상도 선택 후 아래와 같은 서버접속 URL 화면을 보게 됩니다. 
image

 - 서버 접속 경로는 ws://humanpose.aihub.or.kr로 기본 설정이 되어 있으며, 별도로 개발한 서버가 있다면 해당 서버 url을 입력하면 됩니다.

 

image

- Connect : 서버와의 socket 접속을 시작합니다.
 - Start : 영상정보 전송을 시작합니다.
 - Stop : 영상정보 전송을 중지합니다.
 - Quit : 서비스를 종료합니다.