• 일반 2D 이미지속 사람을 3D 모델로 변환 시 자세(Pose)와 형태(Shape)를 추론하기 위한 데이터 셋

• 의료분야(재횔치료 자세 교정, 원격진료), 3D 가상 fitting, AR/MR 서비스(5G 기반 증강현실 콘텐츠), 게임 및 영화(Depth 센서 대체), 스마트 홈(독거노인 비상 상황 관제), AI 로봇(인간의 자세를 분석하고 보조를 맞추는 연구), 홈트레이닝(운동자세 분석 및 추천) 등

• 인공지능(Artificial Intelligence), 데이터셋(Data Set), 동작영상(Motion Picture), 기계학습(Machine Learning), 자세 추정(Human sPose Estimation), 키포인트 검출(Keypoint Detection), Health care, Home training,

• 이미지로부터 2차원, 3차원 자세 정보 및 3D 형태(Shape)정보 추정을 하기 위한 데이터셋으로 동작의 다양성을 위해 70종의 동작을 선정하여 3D 모델 50만건, 2D 이미지 200만장 구축을 목표로 함

• 총 3D 모델 50만건
• 총 이미지 200만장


• 학습데이터 셋 구성

  학습데이터 셋 구성 표

  구분	산출물명	확장자	수량	산출물 방식
  액터	Shape Parameter	JSON	24명	액터별 기본 Body Model을 위한 Shape 파라미터
  	3D Scan	PLY	24명	스캔된 액터별 Point Cloud 정보 (T Pose)
  동작종류	Sequence	JSON	1	70종 동작 종류 설명 Meta 데이터
  카메라 정보	Camera Calibration	JSON	4천개 이상	모든 카메라 내/외부 파라미터 정보 및 Calibration 정보
  시퀀스	Image	JPG	2,000,000	Image
  	2D Pose	JSON	2,000,000	2D 관절정보 (x,y좌표값, 카메라정보ID)
  	3D Pose	JSON	500,000	3D 관절정보(x,y,z 좌표값, roll, pitch, yaw, translation)
  	Point Cloud	PLY	25,000	Multi view 카메라에서 획득하는 Point Cloud 데이터
  	3D Shape	obj	500,000	3D Shape 정보

• 의료, 5G, AR/MR, AI 로봇 등 인체 자세 분석을 위한 기술이 활발히 연구되고 있으며, 더 정확한 자세 정보를 위하여 2D에서 3D 자세 정보 추정으로 연구가 확대 진행되고 있음 특히 코로나로 인한 비대면 비접촉 생활 증가로 홈피트니스 분야 서비스 개발이 확산되고 있으나 인체에 대한 정확한 자세의 3D 추정을 위한 데이터셋이 절대적으로 부족한 상황임.

• 정보 구분에 따른 파일 네이밍 룰

  구분	파일 네이밍룰	산출물명
  공통	“BodyModel” + “-” + 남/여 + “.fbx” Ex) BodyModel-F.fbx	3D Body Model
  액터	actor_no + “.json” Ex) F160A.json	Shape Parameter
  	actor_no + “.PLY” Ex) F160A.ply	3D Scan
  동작종류	Sequence.json	Sequence
  카메라 정보	동작종류 + “_” + actor_no+ “_” + 카메라번호 + “.json” Ex) 01_F160A_1.json	Camera Calibration
  시퀀스	동작종류 + “_” = actor_no+ “_” + 카메라번호 + “_” + FrameSeq + “.jpg” Ex) 01_F160A_1_1.jpg	Image
  	동작종류 + “_” = actor_no+ “_” + 카메라번호 + “_” + FrameSeq + “.json” Ex) 01_F160A_1_1.json	2D Pose
  	“3D_” + 동작종류 + “_” + actor_no+ FrameSeq + “.json” Ex) 3D_01_F160A_1.json	3D Pose
  	동작종류 + “_” + actor_no+ FrameSeq + “.ply” Ex) 11_F160B_11.ply	Point Cloud
  	동작종류 + “_” + actor_no+ “.obj” Ex) 10_F160A_3.obj	3D Shape

• 2D 어노테이션 데이터셋 포멧

  2D 어노테이션 데이터셋 포멧
  No		항목		길이	타입	필수여부	비고
  		한글명	영문명
  1	1	데이터셋정보	info		Object	Y
  	1-1	상위카테고리정보	info.supercategory	100	String	Y	Human
  	1-2	동작종류 식별자	info.action_category_id	3	Number	Y	70
  	1-3	액터식별자	info.actor_id	15	String	Y	F160A
  	1-4	이미지 가로 사이즈	info.img_width	5	Number	Y	1920
  	1-5	이미지 세로 사이즈	info.img_height	5	Number	Y	1080
  	1-6	카메라 번호	info.camera_no	2	Number	Y	1
  	1-7	데이터셋2D위치값정보	info.2d_pos	100	List	Y	[“Pelvis”,....]
  2	2	어노테이션정보	annotations		List	Y
  	2-1	이미지식별자	annotations[].img_no	100	Number	Y
  	2-2	프레임식별자	annotations[].frame_no	100	Number	Y
  	2-3	이미지파일경로	annotations[].img_path	100	String	N
  	2-4	데이터셋2D위치값	annotations[].2d_pos	1000	List	Y

• 3D 어노테이션 데이터셋 포멧

  3D 어노테이션 데이터셋 포멧
  No		항목		길이	타입	필수여부	비고
  		한글명	영문명
  1		데이터셋정보	info		Object	Y
  	1-1	데이터셋카테고리정보	info.supercategory	100	String	Y
  	1-2	데이터셋동작식별자	info.action_category_id	100	Number	Y
  	1-3	데이터셋액터식별자	info.actor_id	200	String	Y
  	1-4	데이터셋3D위치값정보	info.3d_pos	100	List	Y
  	1-5	데이터셋3D회전값정보	info.3d_rot	100	List	Y
  2		어노테이션정보	annotations		List	Y
  	2-1	프레임식별자	annotations[].frame_no	100	String	Y
  	2-2	OBJ파일경로	annotations[].obj_path	100	String	N
  	2-3	데이터셋3D위치값	annotations[].3d_pos	1000	List	Y
  	2-4	데이터셋3D회전값	annotations[].3d_rot	1000	List	Y
  	2-5	트렌스벡터값	annotations[].trans_params	200	List	Y

수행기관(주관) : 스위트케이

수행기관(참여)