사람 인체/자세 3D

사람 인체/자세 3D

데이터셋명 사람 인체/자세 3D
데이터 분야 헬스케어 데이터 유형 이미지, 3D
구축기관 스위트케이 데이터 관련 문의처 담당자명 이준호(스위트케이)
가공기관 전화번호 031-8091-0000
검수기관 이메일 sweetk_lab@sweetk.co.kr
구축 데이터량 50만 건 (3D모델), 200만 장 (2D이미지) 구축년도 2020년
버전 1.0 최종수정일자 2021.06.30
소개 일반 2D 이미지로부터 3D 모델로 변환 시 자세(Pose)와 형태(Shape)를 추론하기 위해 70종의 동작을 선정하여 3D 모델 50만 건, 2D 이미지 200만 장 데이터셋 구축
주요 키워드 동작영상(Motion Picture), 기계학습(Machine Learning), 자세 추정(Human sPose Estimation), 키포인트 검출(Keypoint Detection), Health care, Home training
저작권 및 이용정책 본 데이터는 과학기술정보통신부가 주관하고 한국지능정보사회진흥원이 지원하는 '인공지능 학습용 데이터 구축사업'으로 구축된 데이터입니다. [데이터 이용정책 상세보기]
데이터설명서 자료보기 구축활용가이드 자료보기
샘플데이터 다운로드 교육활용동영상 영상보기
저작도구 다운로드 AI모델 다운로드
데이터 변경이력
버전 일자 변경내용 비고
1.0 2021.06.30 데이터 최초 개방  
구축목적
  • 일반 2D 이미지속 사람을 3D 모델로 변환 시 자세(Pose)와 형태(Shape)를 추론하기 위한 데이터 셋
활용분야
  • 의료분야(재횔치료 자세 교정, 원격진료), 3D 가상 fitting, AR/MR 서비스(5G 기반 증강현실 콘텐츠), 게임 및 영화(Depth 센서 대체), 스마트 홈(독거노인 비상 상황 관제), AI 로봇(인간의 자세를 분석하고 보조를 맞추는 연구), 홈트레이닝(운동자세 분석 및 추천) 등
주요 키워드
  • 인공지능(Artificial Intelligence), 데이터셋(Data Set), 동작영상(Motion Picture), 기계학습(Machine Learning), 자세 추정(Human sPose Estimation), 키포인트 검출(Keypoint Detection), Health care, Home training,
소개
  • 이미지로부터 2차원, 3차원 자세 정보 및 3D 형태(Shape)정보 추정을 하기 위한 데이터셋으로 동작의 다양성을 위해 70종의 동작을 선정하여 3D 모델 50만건, 2D 이미지 200만장 구축을 목표로 함

img

 

구축 내용 및 제공 데이터량
  • 총 3D 모델 50만건
  • 총 이미지 200만장

  • 학습데이터 셋 구성
    학습데이터 셋 구성 표
    구분 산출물명 확장자 수량 산출물 방식
    액터 Shape
    Parameter
    JSON 24명 액터별 기본 Body Model을 위한 Shape
    파라미터
    3D Scan PLY 24명 스캔된 액터별 Point Cloud 정보
    (T Pose)
    동작종류 Sequence JSON 1 70종 동작 종류 설명 Meta 데이터
    카메라
    정보
    Camera
    Calibration
    JSON 4천개 이상 모든 카메라 내/외부 파라미터 정보 및
    Calibration 정보
    시퀀스 Image JPG 2,000,000 Image
    2D Pose JSON 2,000,000 2D 관절정보
    (x,y좌표값, 카메라정보ID)
    3D Pose JSON 500,000 3D 관절정보(x,y,z 좌표값, roll, pitch,
    yaw, translation)
    Point Cloud PLY 25,000 Multi view 카메라에서 획득하는
    Point Cloud 데이터
    3D Shape obj 500,000 3D Shape 정보
대표도면

img

 

필요성
  • 의료, 5G, AR/MR, AI 로봇 등 인체 자세 분석을 위한 기술이 활발히 연구되고 있으며, 더 정확한 자세 정보를 위하여 2D에서 3D 자세 정보 추정으로 연구가 확대 진행되고 있음 특히 코로나로 인한 비대면 비접촉 생활 증가로 홈피트니스 분야 서비스 개발이 확산되고 있으나 인체에 대한 정확한 자세의 3D 추정을 위한 데이터셋이 절대적으로 부족한 상황임.
데이터 구조
  • 정보 구분에 따른 파일 네이밍 룰
    구분 파일 네이밍룰 산출물명
    공통 “BodyModel” + “-” + 남/여 + “.fbx”
    Ex) BodyModel-F.fbx
    3D Body Model
    액터 actor_no + “.json”
    Ex) F160A.json
    Shape Parameter
    actor_no + “.PLY”
    Ex) F160A.ply
    3D Scan
    동작종류 Sequence.json Sequence
    카메라 정보 동작종류 + “_” + actor_no+ “_” + 카메라번호 + “.json”
    Ex) 01_F160A_1.json
    Camera Calibration
    시퀀스 동작종류 + “_” = actor_no+ “_” + 카메라번호 + “_” + FrameSeq + “.jpg”
    Ex) 01_F160A_1_1.jpg
    Image
    동작종류 + “_” = actor_no+ “_” + 카메라번호 + “_” + FrameSeq + “.json”
    Ex) 01_F160A_1_1.json
    2D Pose
    “3D_” + 동작종류 + “_” + actor_no+ FrameSeq + “.json”
    Ex) 3D_01_F160A_1.json
    3D Pose
    동작종류 + “_” + actor_no+ FrameSeq + “.ply”
    Ex) 11_F160B_11.ply
    Point Cloud
    동작종류 + “_” + actor_no+ “.obj”
    Ex) 10_F160A_3.obj
    3D Shape
  • 2D 어노테이션 데이터셋 포멧
     
    2D 어노테이션 데이터셋 포멧
    No 항목 길이 타입 필수여부 비고
        한글명 영문명        
    1 1 데이터셋정보 info   Object Y  
    1-1 상위카테고리정보 info.supercategory 100 String Y Human
    1-2 동작종류 식별자 info.action_category_id 3 Number Y 70
    1-3 액터식별자 info.actor_id 15 String Y F160A
    1-4 이미지 가로 사이즈 info.img_width 5 Number Y 1920
    1-5 이미지 세로 사이즈 info.img_height 5 Number Y 1080
    1-6 카메라 번호 info.camera_no 2 Number Y 1
    1-7 데이터셋2D위치값정보 info.2d_pos 100 List Y [“Pelvis”,....]
    2 2 어노테이션정보 annotations   List Y  
    2-1 이미지식별자 annotations[].img_no 100 Number Y  
    2-2 프레임식별자 annotations[].frame_no 100 Number Y  
    2-3 이미지파일경로 annotations[].img_path 100 String N  
    2-4 데이터셋2D위치값 annotations[].2d_pos 1000 List Y  
  • 3D 어노테이션 데이터셋 포멧
     
    3D 어노테이션 데이터셋 포멧
    No 항목 길이 타입 필수여부 비고
        한글명 영문명        
    1 데이터셋정보 info   Object Y  
      1-1 데이터셋카테고리정보 info.supercategory 100 String Y  
      1-2 데이터셋동작식별자 info.action_category_id 100 Number Y  
      1-3 데이터셋액터식별자 info.actor_id 200 String Y  
      1-4 데이터셋3D위치값정보 info.3d_pos 100 List Y  
      1-5 데이터셋3D회전값정보 info.3d_rot 100 List Y  
    2 어노테이션정보 annotations   List Y  
      2-1 프레임식별자 annotations[].frame_no 100 String Y  
      2-2 OBJ파일경로 annotations[].obj_path 100 String N  
      2-3 데이터셋3D위치값 annotations[].3d_pos 1000 List Y  
      2-4 데이터셋3D회전값 annotations[].3d_rot 1000 List Y  
      2-5 트렌스벡터값 annotations[].trans_params 200 List Y  
데이터셋 구축 담당자
수행기관(주관) : 스위트케이
수행기관(주관) 표
책임자명 전화번호 대표이메일 담당업무
이준호 031-8091-0000 sweetk_lab@sweetk.co.kr · 2D 데이터 가공 및 전체 데이터 품질검증
· Photo wake-up 시범서비스 개발
· Annotation Tool 개발
수행기관(참여)
수행기관(참여) 표
기관명 담당업무 기관명 담당업무
서울대학교 · 프로토타입 모델 개발
· 데이터셋 효용성 평가
· 3D Human Body Model 파라미터 정의
한국디자인진흥원 · 활용서비스 기획
· 해커톤대회 개최 및 촬영장 제공
모션테크놀로지 · 촬영 스튜디오 환경 구성 및 영상 촬영
· 3D 데이터 가공 및 검수