기본탭
사람 인체/자세 3D AI 데이터셋
Human Pose and Shape AI Training Dataset
구축목적
- 일반 2D 이미지속 사람을 3D 모델로 변환 시 자세(Pose)와 형태(Shape)를 추론하기 위한 데이터 셋
활용분야
- 의료분야(재횔치료 자세 교정, 원격진료), 3D 가상 fitting, AR/MR 서비스(5G 기반 증강현실 콘텐츠), 게임 및 영화(Depth 센서 대체), 스마트 홈(독거노인 비상 상황 관제), AI 로봇(인간의 자세를 분석하고 보조를 맞추는 연구), 홈트레이닝(운동자세 분석 및 추천) 등
주요 키워드
- 인공지능(Artificial Intelligence), 데이터셋(Data Set), 동작영상(Motion Picture), 기계학습(Machine Learning), 자세 추정(Human sPose Estimation), 키포인트 검출(Keypoint Detection), Health care, Home training,
소개
- 이미지로부터 2차원, 3차원 자세 정보 및 3D 형태(Shape)정보 추정을 하기 위한 데이터셋으로 동작의 다양성을 위해 70종의 동작을 선정하여 3D 모델 50만건, 2D 이미지 200만장 구축을 목표로 함
구축 내용 및 제공 데이터량
- 총 3D 모델 50만건
- 총 이미지 200만장
대표도면
필요성
- 의료, 5G, AR/MR, AI 로봇 등 인체 자세 분석을 위한 기술이 활발히 연구되고 있으며, 더 정확한 자세 정보를 위하여 2D에서 3D 자세 정보 추정으로 연구가 확대 진행되고 있음 특히 코로나로 인한 비대면 비접촉 생활 증가로 홈피트니스 분야 서비스 개발이 확산되고 있으나 인체에 대한 정확한 자세의 3D 추정을 위한 데이터셋이 절대적으로 부족한 상황임.
데이터 구조
[정보 구분에 따른 파일 네이밍 룰]
| 구분 | 파일 네이밍룰 | 산출물명 |
|---|---|---|
| 공통 | “BodyModel” + “-” + 남/여 + “.fbx”Ex) BodyModel-F.fbx | 3D Body Model |
| 액터 | “ShapeParam” + actor_no + “.json”Ex) ShapeParam-001.json | Shape Parameter |
| “Scan3D” + actor_no + “.PLY”Ex) ShapeParam-001.ply | 3D Scan | |
| 동작종류 | Sequence.json | ffffSequence/td> |
| 카메라 정보 | 동작종류 + “_” + 시나리오Seq + “_” + 카메라번호 + “.json”Ex) 1_003_C01.json | Camera Calibration |
| 시퀀스 | 동작종류 + “_” = 시나리오Seq + “_” + 카메라번호 + “_” + FrameSeq + “.jpg”Ex) 1_003_C01_001.jpg | Image |
| 동작종류 + “_” = 시나리오Seq + “_” + 카메라번호 + “_” + FrameSeq + “.json”Ex) 1_003_C01_001.json | 2D Pose | |
| “3D_” + 동작종류 + “_” + 시나리오Seq + FrameSeq + “.json”Ex) 3D_1_001_001_json | 3D Pose | |
| “PointCloud_” + 동작종류 + “_” + 시나리오Seq + FrameSeq + “.json”Ex) PointCloud_1_001_001.json | Point Cloud | |
| “Shape_” + 시나리오번호 + “_” + 시나리오Seq + “.obj”Ex) Shape_10-1_003.obj | 3D Shape |
[어노테이션 포맷]
| No | 항목 | 길이 | 타입 | 필수여부 | 비고 | |
|---|---|---|---|---|---|---|
| 한글명 | 영문명 | |||||
| 1 | 데이터셋정보 | info | Object | |||
| 1-1 | 데이터셋설명 | info.name | 100 | String | Y | |
| 1-2 | 데이터셋상세설명 | info.description | 1000 | String | ||
| 1-3 | 데이터셋URL | info.url | 200 | String | ||
| 1-4 | 데이터셋생성일자 | info.date_created | 100 | String | Y | |
| 2 | 이미지정보 | images | List | |||
| 2-1 | 이미지식별자 | images[].id | 100/td> | String | Y | |
| 2-2 | 이미지너비 | images[].width | 4 | Number | Y | |
| 2-3 | 이미지높이 | images[].height | 4 | Number | Y | |
| 2-4 | 이미지파일명 | images[].file_name | 100 | String | Y | |
| 2-5 | 이미지라이센스 | images[].license | 100 | String | Y | |
| 2-6 | 이미지촬영일자 | date_created | 100 | String | Y | |
| 3 | 어노테이션정보 | annotations | List | |||
| 3-1 | 어노테이션식별자 | annotations[].id | 100 | String | Y | |
| 3-2 | 연관이미지식별자 | annotations[].image_id | 100 | String | Y | |
| 3-3 | 어노테이션텍스트 | annotations[].text | 1000 | String | Y | |
| 3-4 | 어노테이션속성 | annotations[].attributes | 1 | Object | ||
| 3-5 | 어노테이션 바운딩박스 | annotations[].bbox | 4 | List | Text in the Wild에서 사용 | |
| 4 | 라이선스 | licensens | List | |||
| 4-1 | 라이선스명 | licenses[].name | 100 | String | Y | |
| 4-2 | 라이선스URL | licenses[].url | 200 | String | Y | |
데이터셋 구축 담당자
수행기관(주관) : 스위트케이
| 책임자명 | 전화번호 | 대표이메일 | 담당업무 |
|---|---|---|---|
| 이준호 | 031-8091-0000 | sweetk_lab@sweetk.co.kr | · 2D 데이터 가공 및 전체 데이터 품질검증 · Photo wake-up 시범서비스 개발 · Annotation Tool 개발 |
수행기관(참여)
| 기관명 | 담당업무 | 기관명 | 담당업무 |
|---|---|---|---|
| 서울대학교 | · 프로토타입 모델 개발 · 데이터셋 효용성 평가 · 3D Human Body Model 파라미터 정의 |
한국디자인진흥원 | · 활용서비스 기획 · 해커톤대회 개최 및 촬영장 제공 |
| 모션테크놀로지 | · 촬영 스튜디오 환경 구성 및 영상 촬영 · 3D 데이터 가공 및 검수 |
논문 인용 정보