사람 동작 영상(2020)
- 분야영상이미지
- 유형 3D , 이미지
-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.3 2023-05-31 라벨링데이터 추가 개방 Segmentation 데이터 1.2 2021-09-15 데이터 추가 개방 1.1 2021-08-30 데이터 품질 보완 1.0 2021-06-30 데이터 최초 개방 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2022-10-13 신규 샘플데이터 개방 소개
2D 인체 영상으로 3D 자세와 형태를 추정하는 AI 개발을 위한 Multi-person 2D-3D 사람동작 영상 데이터
구축목적
2명 이상의 사람이 상호작용하는 2D 영상에서 사람의 3D 자세와 3D 형태를 추론하여 응용 애플리케이션을 연구/개발하기위한 2D-3D 인체 동작 영상 인공지능 학습용 데이터 셋을 구축
-
메타데이터 구조표 데이터 영역 영상이미지 데이터 유형 3D , 이미지 데이터 형식 데이터 출처 라벨링 유형 라벨링 형식 데이터 활용 서비스 데이터 구축년도/
데이터 구축량2020년/200만 -
구축 내용 및 제공 데이터량
- 데이터 구성
데이터 구성 표 데이터 종류 2D 영상 3D 모델 3D 인체 자세 3D 인체 표면
폴리곤 세그먼테이션예시 
데이터 구성 2명 이상의 사람이 포함된
Full-HD 영상,
카메라 파라미터100K 이상 Polygon 27개 관절 위치 24개 세그먼테이션
클래스데이터 포맷 jpg 파일 포맷 obj 파일 포맷 json 파일 포맷 json 파일 포맷 데이터 구성 표1 데이터 종류 데이터 규모 2D 영상 일반 2D 영상 198만 개 200만 개 고품질 2D 영상 2만 개 3D 모델 일반 3D 모델 39만 5000개 40만 개 고품질 3D 모델 5,000개 Labeling
데이터3D 인체 자세 40만 개 3D 인체 표면 폴리곤 세그먼테이션 40만 개
- 데이터 설계
① Subject (촬영 모델) 다양성데이터 설계 subject표 구분 수량 비율 성별 분포 남성 116 48% 여성 124 52% 소 계 240 100% 연령 분포 ~10대 28 12% 20대 61 25% 30대 64 27% 40대 37 15% 50대 28 12% 60대~ 22 9% 소 계 240 100%
② 동작 다양성: 기본 동작, 응용 동작, 도전적 동작 등 크게 3가지 분류에 대해 총 166개 동작에 대해 데이터 수집
- 데이터 구성
-
-
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 2D 키포인트 유효성 Pose Estimation Detectron 2 mAP 75.2473 % 88.523 % 2 바운딩 박스 유효성 Object Detection Detectron 2 mAP 62.3398 % 84.109 %
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드데이터 변경이력
사람 동작 영상(2020)-데이터변경이력 버전 일자 변경내용 비고 1.2 2021.09.15 데이터 추가 개방 1.1 2021.08.30 데이터 품질 보완 1.0 2021.06.30 데이터 최초 개방 구축 목적
- 2명 이상의 사람이 상호작용하는 2D 영상에서 사람의 3D 자세와 3D 형태를 추론하여 응용 애플리케이션을 연구/개발하기위한 2D-3D 인체 동작 영상 인공지능 학습용 데이터 셋을 구축
활용 분야
- 커머스, 스포츠, VR·AR·MR 등 실감 미디어 서비스에 대한 응용 애플리케이션 개발, 사람동작 영상에 대한 분석 및 활용 연구
소개
- 한국인 체형에 맞는 데이터를 위해 연령별/성별 다양성을 갖춘 2인 이상 다인의 사람이 다양한 동작을 하는 영상을 직접 촬영하여 데이터를 수집, 활용성을 높이기 위해 3D 모델을 정제, 3D 자세 추론을 위한 2D&3D 키포인트와 3D 형태 추론을 위한 3D 폴리곤 세그먼테이션 자료를 가공하고, 이에 대한 검수를 실시하여 사람 동작 영상 (3D, Multi-person)에 대한 데이터 셋 구축. 데이터 셋의 활용을 위해 설계된 프로토타입 AI 모델과 3D 자세 추정 시범 서비스 공개
구축 내용 및 제공 데이터량
- 데이터 구성
데이터 구성 표 데이터 종류 2D 영상 3D 모델 3D 인체 자세 3D 인체 표면
폴리곤 세그먼테이션예시 데이터 구성 2명 이상의 사람이 포함된
Full-HD 영상,
카메라 파라미터100K 이상 Polygon 27개 관절 위치 24개 세그먼테이션
클래스데이터 포맷 jpg 파일 포맷 obj 파일 포맷 json 파일 포맷 json 파일 포맷 데이터 구성 표1 데이터 종류 데이터 규모 2D 영상 일반 2D 영상 198만 개 200만 개 고품질 2D 영상 2만 개 3D 모델 일반 3D 모델 39만 5000개 40만 개 고품질 3D 모델 5,000개 Labeling
데이터3D 인체 자세 40만 개 3D 인체 표면 폴리곤 세그먼테이션 40만 개
- 데이터 설계
① Subject (촬영 모델) 다양성데이터 설계 subject표 구분 수량 비율 성별 분포 남성 116 48% 여성 124 52% 소 계 240 100% 연령 분포 ~10대 28 12% 20대 61 25% 30대 64 27% 40대 37 15% 50대 28 12% 60대~ 22 9% 소 계 240 100%
② 동작 다양성: 기본 동작, 응용 동작, 도전적 동작 등 크게 3가지 분류에 대해 총 166개 동작에 대해 데이터 수집
대표도면
- 데이터 수집/정제
① 2D 영상
② 3D 모델
- 데이터 가공
① 2D&3D 키포인트
② 3D 폴리곤 세그먼테이션
필요성
- 사람 동작 관련 3D 데이터 셋의 수집 및 가공은 인공지능 기술을 활용한 연구와 애플리케이션 개발이 세계적으로 가장 활발하게 진행되고 있는 분야 중 하나임
- 외국에서 만들어진 데이터 셋은 외국인을 모델로 하여 한국인의 체형과 환경에 맞지 않는 문제점이 발생함
- 한국인의 다양한 신체 체형이 반영된 2D-3D 데이터 셋을 직접 촬영을 통해 수집, 정제, 가공 및 검수를 통해 구축하여 인공지능 관련 연구/개발 산, 학, 연 생태계 활성화
데이터 구조
- 1. 데이터 구성
데이터 구성 표2 항 목 세 부 항 목 값 형태 설 명 categories type String 95번 사람동작영상 데이터 : "Person" type_id Number "Lip" : 0, "Hand" : 1, "Person" : 2, "Dance" : 3 skeleton Number 2개의 관절 번호 매핑을 통해 관절 간 연결 정보 표현 keypoints String 관절 번호에 따라 각 관절 명 할당 segments String 신체 영역 번호에 따라 각 신체 영역 명 할당 annotations id Number 각 annotations 마다 고유의 ID 할당 image_id Number 해당 annotations와 매칭되는 이미지의 고유 번호 video_id Number 해당 annotations와 매칭되는 비디오의 고유 번호 actor_id Number 해당 annotations와 매칭되는 배우의 고유 번호 type_id Number 해당 annotations와 매칭되는 데이터 종류 번호 bbox Number 바운딩 박스 영역의 Left-Top 위치 및 가로, 세로 크기 area Number 바운딩 박스 영역 크기 num_keypoints Number 해당 영상에서 마킹된 관절 수 keypoints Number 관절 번호 순서대로 (x, y, visible)값으로 위치를 표현한다.
visible은 0,1,2를 가질 수 있으며,
0은 마킹되지 않은 관절을 의미하고
1은 마킹은 되었으나 보이지 않은 관절,
2는 마킹되고 보이는 관절을 의미한다.keypoints3d Number 관절 번호 순서대로 (x, y, z, yaw, pitch, roll)값으로 위치를 표현한다. images id Number 각 이미지마다 고유의 ID 할당 height Number 해당 영상의 세로 길이 width Number 해당 영상의 가로 길이 frame_index Number 해당 영상의 프레임 인덱스 file_name String 해당 영상의 파일 이름 license Number 해당 영상의 라이센스 정보 인덱스 mesh id Number 각 Mesh마다 고유의 ID 할당 obj_file_name String OBJ 파일 이름 image_list Number 해당 Mesh와 매칭되는 이미지 리스트 actor_id Number 해당 Mesh의 배우 ID actors id Number 각 배우마다 고유의 ID 할당 sex String male : 남성 female : 여성 age Number 배우의 나이 height Number 배우의 키 (cm단위) video id Number 각 비디오마다 고유의 ID 할당 frame_rate Number 해당 비디오의 프레임 레이트 width Number 해당 비디오 영상의 가로 길이 height Number 해당 비디오 영상의 세로 길이 camera_id Number 해당 비디오와 매칭되는 카메라 ID parameters 카메라 파라미터 정보 ┗ intrinsic Number 내부 파라미터로 Focal length, Principal point, Radial Distortion,
Tangential Distortion 계수등을 표현한다.┗ extrinsic Number 외부 파라미터로 Rotation, Translation 계수를 표현한다. file_name String 해당 비디오 파일의 이름 date_captured String 해당 비디오 파일이 캡쳐된 날짜 licenses id Number 각 라이센스 정보마다 고유의 ID 할당 name String 라이센스 이름 url String 라이센스 참조 url 정보 info version Number 학습 데이터 버전 description String 학습 데이터 이름 year String 학습 데이터 수집 연도 contributer String 학습 데이터 제공자 url String 학습 데이터 참조 URL date_created String 학습 데이터 생성 날짜
- 2. 어노테이션 파일 구조
어노테이션 포맷 표 데이터 구성 형태 파일명 규칙 경로(폴더명) 포맷 종류 라벨링 데이터 ├Annotations 라벨링
데이터JSON 파일
(action_id)_(actor_id)_(camera_pov)_(camera_type)_
(frame_start)_(frame_end)_(frame_idx).json
ex) 0001_M295M296_B_B_00558_01038_0000005.json
· action_id = 동작별 고유 ID 값
· actor_id = 모델 고유 ID 값
· camera_pov = 카메라 시점(F:Front, B:Back, L:Left, R: Right)
· camera_type = A: 3개 시점, B: 4개 시점
· frame_start/End = 영상 시작 프레임, 끝 프레임
· frame_idx = 추출 이미지 프레임 번호
PLY 파일
(action_id)_(actor_id)_(image_id).ply
ex) 016_M267_205864934.ply├Action[1] ├Camera[1] JSON ├Camera[...] JSON ├Camera[4] JSON └Segmentation PLY ├Action[...] " └Action[134] " 원천 데이터 ├Images JPG 파일
(action_id)_(actor_id)_(camera_pov)_(camera_type)_
(frame_start)_(frame_end)_(frame_idx).jpg
ex) 0001_M295M296_B_B_00558_01038_0000005.jpg
· action_id = 동작별 고유 ID 값
· actor_id = 모델 고유 ID 값
· camera_pov = 카메라 시점(F: Front, B: Back, L: Left, R: Right)
· camera_type = A: 3개 시점, B: 4개 시점
· frame_start/End = 영상 시작 프레임, 끝 프레임
· frame_idx = 추출 이미지 프레임 번호├Action[1] ├Camera[1] JPG ├Camera[...] JPG ├Camera[4] JPG ├Action[...] " └Action[134] " └Mesh OBJ 파일
(action_id)_(actor_id)_(image_id).obj
ex) 001_M255_0135465.obj
텍스처 파일
(action_id)_(actor_id)_(image_id).jpg
ex) 001_M255_0135465.jpg├Action[1] OBJ,
JPG├Action[...] " └Action[134] "
-
데이터셋 구축 담당자
수행기관(주관) : KT
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 천왕성 02-2057-1015 aidata.kt@gmail.com · 사업 관리 · 데이터 수집·가공·활용 시나리오 설계 · 학습 모델 프로토타입 개발 · 학습 데이터 활용 및 시범 서비스 개발 · 데이터구축 총괄 수행기관(참여)
수행기관(참여) 기관명 담당업무 홍익대학교 · 사업 관리
· 3D 모델에 대한 데이터 정제 작업
· 데이터 수집 장소 관리이오이스 · 사업 관리
· 3D 모델에 대한 데이터 정제 작업
· 데이터 수집 장소 관리에이모 · 데이터 가공
· 데이터 검수
· 데이터 가공 및 검수를 위한 크라우드 소싱 관리
· 데이터 저작 도구 개발
· 데이터 셋 관리 및 업로드 수행데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 소영준(KT) 02-2057-1015 aidata.kt@gmail.com
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.