신체 말단 움직임 영상 소개
기본탭
데이터셋명 | 신체 말단 움직임 영상 | |||
---|---|---|---|---|
데이터 분야 | 비전 | 데이터 유형 | 비디오 | |
구축기관 | KT | 데이터 관련 문의처 | 담당자명 | 소영준(KT) |
가공기관 | 케이티, 에이모, 이오이스, 에프엑스기어, 홍익대학교 | 전화번호 | 02-2057-1015 | |
검수기관 | 에이모 | 이메일 | aidata.kt@gmail.com | |
구축 데이터량 | 15만 | 구축년도 | 2020년 | |
버전 | 1.1 | 최종수정일자 | 2021.08.30 | |
소개 | 3D hand pose와 lip reading을 추정하는 AI개발을 위한 신체말단(손, 입술) 영상 데이터 | |||
주요 키워드 | 손 동작, 입술 움직임, 한국형 신체 말단 움직임 데이터셋 | |||
저작권 및 이용정책 | 본 데이터는 과학기술정보통신부가 주관하고 한국지능정보사회진흥원이 지원하는 '인공지능 학습용 데이터 구축사업'으로 구축된 데이터입니다. [데이터 이용정책 상세보기] | |||
데이터설명서 | 자료보기 | 구축활용가이드 | 자료보기 | |
샘플데이터 | 다운로드 | 교육활용동영상 | 영상보기 | |
저작도구 | 다운로드 | AI모델 | 다운로드 |
데이터 변경이력
버전 | 일자 | 변경내용 | 비고 |
---|---|---|---|
1.2 | 2021.12.01 | 데이터 추가 개방 | |
1.1 | 2021.08.30 | 데이터 품질 보완 | |
1.0 | 2021.06.30 | 데이터 최초 개방 |
구축목적
- 다양한 동작의 신체 말단(손, 입술) 움직임 데이터로부터 손 자세 및 발화단어를 도출해낼 수 있도록 인공지능을 훈련하기 위한 데이터셋
활용 분야
- 손의 움직임을 이용하는 커뮤니케이션 서비스 및 UI
- 시각장애인을 위한 독순술 및 입술 형태로 추정 가능한 커뮤니케이 션 서비스 및 UI
소개
- 본 과제는 손과 입술의 신체 말단의 움직임 영상에 대한 데이터 셋을 구축 하여 손 제스처, 정교한 악기 연주 모션, 독순술 등 VR, AR,MR 등 기반 산업, 3D 엔터테인먼트 산업, 재활 치료 및 질병 예방 등의 의료분야, 장애 인 복지 사업 등에서 활용할 수 있도록 하는 것을 목적으로 함
구축 내용 및 제공 데이터량
- 손 데이터
- - 다양한 성별과 나이로 구성된 209명의 배우로부터 72개의 동작 데이터를 직접 촬영 방식으로 획득
- - 2D 영상 50만 장, 3D 모델 10만 개, 3D 손 자세 10만 개, 손 영역 50만 개로 구성되어 있음
신체 말단 움직임 영상-구축내용표-1 데이터 종류 2D 영상 3D 모델 3D 손 자세 손 영역 분량 500,000장 100,000개 100,000개 500,000개 데이터 구성 Full-HD 영상,카메라파라미터 30K 이상 polygon 21개 관절 위치 6영역 depth 영상 분할 데이터 포맷 jpg obj 파일 포맷 json 파일 포맷 json 파일 포맷
- 입술데이터
- - 다양한 성별과 나이로 구성된 200명의 배우로부터 1,000개의 단어 발화 영상에 대한 입술 움직임 데이터를 직접 촬영 방식으로 획득
- - 2D 영상 50만 장, 3D 모델 10만 개, 2D 입술 키포인트 50만 개로 구성되어 있음
신체 말단 움직임 영상-구축내용표-2 데이터 종류 2D 영상 2D 입술 데이터 3D 모델 분량 500,000개 500,000개 100,000개 데이터 구성 Full-HD 영상,
카메라 파라미터24개
입술 특징 위치 (x, y)3K 이상
Polygon데이터 포맷 mp4 파일 포맷 json 파일 포맷 obj 파일 포맷
대표도면
필요성
- 사람 동작을 이용한 커뮤니케이션 시 표정과 함께 가장 많이 사용되는 신체 부분이 손이므로 손과 입을 이용한 제스처 데이터셋 확보는 우리나라 AI 기술 연구 및 산업 확장에 큰 부분을 이바지할 것으로 예상함
- 신체 말단을 이용한 제스처 데이터는 주로 외국인을 대상으로 수집 및 공개가 된 경우가 많기에, 한국인을 대상으로 데이터를 수집하고, 우리나라 환경에 맞춰 구조를 설계하는 일련의 과정에 대한 노력이 필요함
- 독순술 및 수어 등 관련 데이터 셋을 확보하여 인공지능 기술과 결합한 연구개발 인프라를 구축하고, 연구·개발한 결과를 적용한 기술 및 서비스를 사회적 약자인 장애인들에게 보급하는 사회보장 정책이 필요함
데이터 구조
- 데이터 구성
- 1. 손 데이터
신체 말단 움직임 영상-데이터구조표-1 데이터 구성 형태 파일명 규칙 경로(폴더명) 포멧 데이터
종류라벨링 데이터 ┣Annotations 라벨링
데이터■ JSON 파일(Keypoint) (action_id)_(actor_id)_(camera_id)_(hand_type)_(frame_idx).json
⋅ action_id = 동작별 고유 ID 값
⋅ actor_id = 모델 고유 ID 값
⋅ camera_id = 카메라 ID
⋅ hand_type = 오른손 or 왼손 or 양손
⋅ frame_idx = 추출 이미지 프레임 번호
■ JSON 파일(Segmentation) (action_id)_(actor_id)_(camera_id)_(hand_type)_(seg_id)_(frame_idx).json ⋅ action_id = 동작별 고유 ID 값 ⋅ actor_id = 모델 고유 ID 값 ⋅ camera_id = 카메라 ID ⋅ hand_type = 오른손 or 왼손 or 양손 ⋅ seg_id = segmentation ID ⋅ frame_idx = 추출 이미지 프레임 번호┣Action[n]_Actor[k] ┣Camera[1~8] ┣Keypoint json ┣Segmentation[1] json ┣Segmentation[2] json ┣Segmentation[3] json ┣Segmentation[4] json 원천데이터 ┣Images 이미지 ■ JPG 파일 (action_id)_(actor_id)_(camera_id)_(hand)_(frame_idx).jpg
⋅ action_id = 동작별 고유 ID 값
⋅ actor_id = 모델 고유 ID 값
⋅ camera_id = 카메라 ID
⋅ hand = 오른손 or 왼손 or 양손
⋅ frame_idx = 추출 이미지 프레임 번호┣Action[n]_Actor[k] ┗Camera[1~8] ┗Mesh 메쉬 ■ OBJ 파일 (action_id)_(actor_id)_(image_id).obj
⋅ ex) 001_M255_0135465.obj
■ 텍스쳐 파일
(action_id)_(actor_id)_(image_id).jpg
⋅ ex) 001_M255_0135465.jpg┗Action[n]_Actor[k] obj,
jpg - 2. 입술
신체 말단 움직임 영상-데이터구조표-2 데이터 구성 형태 파일명 규칙 경로(폴더명) 포멧 데이터
종류라벨링 데이터 ┣Annotations 라벨링
데이터■ JSON 파일
(word_id)_(actor_id)_(camera_id)_(frame_idx).json
⋅ word_id = 동작별 고유 ID 값
⋅ actor_id = 모델 고유 ID 값
⋅ camera_id = 카메라 ID(C:center, D:down, L:left, R:right, U:up)
⋅ frame_idx = 추출 이미지 프레임 번호┣Word[n]_Actor[k] ┣Camera[1~5] ┗Keypoint json 원천데이터 ┣Images 이미지 ■ JPG 파일 (word_id)_(actor_id)_(camera_id)_(frame_idx).jpg
⋅ word_id = 동작별 고유 ID 값
⋅ actor_id = 모델 고유 ID 값
⋅ camera_id = 카메라 ID(C:center, D:down, L:left, R:right, U:up)
⋅ frame_idx = 추출 이미지 프레임 번호┣Word[n]_Actor[k] ┗Camera[1~5] JPG ┗Mesh 메쉬 ■ OBJ 파일 (word_id)_(actor_id)_(image_id).obj
⋅ ex) 001_M255_0135465.obj
■ 텍스쳐 파일
(word_id)_(actor_id)_(image_id).jpg
⋅ ex) 001_M255_0135465.jpg┗Action[n]_Actor[k] obj,
jpg
- 1. 손 데이터
- 어노테이션 포맷
- 1. 손
어노테이션 포맷 No 항목 내용 타입 필수 여부 1 categories 카테고리 List Y 1 type 데이터 종류 String Y 2 type_id 데이터 종류 ID Number Y 3 skeleton 관절 정의 List Y 4 keypoints 키포인트 정의 List Y 5 segments Segmentation 정의 List Y 2 licenses 라이선스 List Y 1 id 라이선스 ID Number Y 2 name 라이선스 이름 String Y 3 url 라이선스 URL String Y 3 info 데이터 정보 List Y 1 version 데이터 버전 String Y 2 description 데이터 설명 String Y 3 contributor 데이터 제작자 String Y 4 url 데이터 제공 주소 String Y 5 date_created 데이터 생성 날짜 String Y 4 annotations 어노테이션 정보 List Y 1 id 어노테이션 ID Number Y 2 image_id 이미지 ID Number Y 3 video_id 비디오 ID Number Y 4 actor_id 배우 ID String Y 5 action_id 행동 ID Number Y 6 is_both_hands 양손 유무 Number Y 7 is_right_hand 오른손 유무 Number Y 8 num_keypoints 키포인트 개수 Number Y 9 left_hand 왼손 정보 List N 9-1 2D keypoints 2D 키포인트 List N 9-2 3D keypoints 3D 키포인트 List N 9-3 segmentation 세그멘테이션 정보 List N 10 right_hand 오른손 정보 List N 10-1 2D keypoints 2D 키포인트 List N 10-2 3D keypoints 3D 키포인트 List N 10-3 segmentation 세그멘테이션 정보 List N 5 videos 비디오 정보 List Y 1 id 비디오 ID Number Y 2 frame_rate 프레임 레이트 Number Y 3 width 비디오 너비 Number Y 4 height 비디오 높이 Number Y 5 camera_id 카메라 ID Number Y 6 parameters 카메라 파라미터 List Y 6-1 intrinsic 내부 파라미터 List Y 6-2 extrinsic 외부 파라미터 List Y 7 file_name 비디오 파일 이름 String Y 6 images 이미지 정보 List Y 1 id 이미지 ID Number Y 2 file_name 이미지 파일 이름 String Y 3 width 이미지 너비 Number Y 4 height 이미지 높이 Number Y 5 frame_index 프레임 번호 Number Y 7 actors 배우 정보 List Y 1 id 배우 ID String Y 2 sex 배우 성별 String Y 3 age 배우 나이 Number Y 8 meshs 메쉬 정보 List N 1 id 메쉬 ID Number N 2 texture_file_name 텍스처 파일 이름 String N 3 obj_file_name 메쉬 파일 이름 String N - 2. 입술
데이터구조 어노테이션 포맷 입술 데이터 테이블 No 항목 내용 타입 필수 여부 1 categories 카테고리 List Y 1 type 데이터 종류 String Y 2 type_id 데이터 정류 ID Number Y 3 keypoints 키포인트 정의 List Y 4 segments Segmentation 정의 List Y 2 licenses 라이선스 List Y 1 id 라이선스 ID Number Y 2 name 라이선스 이름 String Y 3 url 라이선스 URL String Y 3 info 데이터 정보 List Y 1 version 데이터 버전 String Y 2 description 데이터 설명 String Y 3 contributor 데이터 제작자 String Y 4 url 데이터 제공 주소 String Y 5 date_created 데이터 생성 날짜 String Y 4 annotations 어노테이션 정보 List Y 1 id 어노테이션 ID Number Y 2 image_name 이미지 파일 이름 String Y 3 image_id 이미지 ID Number Y 4 video_id 비디오 ID Number Y 5 bbox 바운딩 박스 List Y 6 segmentation 세그멘테이션 List Y 7 area 세그멘테이션 넓이 List Y 8 actor_id 배우 ID String Y 9 word 단어 String Y 10 word_id 단어 ID Number Y 11 num_keypoints 키포인트 개수 Number Y 12 2D keypoints 2D 키포인트 List Y 5 videos 비디오 정보 List Y 1 id 비디오 ID Number Y 2 frame_rate 프레임 레이트 Number Y 3 width 비디오 너비 Number Y 4 height 비디오 높이 Number Y 5 camera_id 카메라 ID Number Y 6 parameters 카메라 파라미터 List Y 6-1 intrinsic 내부 파라미터 List Y 6-2 extrinsic 외부 파라미터 List Y 7 file_name 비디오 파일 이름 String Y 8 date_captured 데이터 촬영 날짜 String Y 6 images 이미지 정보 List Y 1 id 이미지 ID Number Y 2 file_name 이미지 파일 이름 String Y 3 width 이미지 너비 Number Y 4 height 이미지 높이 Number Y 5 frame_index 프레임 번호 Number Y 7 meshs 메쉬 정보 List N 1 id 메쉬 ID Number N 2 texture_file_name 텍스처 파일 이름 String N 3 obj_file_name 메쉬 파일 이름 String N 8 actor 배우 정보 List Y 1 id 배우 ID String Y 2 sex 배우 성별 String Y 3 age 배우 나이 Number Y
- 1. 손
데이터셋 구축 담당자
수행기관(주관) : KT
책임자 | 실무담당자 | 연락처(대표전화) | 대표 이메일 | 담당업무 |
---|---|---|---|---|
천왕성 | 소영준 | 02-2057-1015 | aidata.kt@gmail.com | · 과제 관리 · 데이터 수집, 가공, 활용 시나리오 설계 · AI 모델 프로토타입 개발 |
수행기관(참여)
기관명 | 담당업무 | 기관명 | 담당업무 |
---|---|---|---|
이오이스 | · 원천 데이터 촬영 및 정제 | 에프엑스기어 | · AI 모델을 활용한 응용 서비스 개발 (손 동작 리타겟팅, 독순술 서비스) |
에이모 | · 데이터셋 구축 · 어노테이션 저작도구 제작 |
홍익대학교 | ·데이터 가공 |