• 다양한 동작의 신체 말단(손, 입술) 움직임 데이터로부터 손 자세 및 발화단어를 도출해낼 수 있도록 인공지능을 훈련하기 위한 데이터셋

• 손의 움직임을 이용하는 커뮤니케이션 서비스 및 UI
• 시각장애인을 위한 독순술 및 입술 형태로 추정 가능한 커뮤니케이 션 서비스 및 UI

• 본 과제는 손과 입술의 신체 말단의 움직임 영상에 대한 데이터 셋을 구축 하여 손 제스처, 정교한 악기 연주 모션, 독순술 등 VR, AR,MR 등 기반 산업, 3D 엔터테인먼트 산업, 재활 치료 및 질병 예방 등의 의료분야, 장애 인 복지 사업 등에서 활용할 수 있도록 하는 것을 목적으로 함  

• 손 데이터
  1. - 다양한 성별과 나이로 구성된 209명의 배우로부터 72개의 동작 데이터를 직접 촬영 방식으로 획득
  2. - 2D 영상 50만 장, 3D 모델 10만 개, 3D 손 자세 10만 개, 손 영역 50만 개로 구성되어 있음

      

     데이터 종류	2D 영상	3D 모델	3D 손 자세	손 영역
     분량	500,000장	100,000개	100,000개	500,000개
     데이터 구성	Full-HD 영상,카메라파라미터	30K 이상 polygon	21개 관절 위치	6영역 depth 영상 분할
     데이터 포맷	jpg	obj 파일 포맷	json 파일 포맷	json 파일 포맷

• 입술데이터
  1. - 다양한 성별과 나이로 구성된 200명의 배우로부터 1,000개의 단어 발화 영상에 대한 입술 움직임 데이터를 직접 촬영 방식으로 획득
  2. - 2D 영상 50만 장, 3D 모델 10만 개, 2D 입술 키포인트 50만 개로 구성되어 있음

      

     데이터 종류	2D 영상	2D 입술 데이터	3D 모델
     분량	500,000개	500,000개	100,000개
     데이터 구성	Full-HD 영상, 카메라 파라미터	24개 입술 특징 위치 (x, y)	3K 이상 Polygon
     데이터 포맷	mp4 파일 포맷	json 파일 포맷	obj 파일 포맷

• 사람 동작을 이용한 커뮤니케이션 시 표정과 함께 가장 많이 사용되는 신체 부분이 손이므로 손과 입을 이용한 제스처 데이터셋 확보는 우리나라 AI 기술 연구 및 산업 확장에 큰 부분을 이바지할 것으로 예상함
• 신체 말단을 이용한 제스처 데이터는 주로 외국인을 대상으로 수집 및 공개가 된 경우가 많기에, 한국인을 대상으로 데이터를 수집하고, 우리나라 환경에 맞춰 구조를 설계하는 일련의 과정에 대한 노력이 필요함
• 독순술 및 수어 등 관련 데이터 셋을 확보하여 인공지능 기술과 결합한 연구개발 인프라를 구축하고, 연구·개발한 결과를 적용한 기술 및 서비스를 사회적 약자인 장애인들에게 보급하는 사회보장 정책이 필요함

• 데이터 구성
  1. 1. 손 데이터

     데이터 구성(손 데이터)테이블

     데이터 구성 형태			파일명 규칙
     경로(폴더명)	포멧	데이터 종류
     라벨링 데이터
     ┣Annotations		라벨링 데이터	■ JSON 파일     (word_id)_(actor_id)_(camera_id)_(frame_idx).json     ● word_id = 동작별 고유 ID 값     ● actor_id = 모델 고유 ID 값     ● camera_id = 카메라 ID(C:center, D:down, L:left, R:right, U:up)     ● frame_idx = 추출 이미지 프레임 번호
     ┣Word[n]_Actor[k]
     ┣Camera[1~5]
     ┗Keypoint	json
     원천데이터
     ┣Images		이미지	■ JPG 파일     (word_id)_(actor_id)_(camera_id)_(frame_idx).jpg     ● word_id = 동작별 고유 ID 값     ● actor_id = 모델 고유 ID 값     ● camera_id = 카메라 ID(C:center, D:down, L:left, R:right, U:up)     ● frame_idx = 추출 이미지 프레임 번호
     ┣Word[n]_Actor[k]
     ┗Camera[1~5]	JPG
     ┗Mesh		메쉬	■ OBJ 파일     (word_id)_(actor_id)_(image_id).obj     ● ex) 001_M255_0135465.obj ■ 텍스쳐 파일     (word_id)_(actor_id)_(image_id).jpg     ● ex) 001_M255_0135465.jpg
     ┗Action[n]_Actor[k]	obj, jpg

  2. 2. 입술

     데이터 구성 형태			파일명 규칙
     경로(폴더명)	포멧	데이터 종류
     라벨링 데이터
     ┣Annotations		라벨링 데이터	■ JSON 파일(Keypoint)     (action_id)_(actor_id)_(camera_id)_(hand_type)_(frame_idx).json     ● action_id = 동작별 고유 ID 값     ● actor_id = 모델 고유 ID 값     ● camera_id = 카메라 ID     ● hand_type = 오른손 or 왼손 or 양손     ● frame_idx = 추출 이미지 프레임 번호 ■ JSON 파일(Segmentation)     (action_id)_(actor_id)_(camera_id)_(hand_type)_(seg_id)_(frame_idx).json     ● action_id = 동작별 고유 ID 값     ● actor_id = 모델 고유 ID 값     ● camera_id = 카메라 ID     ● hand_type = 오른손 or 왼손 or 양손     ● seg_id = segmentation ID     ● frame_idx = 추출 이미지 프레임 번호
     ┣Action[n]_Actor[k]
     ┣Camera[1~8]
     ┣Keypoint	json
     ┣Segmentation[1]	json
     ┣Segmentation[2]	json
     ┣Segmentation[3]	json
     ┣Segmentation[4]	json
     원천데이터
     ┣Images		이미지	■ JPG 파일     (action_id)_(actor_id)_(camera_id)_(hand)_(frame_idx).jpg     ● action_id = 동작별 고유 ID 값     ● actor_id = 모델 고유 ID 값     ● camera_id = 카메라 ID     ● hand = 오른손 or 왼손 or 양손     ● frame_idx = 추출 이미지 프레임 번호
     ┣Action[n]_Actor[k]
     ┗Camera[1~8]
     		메쉬	■ OBJ 파일     (action_id)_(actor_id)_(image_id).obj     ● ex) 001_M255_0135465.obj ■ 텍스쳐 파일     (action_id)_(actor_id)_(image_id).jpg     ● ex) 001_M255_0135465.jpg

• 어노테이션 포맷
  1. 1. 손
     　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　

     어노테이션 포맷

     No		항목	내용	타입	필수 여부
     1		categories	카테고리	List	Y
     	1	type	데이터 종류	String	Y
     	2	type_id	데이터 종류 ID	Number	Y
     	3	skeleton	관절 정의	List	Y
     	4	keypoints	키포인트 정의	List	Y
     	5	segments	Segmentation 정의	List	Y
     2		licenses	라이선스	List	Y
     	1	id	라이선스 ID	Number	Y
     	2	name	라이선스 이름	String	Y
     	3	url	라이선스 URL	String	Y
     3		info	데이터 정보	List	Y
     	1	version	데이터 버전	String	Y
     	2	description	데이터 설명	String	Y
     	3	contributor	데이터 제작자	String	Y
     	4	url	데이터 제공 주소	String	Y
     	5	date_created	데이터 생성 날짜	String	Y
     4		annotations	어노테이션 정보	List	Y
     	1	id	어노테이션 ID	Number	Y
     	2	image_id	이미지 ID	Number	Y
     	3	video_id	비디오 ID	Number	Y
     	4	actor_id	배우 ID	String	Y
     	5	action_id	행동 ID	Number	Y
     	6	is_both_hands	양손 유무	Number	Y
     	7	is_right_hand	오른손 유무	Number	Y
     	8	num_keypoints	키포인트 개수	Number	Y
     	9	left_hand	왼손 정보	List	N
     	9-1	2D keypoints	2D 키포인트	List	N
     	9-2	3D keypoints	3D 키포인트	List	N
     	9-3	segmentation	세그멘테이션 정보	List	N
     	10	right_hand	오른손 정보	List	N
     	10-1	2D keypoints	2D 키포인트	List	N
     	10-2	3D keypoints	3D 키포인트	List	N
     	10-3	segmentation	세그멘테이션 정보	List	N
     5		videos	비디오 정보	List	Y
     	1	id	비디오 ID	Number	Y
     	2	frame_rate	프레임 레이트	Number	Y
     	3	width	비디오 너비	Number	Y
     	4	height	비디오 높이	Number	Y
     	5	camera_id	카메라 ID	Number	Y
     	6	parameters	카메라 파라미터	List	Y
     	6-1	intrinsic	내부 파라미터	List	Y
     	6-2	extrinsic	외부 파라미터	List	Y
     	7	file_name	비디오 파일 이름	String	Y
     6		images	이미지 정보	List	Y
     	1	id	이미지 ID	Number	Y
     	2	file_name	이미지 파일 이름	String	Y
     	3	width	이미지 너비	Number	Y
     	4	height	이미지 높이	Number	Y
     	5	frame_index	프레임 번호	Number	Y
     7		actors	배우 정보	List	Y
     	1	id	배우 ID	String	Y
     	2	sex	배우 성별	String	Y
     	3	age	배우 나이	Number	Y
     8		meshs	메쉬 정보	List	N
     	1	id	메쉬 ID	Number	N
     	2	texture_file_name	텍스처 파일 이름	String	N
     	3	obj_file_name	메쉬 파일 이름	String	N

  2. 2. 입술
     　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　

     데이터구조 어노테이션 포맷 입술 데이터 테이블

     No		항목	내용	타입	필수 여부
     1		categories	카테고리	List	Y
     	1	type	데이터 종류	String	Y
     	2	type_id	데이터 정류 ID	Number	Y
     	3	keypoints	키포인트 정의	List	Y
     	4	segments	Segmentation 정의	List	Y
     2		licenses	라이선스	List	Y
     	1	id	라이선스 ID	Number	Y
     	2	name	라이선스 이름	String	Y
     	3	url	라이선스 URL	String	Y
     3		info	데이터 정보	List	Y
     	1	version	데이터 버전	String	Y
     	2	description	데이터 설명	String	Y
     	3	contributor	데이터 제작자	String	Y
     	4	url	데이터 제공 주소	String	Y
     	5	date_created	데이터 생성 날짜	String	Y
     4		annotations	어노테이션 정보	List	Y
     	1	id	어노테이션 ID	Number	Y
     	2	image_name	이미지 파일 이름	String	Y
     	3	image_id	이미지 ID	Number	Y
     	4	video_id	비디오 ID	Number	Y
     	5	bbox	바운딩 박스	List	Y
     	6	segmentation	세그멘테이션	List	Y
     	7	area	세그멘테이션 넓이	List	Y
     	8	actor_id	배우 ID	String	Y
     	9	word	단어	String	Y
     	10	word_id	단어 ID	Number	Y
     	11	num_keypoints	키포인트 개수	Number	Y
     	12	2D keypoints	2D 키포인트	List	Y
     5		videos	비디오 정보	List	Y
     	1	id	비디오 ID	Number	Y
     	2	frame_rate	프레임 레이트	Number	Y
     	3	width	비디오 너비	Number	Y
     	4	height	비디오 높이	Number	Y
     	5	camera_id	카메라 ID	Number	Y
     	6	parameters	카메라 파라미터	List	Y
     	6-1	intrinsic	내부 파라미터	List	Y
     	6-2	extrinsic	외부 파라미터	List	Y
     	7	file_name	비디오 파일 이름	String	Y
     	8	date_captured	데이터 촬영 날짜	String	Y
     6		images	이미지 정보	List	Y
     	1	id	이미지 ID	Number	Y
     	2	file_name	이미지 파일 이름	String	Y
     	3	width	이미지 너비	Number	Y
     	4	height	이미지 높이	Number	Y
     	5	frame_index	프레임 번호	Number	Y
     7		meshs	메쉬 정보	List	N
     	1	id	메쉬 ID	Number	N
     	2	texture_file_name	텍스처 파일 이름	String	N
     	3	obj_file_name	메쉬 파일 이름	String	N
     8		actor	배우 정보	List	Y
     	1	id	배우 ID	String	Y
     	2	sex	배우 성별	String	Y
     	3	age	배우 나이	Number	Y

수행기관(주관) : KT

수행기관(참여)