신체 말단 움직임 영상

신체 말단 움직임 영상

데이터셋명 신체 말단 움직임 영상
데이터 분야 비전 데이터 유형 비디오
구축기관 KT 데이터 관련 문의처 담당자명 소영준(KT)
가공기관 케이티, 에이모, 이오이스, 에프엑스기어, 홍익대학교 전화번호 -
검수기관 에이모 이메일 aidata.kt@gmail.com
구축 데이터량 15만 구축년도 2020년
버전 1.1 최종수정일자 2021.08.30
소개 3D hand pose와 lip reading을 추정하는 AI개발을 위한 신체말단(손, 입술) 영상 데이터
주요 키워드 손 동작, 입술 움직임, 한국형 신체 말단 움직임 데이터셋
저작권 및 이용정책 본 데이터는 과학기술정보통신부가 주관하고 한국지능정보사회진흥원이 지원하는 '인공지능 학습용 데이터 구축사업'으로 구축된 데이터입니다. [데이터 이용정책 상세보기]
데이터설명서 자료보기 구축활용가이드 자료보기
샘플데이터 다운로드 교육활용동영상 영상보기
저작도구 다운로드 AI모델
데이터 변경이력
버전 일자 변경내용 비고
1.1 2021.08.30 데이터 품질 보완  
1.0 2021.06.30 데이터 최초 개방  
구축목적
  • 다양한 동작의 신체 말단(손, 입술) 움직임 데이터로부터 손 자세 및 발화단어를 도출해낼 수 있도록 인공지능을 훈련하기 위한 데이터셋
활용 분야
  • 손의 움직임을 이용하는 커뮤니케이션 서비스 및 UI
  • 시각장애인을 위한 독순술 및 입술 형태로 추정 가능한 커뮤니케이 션 서비스 및 UI
소개
  • 본 과제는 손과 입술의 신체 말단의 움직임 영상에 대한 데이터 셋을 구축 하여 손 제스처, 정교한 악기 연주 모션, 독순술 등 VR, AR,MR 등 기반 산업, 3D 엔터테인먼트 산업, 재활 치료 및 질병 예방 등의 의료분야, 장애 인 복지 사업 등에서 활용할 수 있도록 하는 것을 목적으로 함  
구축 내용 및 제공 데이터량
  • 손 데이터
    1. - 다양한 성별과 나이로 구성된 209명의 배우로부터 72개의 동작 데이터를 직접 촬영 방식으로 획득
    2. - 2D 영상 50만 장, 3D 모델 10만 개, 3D 손 자세 10만 개, 손 영역 50만 개로 구성되어 있음

       

      데이터 종류 2D 영상 3D 모델 3D 손 자세 손 영역
      분량 500,000장 100,000개 100,000개 500,000개
      데이터 구성 Full-HD 영상,카메라파라미터 30K 이상 polygon 21개 관절 위치 6영역 depth 영상 분할
      데이터 포맷 jpg obj 파일 포맷 json 파일 포맷 json 파일 포맷
  • 입술데이터
    1. - 다양한 성별과 나이로 구성된 200명의 배우로부터 1,000개의 단어 발화 영상에 대한 입술 움직임 데이터를 직접 촬영 방식으로 획득
    2. - 2D 영상 50만 장, 3D 모델 10만 개, 2D 입술 키포인트 50만 개로 구성되어 있음

       

      데이터 종류 2D 영상 2D 입술 데이터 3D 모델
      분량 500,000개 500,000개 100,000개
      데이터 구성 Full-HD 영상,
      카메라 파라미터
      24개
      입술 특징 위치 (x, y)
      3K 이상
      Polygon
      데이터 포맷 mp4 파일 포맷 json 파일 포맷 obj 파일 포맷
대표도면

신체말단영상 그림 대표도면 예시이미지

필요성
  • 사람 동작을 이용한 커뮤니케이션 시 표정과 함께 가장 많이 사용되는 신체 부분이 손이므로 손과 입을 이용한 제스처 데이터셋 확보는 우리나라 AI 기술 연구 및 산업 확장에 큰 부분을 이바지할 것으로 예상함
  • 신체 말단을 이용한 제스처 데이터는 주로 외국인을 대상으로 수집 및 공개가 된 경우가 많기에, 한국인을 대상으로 데이터를 수집하고, 우리나라 환경에 맞춰 구조를 설계하는 일련의 과정에 대한 노력이 필요함
  • 독순술 및 수어 등 관련 데이터 셋을 확보하여 인공지능 기술과 결합한 연구개발 인프라를 구축하고, 연구·개발한 결과를 적용한 기술 및 서비스를 사회적 약자인 장애인들에게 보급하는 사회보장 정책이 필요함
데이터 구조
  • 데이터 구성
    1. 1. 손 데이터
      데이터 구성(손 데이터)테이블
      데이터 구성 형태 파일명 규칙
      경로(폴더명) 포멧 데이터
      종류
      라벨링 데이터      
      ┣Annotations   라벨링
      데이터
      ■ JSON 파일
          (word_id)_(actor_id)_(camera_id)_(frame_idx).json
          ● word_id = 동작별 고유 ID 값
          ● actor_id = 모델 고유 ID 값
          ● camera_id = 카메라 ID(C:center, D:down, L:left, R:right, U:up)
          ● frame_idx = 추출 이미지 프레임 번호
        ┣Word[n]_Actor[k]  
          ┣Camera[1~5]  
            ┗Keypoint json
      원천데이터      
      ┣Images   이미지 ■ JPG 파일     (word_id)_(actor_id)_(camera_id)_(frame_idx).jpg
          ● word_id = 동작별 고유 ID 값
          ● actor_id = 모델 고유 ID 값
          ● camera_id = 카메라 ID(C:center, D:down, L:left, R:right, U:up)
          ● frame_idx = 추출 이미지 프레임 번호
        ┣Word[n]_Actor[k]  
          ┗Camera[1~5] JPG
      ┗Mesh   메쉬 ■ OBJ 파일     (word_id)_(actor_id)_(image_id).obj
          ● ex) 001_M255_0135465.obj
      ■ 텍스쳐 파일
          (word_id)_(actor_id)_(image_id).jpg
          ● ex) 001_M255_0135465.jpg
        ┗Action[n]_Actor[k] obj,
      jpg
    2. 2. 입술
      데이터 구성 형태 파일명 규칙
      경로(폴더명) 포멧 데이터
      종류
      라벨링 데이터      
      ┣Annotations   라벨링
      데이터
      ■ JSON 파일(Keypoint)     (action_id)_(actor_id)_(camera_id)_(hand_type)_(frame_idx).json
          ● action_id = 동작별 고유 ID 값
          ● actor_id = 모델 고유 ID 값
          ● camera_id = 카메라 ID
          ● hand_type = 오른손 or 왼손 or 양손
          ● frame_idx = 추출 이미지 프레임 번호

      ■ JSON 파일(Segmentation)     (action_id)_(actor_id)_(camera_id)_(hand_type)_(seg_id)_(frame_idx).json     ● action_id = 동작별 고유 ID 값     ● actor_id = 모델 고유 ID 값     ● camera_id = 카메라 ID     ● hand_type = 오른손 or 왼손 or 양손     ● seg_id = segmentation ID     ● frame_idx = 추출 이미지 프레임 번호
        ┣Action[n]_Actor[k]  
          ┣Camera[1~8]  
            ┣Keypoint json
            ┣Segmentation[1] json
            ┣Segmentation[2] json
            ┣Segmentation[3] json
            ┣Segmentation[4] json
      원천데이터      
      ┣Images   이미지 ■ JPG 파일     (action_id)_(actor_id)_(camera_id)_(hand)_(frame_idx).jpg
          ● action_id = 동작별 고유 ID 값
          ● actor_id = 모델 고유 ID 값
          ● camera_id = 카메라 ID
          ● hand = 오른손 or 왼손 or 양손
          ● frame_idx = 추출 이미지 프레임 번호
        ┣Action[n]_Actor[k]  
          ┗Camera[1~8]  
          메쉬 ■ OBJ 파일     (action_id)_(actor_id)_(image_id).obj
          ● ex) 001_M255_0135465.obj

      ■ 텍스쳐 파일
          (action_id)_(actor_id)_(image_id).jpg
          ● ex) 001_M255_0135465.jpg
  • 어노테이션 포맷
    1. 1. 손
                                     
      어노테이션 포맷
      No 항목 내용 타입 필수 여부
      1 categories 카테고리 List Y
        1 type 데이터 종류 String Y
        2 type_id 데이터 종류 ID Number Y
        3 skeleton 관절 정의 List Y
        4 keypoints 키포인트 정의 List Y
        5 segments Segmentation 정의 List Y
      2 licenses 라이선스 List Y
        1 id 라이선스 ID Number Y
        2 name 라이선스 이름 String Y
        3 url 라이선스 URL String Y
      3 info 데이터 정보 List Y
        1 version 데이터 버전 String Y
        2 description 데이터 설명 String Y
        3 contributor 데이터 제작자 String Y
        4 url 데이터 제공 주소 String Y
        5 date_created 데이터 생성 날짜 String Y
      4 annotations 어노테이션 정보 List Y
        1 id 어노테이션 ID Number Y
        2 image_id 이미지 ID Number Y
        3 video_id 비디오 ID Number Y
        4 actor_id 배우 ID String Y
        5 action_id 행동 ID Number Y
        6 is_both_hands 양손 유무 Number Y
        7 is_right_hand 오른손 유무 Number Y
        8 num_keypoints 키포인트 개수 Number Y
        9 left_hand 왼손 정보 List N
        9-1 2D keypoints 2D 키포인트 List N
        9-2 3D keypoints 3D 키포인트 List N
        9-3 segmentation 세그멘테이션 정보 List N
        10 right_hand 오른손 정보 List N
        10-1 2D keypoints 2D 키포인트 List N
        10-2 3D keypoints 3D 키포인트 List N
        10-3 segmentation 세그멘테이션 정보 List N
      5 videos 비디오 정보 List Y
        1 id 비디오 ID Number Y
        2 frame_rate 프레임 레이트 Number Y
        3 width 비디오 너비 Number Y
        4 height 비디오 높이 Number Y
        5 camera_id 카메라 ID Number Y
        6 parameters 카메라 파라미터 List Y
        6-1 intrinsic 내부 파라미터 List Y
        6-2 extrinsic 외부 파라미터 List Y
        7 file_name 비디오 파일 이름 String Y
      6 images 이미지 정보 List Y
        1 id 이미지 ID Number Y
        2 file_name 이미지 파일 이름 String Y
        3 width 이미지 너비 Number Y
        4 height 이미지 높이 Number Y
        5 frame_index 프레임 번호 Number Y
      7 actors 배우 정보 List Y
        1 id 배우 ID String Y
        2 sex 배우 성별 String Y
        3 age 배우 나이 Number Y
      8 meshs 메쉬 정보 List N
        1 id 메쉬 ID Number N
        2 texture_file_name 텍스처 파일 이름 String N
        3 obj_file_name 메쉬 파일 이름 String N
    2. 2. 입술
                                                     
      데이터구조 어노테이션 포맷 입술 데이터 테이블
      No 항목 내용 타입 필수 여부
      1 categories 카테고리 List Y
        1 type 데이터 종류 String Y
        2 type_id 데이터 정류 ID Number Y
        3 keypoints 키포인트 정의 List Y
        4 segments Segmentation 정의 List Y
      2 licenses 라이선스 List Y
        1 id 라이선스 ID Number Y
        2 name 라이선스 이름 String Y
        3 url 라이선스 URL String Y
      3 info 데이터 정보 List Y
        1 version 데이터 버전 String Y
        2 description 데이터 설명 String Y
        3 contributor 데이터 제작자 String Y
        4 url 데이터 제공 주소 String Y
        5 date_created 데이터 생성 날짜 String Y
      4 annotations 어노테이션 정보 List Y
        1 id 어노테이션 ID Number Y
        2 image_name 이미지 파일 이름 String Y
        3 image_id 이미지 ID Number Y
        4 video_id 비디오 ID Number Y
        5 bbox 바운딩 박스 List Y
        6 segmentation 세그멘테이션 List Y
        7 area 세그멘테이션 넓이 List Y
        8 actor_id 배우 ID String Y
        9 word 단어 String Y
        10 word_id 단어 ID Number Y
        11 num_keypoints 키포인트 개수 Number Y
        12 2D keypoints 2D 키포인트 List Y
      5 videos 비디오 정보 List Y
        1 id 비디오 ID Number Y
        2 frame_rate 프레임 레이트 Number Y
        3 width 비디오 너비 Number Y
        4 height 비디오 높이 Number Y
        5 camera_id 카메라 ID Number Y
        6 parameters 카메라 파라미터 List Y
        6-1 intrinsic 내부 파라미터 List Y
        6-2 extrinsic 외부 파라미터 List Y
        7 file_name 비디오 파일 이름 String Y
        8 date_captured 데이터 촬영 날짜 String Y
      6 images 이미지 정보 List Y
        1 id 이미지 ID Number Y
        2 file_name 이미지 파일 이름 String Y
        3 width 이미지 너비 Number Y
        4 height 이미지 높이 Number Y
        5 frame_index 프레임 번호 Number Y
      7 meshs 메쉬 정보 List N
        1 id 메쉬 ID Number N
        2 texture_file_name 텍스처 파일 이름 String N
        3 obj_file_name 메쉬 파일 이름 String N
      8 actor 배우 정보 List Y
        1 id 배우 ID String Y
        2 sex 배우 성별 String Y
        3 age 배우 나이 Number Y
데이터셋 구축 담당자
수행기관(주관) : KT

 

수행기관(주관)
책임자 실무담당자 연락처(대표전화) 대표 이메일 담당업무
천왕성 김이길 - aidata.kt@gmail.com · 과제 관리
· 데이터 수집, 가공, 활용 시나리오 설계
· AI 모델 프로토타입 개발
수행기관(참여)

 

수행기관(참여)
기관명 책임자 연락처 이메일 담당업무
이오이스 김제형 010-5319-1905 polepole@ioys.co.kr · 원천데이터 촬영 및 정제
에이모 최민우 010-9139-7019 matthew@aimmo.co.kr · 데이터셋 구축
· 어노테이션 저작도구 제작
에프엑스기어 나경건 010-9139-7019 matthew@aimmo.co.kr · AI 모델을 활용한 응용서비스 개발 (손 동작 리타겟팅, 독순술 서비스)