사람 동작 영상(2020)

사람 동작 영상(2020)

데이터셋명 사람 동작 영상(2020)
데이터 분야 비전 데이터 유형 이미지, 3D
구축기관 KT 데이터 관련 문의처 담당자명 천왕성
가공기관 (주)케이티, (주)에이모, (주)이오이스, 홍익대학교 전화번호 070-4145-9560
검수기관 (주)에이모 이메일 aidata.kt@gmail.com
구축 데이터량 200만 구축년도 2020년
버전 1.2 최종수정일자 2021.09.14
소개 2D 인체 영상으로 3D 자세와 형태를 추정하는 AI 개발을 위한 Multi-person 2D-3D 사람동작 영상 데이터
주요 키워드 사람동작, 다인영상, 3D 자세, 3D 형태, 동작 분석 데이터 셋
저작권 및 이용정책 본 데이터는 과학기술정보통신부가 주관하고 한국지능정보사회진흥원이 지원하는 '인공지능 학습용 데이터 구축사업'으로 구축된 데이터입니다. [데이터 이용정책 상세보기]
데이터설명서 자료보기 구축활용가이드 자료보기
샘플데이터 다운로드 교육활용동영상 영상보기
저작도구 다운로드 AI모델 다운로드
데이터 변경이력
버전 일자 변경내용 비고
1.2 2021.09.15 데이터 추가 개방  
1.1 2021.08.30 데이터 품질 보완  
1.0 2021.06.30 데이터 최초 개방  
구축 목적
  • 2명 이상의 사람이 상호작용하는 2D 영상에서 사람의 3D 자세와 3D 형태를 추론하여 응용 애플리케이션을 연구/개발하기위한 2D-3D 인체 동작 영상 인공지능 학습용 데이터 셋을 구축
활용 분야
  • 커머스, 스포츠, VR·AR·MR 등 실감 미디어 서비스에 대한 응용 애플리케이션 개발, 사람동작 영상에 대한 분석 및 활용 연구
소개
  • 한국인 체형에 맞는 데이터를 위해 연령별/성별 다양성을 갖춘 2인 이상 다인의 사람이 다양한 동작을 하는 영상을 직접 촬영하여 데이터를 수집, 활용성을 높이기 위해 3D 모델을 정제, 3D 자세 추론을 위한 2D&3D 키포인트와 3D 형태 추론을 위한 3D 폴리곤 세그먼테이션 자료를 가공하고, 이에 대한 검수를 실시하여 사람 동작 영상 (3D, Multi-person)에 대한 데이터 셋 구축. 데이터 셋의 활용을 위해 설계된 프로토타입 AI 모델과 3D 자세 추정 시범 서비스 공개
     

095 사람동작영상 그림1 0

구축 내용 및 제공 데이터량

 

  • 데이터 구성
    데이터 구성 표
    데이터 종류 2D 영상 3D 모델 3D 인체 자세 3D 인체 표면
    폴리곤 세그먼테이션
    예시 사람동작영상 2D 영상 사람동작영상 3D 모델 사람동작영상 3D 인체 자세 사람동작영상 3D 인체 표면
    데이터 구성 2명 이상의 사람이 포함된
    Full-HD 영상,
    카메라 파라미터
    100K 이상 Polygon 27개 관절 위치 24개 세그먼테이션
    클래스
    데이터 포맷 jpg 파일 포맷 obj 파일 포맷 json 파일 포맷 json 파일 포맷
    데이터 구성 표1
    데이터 종류 데이터 규모
    2D 영상 일반 2D 영상 198만 개 200만 개
    고품질 2D 영상 2만 개
    3D 모델 일반 3D 모델 39만 5000개 40만 개
    고품질 3D 모델 5,000개
    Labeling
    데이터
    3D 인체 자세 40만 개
    3D 인체 표면 폴리곤 세그먼테이션 40만 개
  • 데이터 설계
    ① Subject (촬영 모델) 다양성
    데이터 설계 subject표
    구분 수량 비율
    성별 분포 남성 116 48%
    여성 124 52%
    소 계 240 100%
    연령 분포 ~10대 28 12%
    20대 61 25%
    30대 64 27%
    40대 37 15%
    50대 28 12%
    60대~ 22 9%
    소 계 240 100%

         ② 동작 다양성: 기본 동작, 응용 동작, 도전적 동작 등 크게 3가지 분류에 대해 총 166개 동작에 대해 데이터 수집

대표도면
  • 데이터 수집/정제
    ① 2D 영상
     

095 사람동작영상 그림7

 

② 3D 모델
 

095 사람동작영상 그림6

 

  • 데이터 가공
    ① 2D&3D 키포인트


095 사람동작영상 그림7 0

 

② 3D 폴리곤 세그먼테이션
 

095 사람동작영상 그림8

필요성
  • 사람 동작 관련 3D 데이터 셋의 수집 및 가공은 인공지능 기술을 활용한 연구와 애플리케이션 개발이 세계적으로 가장 활발하게 진행되고 있는 분야 중 하나임
  • 외국에서 만들어진 데이터 셋은 외국인을 모델로 하여 한국인의 체형과 환경에 맞지 않는 문제점이 발생함
  • 한국인의 다양한 신체 체형이 반영된 2D-3D 데이터 셋을 직접 촬영을 통해 수집, 정제, 가공 및 검수를 통해 구축하여 인공지능 관련 연구/개발 산, 학, 연 생태계 활성화
데이터 구조
  • 1. 데이터 구성

     

    데이터 구성 표2
    항 목 세 부 항 목 값 형태 설 명
    categories type String 95번 사람동작영상 데이터 : "Person"
    type_id Number "Lip" : 0, "Hand" : 1, "Person" : 2, "Dance" : 3
    skeleton Number 2개의 관절 번호 매핑을 통해 관절 간 연결 정보 표현
    keypoints String 관절 번호에 따라 각 관절 명 할당
    segments String 신체 영역 번호에 따라 각 신체 영역 명 할당
    annotations id Number 각 annotations 마다 고유의 ID 할당
    image_id Number 해당 annotations와 매칭되는 이미지의 고유 번호
    video_id Number 해당 annotations와 매칭되는 비디오의 고유 번호
    actor_id Number 해당 annotations와 매칭되는 배우의 고유 번호
    type_id Number 해당 annotations와 매칭되는 데이터 종류 번호
    bbox Number 바운딩 박스 영역의 Left-Top 위치 및 가로, 세로 크기
    area Number 바운딩 박스 영역 크기
    num_keypoints Number 해당 영상에서 마킹된 관절 수
    keypoints Number 관절 번호 순서대로 (x, y, visible)값으로 위치를 표현한다.
    visible은 0,1,2를 가질 수 있으며,
    0은 마킹되지 않은 관절을 의미하고
    1은 마킹은 되었으나 보이지 않은 관절,
    2는 마킹되고 보이는 관절을 의미한다.
    keypoints3d Number 관절 번호 순서대로 (x, y, z, yaw, pitch, roll)값으로 위치를 표현한다.
    images id Number 각 이미지마다 고유의 ID 할당
    height Number 해당 영상의 세로 길이
    width Number 해당 영상의 가로 길이
    frame_index Number 해당 영상의 프레임 인덱스
    file_name String 해당 영상의 파일 이름
    license Number 해당 영상의 라이센스 정보 인덱스
    mesh id Number 각 Mesh마다 고유의 ID 할당
    obj_file_name String OBJ 파일 이름
    image_list Number 해당 Mesh와 매칭되는 이미지 리스트
    actor_id Number 해당 Mesh의 배우 ID
    actors id Number 각 배우마다 고유의 ID 할당
    sex String male : 남성 female : 여성
    age Number 배우의 나이
    height Number 배우의 키 (cm단위)
    video id Number 각 비디오마다 고유의 ID 할당
    frame_rate Number 해당 비디오의 프레임 레이트
    width Number 해당 비디오 영상의 가로 길이
    height Number 해당 비디오 영상의 세로 길이
    camera_id Number 해당 비디오와 매칭되는 카메라 ID
    parameters   카메라 파라미터 정보
    ┗ intrinsic Number 내부 파라미터로 Focal length, Principal point, Radial Distortion,
    Tangential Distortion 계수등을 표현한다.
    ┗ extrinsic Number 외부 파라미터로 Rotation, Translation 계수를 표현한다.
    file_name String 해당 비디오 파일의 이름
    date_captured String 해당 비디오 파일이 캡쳐된 날짜
    licenses id Number 각 라이센스 정보마다 고유의 ID 할당
    name String 라이센스 이름
    url String 라이센스 참조 url 정보
    info version Number 학습 데이터 버전
    description String 학습 데이터 이름
    year String 학습 데이터 수집 연도
    contributer String 학습 데이터 제공자
    url String 학습 데이터 참조 URL
    date_created String 학습 데이터 생성 날짜

 

  • 2. 어노테이션 파일 구조

     

    어노테이션 포맷 표
    데이터 구성 형태 파일명 규칙
    경로(폴더명) 포맷 종류
    라벨링 데이터      
     ├Annotations   라벨링
    데이터
    JSON 파일
    (action_id)_(actor_id)_(camera_pov)_(camera_type)_
    (frame_start)_(frame_end)_(frame_idx).json
        ex) 0001_M295M296_B_B_00558_01038_0000005.json
        · action_id = 동작별 고유 ID 값
        · actor_id = 모델 고유 ID 값
        · camera_pov = 카메라 시점(F:Front, B:Back, L:Left, R: Right)
        · camera_type = A: 3개 시점, B: 4개 시점
        · frame_start/End = 영상 시작 프레임, 끝 프레임
        · frame_idx = 추출 이미지 프레임 번호
    PLY 파일
    (action_id)_(actor_id)_(image_id).ply
    ex) 016_M267_205864934.ply
       ├Action[1]  
         ├Camera[1] JSON
         ├Camera[...] JSON
         ├Camera[4] JSON
         └Segmentation PLY
       ├Action[...] "
       └Action[134] "
    원천 데이터      
     ├Images     JPG 파일
    (action_id)_(actor_id)_(camera_pov)_(camera_type)_
    (frame_start)_(frame_end)_(frame_idx).jpg
        ex) 0001_M295M296_B_B_00558_01038_0000005.jpg
        · action_id = 동작별 고유 ID 값
        · actor_id = 모델 고유 ID 값
        · camera_pov = 카메라 시점(F: Front, B: Back, L: Left, R: Right)
        · camera_type = A: 3개 시점, B: 4개 시점
        · frame_start/End = 영상 시작 프레임, 끝 프레임
        · frame_idx = 추출 이미지 프레임 번호
       ├Action[1]  
         ├Camera[1] JPG
         ├Camera[...] JPG
         ├Camera[4] JPG
       ├Action[...] "
       └Action[134] "
     └Mesh     OBJ 파일
    (action_id)_(actor_id)_(image_id).obj
      ex) 001_M255_0135465.obj
    텍스처 파일
    (action_id)_(actor_id)_(image_id).jpg
      ex) 001_M255_0135465.jpg
       ├Action[1] OBJ,
    JPG
       ├Action[...] "
       └Action[134] "

     

데이터셋 구축 담당자
수행기관(주관) : 케이티
수행기관(주관)
책임자 전화번호 대표이메일 담당업무
천왕성  070-4145-9560 aidata.kt@gmail.com · 사업 관리
· 데이터 수집·가공·활용 시나리오 설계
· 학습 모델 프로토타입 개발
· 학습 데이터 활용 및 시범 서비스 개발
· 데이터구축 총괄
수행기관(참여)
수행기관(참여)
기관명 담당업무 기관명 담당업무
이오이스 · 2D 영상 직접 촬영을 통한 데이터 수집
· 3D 모델 생성을 통한 데이터 수집
· 데이터 수집을 위한 모델 모집 및 관리 (개인정보 및 초상권 동의)
홍익대학교 · 3D 모델에 대한 데이터 정제 작업
· 데이터 수집 장소 관리
에이모 · 데이터 가공
· 데이터 검수
· 데이터 가공 및 검수를 위한 크라우드 소싱 관리
· 데이터 저작 도구 개발
· 데이터 셋 관리 및 업로드 수행