Loading...

소개

데이터 명

사람 동작 영상 AI 데이터

Video Clips on Human Motion

’19년 구축 목표

  • 5~10초 길이 50여종의 사람동작영상 20만 클립 및 annotation 데이터 셋
  • 20종의 기초동작 4만 7천 클립
  • 30종의 의미론적동작 15만 3천 클립

1차 공개 구축양

  • 5종의 기초동작 9,800클립
  • 7종의 의미론적동작 14,500클립

대표도면

필요성

  • 현재 컴퓨터 비전 top-tier conference (CVPR, ICCV, ECCV 등)에 publish되는 human behavior understanding 논문들 중 많은 논문들이 3d pose estimation을 연구한 논문으로 확인되고 있음
  • 오픈되는 pose 데이터 또한 2D에서 3D로 확장을 하고 있는 등 매우 활발이 연구가 진행중
  • 스마트시티, 홈피트니스, 스마트팩토리, 자율주행등 전 산업분야에서 활용 시도가 높아지고 있는 상황으로 이에 대한 학습 데이터가 절실히 필요한 상황임

구축내용

  • 실내 / 실외에서 1인~4인의 액터가 50여종의 동작을 5~10 초간 연기하며 촬영을 함으로서 동작영상 확보
  • 액터는 고가의 IMU 센서(3D 데이터)를 착용 후 의상을 입었으며, 상단/중단/하단 각 4대의 카메라가 시간을 동기화 하여 촬영
  • 영상으로부터 이미지를 추출하여 2D/3D 관절정보를 가공
  • 액션 종류 : 걷기, 달리기, 앉기, 인사 (목례+절), 인사 (손흔들기), 인사 (악수), 포옹, 쓰러짐, 팔짱끼기, 식사동작, 점프, 계단 오르기, 푸쉬업, 방향 지시, 박수치기, 윗몸일으키기, 포복, 태권도, 국군도수체조, 요가, 댄스 (아이돌) - 여러명, 댄스 (클럽 외) - 여러명, 댄스 (스포츠) - 여러명, 악기연주 (기타), 악기연주(전자피아노), 악기연주 (드럼), 훌라후프, 웨이트트레이닝, 홈트레이닝, 탁구 (서브), 탁구 (리시브), 야구 (투구), 야구 (배팅), 축구 (드리블), 축구 (슛팅), 골프 (스윙), 골프 (퍼팅), 배드민턴 (서브), 배드민턴 (리시브), 줄넘기, 음료마시기, 핸드폰 조작, 통화, 물건 운반, 담배 피우기, 사진 찍기, 농구, 역도(물건 들어올리기), 펜싱(찌르기), 집안일

데이터 구조

  • 2D > ~~~.json :16개 관절의 2D points 정보
{  
   "images":[  
      {  
         "video_no":102, "img_no":17991,
         "img_path":"/studio_B1/20190701/3-1/3-1-08-Camera 9 (805316
625)_299.jpg", "width":1920, "height":1080, "action_category":"앉기"
      },
      ...
   ],
   "categories":[  
      {  
         "supercategory":"person", "id":1, "name":"person",
         "keypoints":[  
            "right_ankle_x", "right_ankle_y", "right_ankle_view",
            "right_knee_x","right_knee_y", "right_knee_view",
"right_hip_x", "right_hip_y", "right_hip_view",
            "left_hip_x", "left_hip_y", "left_hip_view",
            "left_knee_x", "left_knee_y", "left_knee_view",
            "left_ankle_x", "left_ankle_y", "left_ankle_view",
            "pelvis_x", "pelvis_y", "pelvis_view",
            "thorax_x", "thorax_y", "thorax_view",
            "neck_x", "neck_y", "neck_view",
            "head_x", "head_y", "head_view",
            "right_wrist_x", "right_wrist_y", "right_wrist_view",
            "right_elbow_x", "right_elbow_y", "right_elbow_view",
            "right_shoulder_x", "right_shoulder_y", "right_shoulder_view",
            "left_shoulder_x", "left_shoulder_y", "left_shoulder_view",
            "left_elbow_x", "left_elbow_y", "left_elbow_view",
            "left_wrist_x", "left_wrist_y", "left_wrist_view"
         ]
      }
   ],
   "annotations":[  
      {  
         "img_no":17991, "person_no":1,
         "bbox":[  
            842, 445, 1154, 936
         ],
         "keypoints":[  
            1077, 784, 2, 909, 529, 2, 866, 419, 2, 875,
            520, 2, 1067, 793, 2, 918, 558, 2, 909, 525,
            2, 827, 400, 2, 767, 460, 2, 1077, 529,
            2, 796, 393, 2, 777, 383, 2, 767, 393, 2,
            995, 424, 2, 822, 448, 2, 767, 383, 2],
         "num_keypoints":16
      },
      ...
   ]
}

No

항목

내용

타입

필수여부

1

images

이미지 정보

List

 

1-1

video_no

영상 번호

Number

Y

1-2

img_no

이미지 번호

Number

Y

1-3

img_path

이미지 파일 경로

String

Y

1-4

width

이미지 width

Number

Y

1-5

height

이미지 height

Number

Y

1-6

action_category

동작 종류

String

Y

2

categories

keypoints 정보

List

 

2-1

supercategory

카테고리 종류

String

Y

2-2

id

카테고리 id

Number

Y

2-3

name

카테고리 이름

String

Y

2-4

keypoints

16개 관절 카테고리 정보

List

 

 

 

 

관절이름_x : 관절의 2D x 좌표

관절이름_y : 관절의 2D y 좌표

관절이름_view : 관절의 가시여부 표시 ( 가려지는 것과 관계없이 명확히 위치를 알 수 있을 경우는 2

신체, 물체, 옷 등 다른 것에 가려 위치가 불 명확할 경우 1)

좌표 값은 이미지 왼쪽 상단 모서리를 기준으로 x, y좌표이며, pixel 단위임.)

 

 

 

3

annotations

어노테이션 정보

List

 

3-1

img_no

이미지 번호

Number

Y

3-2

person_no

이미지 내 annotation 대상 사람 번호

Number

Y

3-3

bbox

annotation 대상의 body box 좌표 값 (좌상단 x,y / 우하단 x,y)

Number

Y

3-4

keypoints

keypoints 좌표 값, view 값

List

 

3-5

num_keypoints

이미지 내 보여지는 관절의 수

Number

Y

  • 3D > ~~~.json :16개 관절의 3D points 정보(2D와 동일)

 

 

{  
   "images":[  
      {  
         "video_no":102, "img_no":17991,
         "img_path":"/studio_B1/20190701/3-1/3-1-08-Camera 9 (805316625)_
299.jpg", "width":1920, "height":1080, "action_category":"앉기"
      },
...
   ],
   "categories":[  
      {  
         "supercategory":"person",
         "id":1,
         "name":"person",
         "keypoints":[  
            "right_ankle_x", "right_ankle_y", "right_ankle_z",
            "right_ankle_roll", "right_ankle_pitch", "right_ankle_yaw",
"right_knee_x", "right_knee_y", "right_knee_z", "right_knee_roll",
            "right_knee_pitch", "right_knee_yaw", "right_hip_x",
            "right_hip_y", "right_hip_z", "right_hip_roll", "right_hip_pitch",
            "right_hip_yaw", "left_hip_x", "left_hip_y", "left_hip_z",
            "left_hip_roll", "left_hip_pitch", "left_hip_yaw", "left_knee_x",
            "left_knee_y", "left_knee_z", "left_knee_roll", "left_knee_pitch",
            "left_knee_yaw", "left_ankle_x", "left_ankle_y", "left_ankle_z",
            "left_ankle_roll", "left_ankle_pitch", "left_ankle_yaw", "pelvis_x",
            "pelvis_y", "pelvis_z", "pelvis_roll", "pelvis_pitch", "pelvis_yaw",
            "thorax_x", "thorax_y", "thorax_z", "thorax_roll", "thorax_pitch",
            "thorax_yaw", "neck_x", "neck_y", "neck_z", "neck_roll",
            "neck_pitch", "neck_yaw", "head_x", "head_y",
            "head_z", "head_roll", "head_pitch", "head_yaw",
            "right_wrist_x", "right_wrist_y", "right_wrist_z", "right_wrist_roll",
            "right_wrist_pitch", "right_wrist_yaw", "right_elbow_x",
            "right_elbow_y", "right_elbow_z", "right_elbow_roll",
            "right_elbow_pitch", "right_elbow_yaw", "right_shoulder_x",
            "right_shoulder_y", "right_shoulder_z", "right_shoulder_roll",
            "right_shoulder_pitch", "right_shoulder_yaw",
            "left_shoulder_x", "left_shoulder_y", "left_shoulder_z",
            "left_shoulder_roll", "left_shoulder_pitch", "left_shoulder_yaw",
            "left_elbow_x", "left_elbow_y", "left_elbow_z", "left_elbow_roll",
            "left_elbow_pitch", "left_elbow_yaw", "left_wrist_x",
            "left_wrist_y", "left_wrist_z", "left_wrist_roll", "left_wrist_pitch",
            "left_wrist_yaw"
         ]
      }
   ],
   "annotations":[  
      {  
         "img_no":17991,
         "person_no":1,
         "keypoints":[  
            1077, 784, 2, 909, 529, 2, 866, 419, 2, 875, 520,
            2, 1067, 793, 2, 918, 558, 2, 909, 525, 2, 827, 400,
            2, 767, 460, 2, 1077, 529,2, 796, 393, 2, 777, 383, 2,
            767, 393, 2, 995, 424, 2, 822, 448, 2, 767, 383, 2,
            1077, 784, 2, 909, 529, 2, 866, 419, 2, 875, 520, 2,
            1067, 793, 2, 918, 558, 2, 909, 525, 2, 827, 400, 2,
            767, 460, 2, 1077, 529, 2, 796, 393, 2, 777, 383, 2, 767,
            393, 2, 995, 424, 2, 822, 448, 2, 767, 383, 2
         ],
         "num_keypoints":16
      },
      ...
   ]
}

No

항목

내용

타입

필수여부

1

images

이미지 정보

List

 

1-1

video_no

영상 번호

Number

Y

1-2

img_no

이미지 번호

Number

Y

1-3

img_path

이미지 파일 경로

String

Y

1-4

width

이미지 width

Number

Y

1-5

height

이미지 height

Number

Y

1-6

action_category

동작 종류

String

Y

2

categories

keypoints 정보

List

 

2-1

supercategory

카테고리 종류

String

Y

2-2

id

카테고리 id

Number

Y

2-3

name

카테고리 이름

String

Y

2-4

keypoints

16개 관절 카테고리 정보

List

 

 

 

관절이름_x : 관절의 3D x 좌표

관절이름_y : 관절의 3D y 좌표

관절이름_z : 관절의 3D z 좌표 관절이름_yaw : 관절의 3D yaw 관절이름_pitch : 관절의 3D pitch

관절이름_roll : 관절의 3D roll

좌표 값은 촬영장소 바닥(가운데 십자가 표시가 있으며, 보통 액터 발 뒤꿈치를 십자가에서 액션을 시작함) 가운데를 기준으로 x, y, z좌표이며, cm 단위임.

 

 

3

annotations

어노테이션 정보

List

 

3-1

img_no

이미지 번호

Number

Y

3-2

person_no

이미지 내 annotation 대상 사람 번호

Number

Y

3-3

keypoints

keypoints 3D 좌표, yaw pitch roll 값

List

 

3-4

num_keypoints

이미지 내 보여지는 관절의 수

Number

Y

데이터 활용예

1. 연구분야
 - 기존에 없던 여러명의 실외 촬영분이 포함되어 기존에 부족했던 연구가 가능해짐
 - 3D Human pose estimation 연구에 활용
2. 산업분야
 - 쓰러짐, 폭행, 흡연 등 동작 인식을 통한 알림
 - 자율주행 분야 다가오는 사람 인지, 정지 수신호등 인지 서비스
 - 모션을 이용하는 게임 및 엔터테이먼트

데이터셋 다운로드

다운로드

데이터 구축 담당자

주관기관

책임자명

전화번호

대표이메일

(주)스위트케이

이준호

031-8091-0000

sweetk_lab@sweetk.co.kr

샘플데이터 다운로드 페이지