K-pop 안무 영상

K-pop 안무 영상

데이터셋명 K-pop 안무 영상
데이터 분야 비전 데이터 유형 비디오
구축기관 KT 데이터 관련 문의처 담당자명 천왕성
가공기관 (주)케이티, (주)에이모, (주)유니토엔터테이먼트, (주)SM Institute 전화번호 070-4145-9560
검수기관 (주)에이모 이메일 aidata.kt@gmail.com
구축 데이터량 40만 구축년도 2020년
버전 1.1 최종수정일자 2021.08.30
소개 K-POP 댄스의 2D pose를 추정하는 AI 개발을 위한 안무 영상 데이터
주요 키워드 KPOP, 댄스, 안무, 모션캡쳐, AI, 데이터셋
저작권 및 이용정책 본 데이터는 과학기술정보통신부가 주관하고 한국지능정보사회진흥원이 지원하는 '인공지능 학습용 데이터 구축사업'으로 구축된 데이터입니다. [데이터 이용정책 상세보기]
데이터설명서 자료보기 구축활용가이드 자료보기
샘플데이터 다운로드 교육활용동영상 영상보기
저작도구 다운로드 AI모델 다운로드
데이터 변경이력
버전 일자 변경내용 비고
1.1 2021.08.30 데이터 추가 개방  
1.0 2021.06.30 데이터 최초 개방  
구축 목적
  • 댄스 모션캡쳐 스튜디오 촬영을 통해 데이터를 구축하고 사람 자세 분석 및 다양한 응용서비스 적용 목적으로 훈련하기 위한 데이터셋
활용 분야
  • 사람자세 분석, 홈피트니스, 교육, 실감미디어, 재활, 응용서비스 개발
소개
  • 엄선된 KPOP 100곡 안무를 대상으로 모션켭처 스튜디오 촬영 및 정제 과정을 통한 원천데이터 생성 및 검증한 댄스모션 AI 데이터셋으로, 기존 댄스 데이터셋에 부족한 KPOP 장르의 다양성을 추구하며, 모션데이터 재사용에 제한이 없도록 초상권, 저작권 문제를 해결한 원천 데이터를 확보함
     

096 K-POP안무영상데이터 그림1

구축 내용 및 제공 데이터량
  •  KPOP 100곡, 기본안무10곡, 40만개 클립 영상 구축 - 2D 관절 40만건, 바운딩박스 40만건, 3D 관절 데이터 10만건, 가공 및 어노테이션 수행 - 구축된 데이터셋을 이용 2D 모션추론 시범학습모델 훈련
     

 

구축 내용 및 제공 데이터량
데이터 종류 데이터 형태 수량
2D 관절 키포인트 json 40만 건
바운딩박스 json 40만 건
안무영상 json 10만 건
2D 관절 키포인트 이미지 40만 건
대표도면

096 K-POP안무영상데이터 그림2

 

  • 전문댄서 및 일반인 댄서가 모션캡쳐 스튜디오에서 선정된 KPOP 100곡 안무촬영 수행, 댄스모션 Raw 데이터는 엔지니어 정제작업을 통해 노이즈값의 제거 및 보정작업 거쳐 어노테이션 가공툴에 전달. 이후 어노테이션 툴을 이용 라벨링 작업을 통해 최종 데이터가 생성되며, 2D 포즈추론(Pose Estimation) 학습모델과 같은 학습모델 훈련에 사용이 가능함.
필요성
  • 댄스 AI 학습데이터의 경우 음원저작권, 안무저작권 등의 권리이슈가 존재함
  • 기존의 댄스 AI 학습데이터는 상위장르에 대한 분류목적이 대부분이며 역동적인 KPOP 의 동작분석용 데이터로는 부족한 실정
  • 이에 KPOP 의 글로벌인기 와 다양한 연구 및 응용서비스 개발기회를 제공하여 새로운 가치를 창출할 수 있는 검증된 AI 댄스 학습용 데이터를 구축하고자 함
데이터 구조
  • 1. 데이터 구성(이미지)
    • 데이터 항목: 이미지(JPG)
    • 가공 데이터 항목: 2D 관절 위치, 바운딩 박스, 기본안무 분류, 댄서 정보, 카메라 파라미터
    • JSON 예시

    "annotations": [
        {
            "id": 202758,      
            "image_id": 391895,
            "video_id": 2,     
			"frame_index": 300,
            "actor_id": 4,     
            "type_id": 3,
            "bbox": [0,34,639,388],        
            "num_keypoints": 29,
            "keypoints": [
                368,  61,   1,
                369,  52,   2,
                369,  55,   1,
                382,  48,   2,
                350,  80,   1,
                368,  84,   2,
                435,  81,   2,
                362, 125,   2,
                ......
                ......
                397, 167,   1,
                439, 166,   1,
                369, 193,   2,
                461, 234,   2,
                361, 246,   2,
                474, 287,   2,
                371, 266,   2,
                484, 277,   2               
            ],
            "
            "video_tagging": 600,
            "action_class": [2,9,15,17], 
	        "dance_mainpoint": 0 		
  }],

            "parameters": {
                "intrinsic": [
                    2181.82, 2181.82,     
                    960    ,     540,      
                    -0.041196, -0.203893, 
                    0.006114, 0.002318     
                ],
                "extrinsic": [
                    0.608523, -2.179462, 1.717242,    
                    -17.28593, 76.411348, 647.878251  
                ]
            }

  • 1. 데이터 구성(3D 관절)
    • 데이터 항목: 3D 관절
    • 예시
      image 80
    • 가공 데이터 항목: 3D 관절 위치
    • JSON 예시

keypoints3d": [
                0.5534486771, 27.7478809357, -43.8045387268, 
                -2.7849121094, 57.2987289429, -9.5731782913, 
                -2.7849121094, 57.2987289429, -9.5731782913, 
                22.6912708282, 95.0704269409, 
                ......
                ..... 

                14.9546899796, 171.5252990723, -15.2456703186,
                -18.0148296356, 90.562286377, -10.705499649, 
                -14.0610399246, 114.0876998901, -21.383890152,
                -6.527381897, 139.8860015869, -25.5282497406,
                -14.0610399246, 114.0876998901, -21.383890152,
                -6.527381897, 139.8860015869, -25.5282497406
            ],

 

  • 2. 어노테이션 포맷
     
    데이터 구성 표2
    항 목 세 부 항 목 값 형태 설 명
    categories type String "Lip", "Hand", "Person", "Dance"중
    1개의 데이터 종류 선택
    type_id Number "Lip" : 0, "Hand" : 1, "Person" : 2, "Dance" : 3
    skeleton List, Number 2개의 관절 번호 매핑을 통해 관절 간 연결 정보 표현
    keypoints List, String 관절 번호에 따라 각 관절 명 할당
    annotations id Number 각 annotations 마다 고유의 ID 할당
    image_id Number 해당 annotations와 매칭되는 이미지의 고유 번호
    video_id Number 해당 annotations와 매칭되는 비디오의 고유 번호
    frame_index Number 해당 클립의 이미지 프레임 순서
    actor_id Number 해당곡 할당된 댄서 아이디
    type_id List, Number "Lip" : 0, "Hand" : 1, "Person" : 2, "Dance" : 3
    bbox List, Number 바운딩 박스 영역의 Left-Top 위치 및 가로, 세로 크기
    num_keypoints Number 해당 영상에서 마킹된 관절 수
    keypoints List, Number 관절 번호 순서대로 (x, y, visible)값으로 위치를 표현한다.
    visible은 0,1,2를 가질 수 있으며,
    0은 마킹되지 않은 관절을 의미하고
    1은 마킹은 되었으나 보이지 않은 관절,
    2는 마킹되고 보이는 관절
    keypoints3d List, Number 관절 번호 순서대로 (x, y, z)값으로 위치를 표현한다.
    video_tagging Number 노래별 배경음원 기준 오프셋 정보
    action_class List, Number KPOP 100곡 구간별 동작구분표 참조 기본안무 분류
    dance_mainpoint Number 노래별 키안무 구간여부 표시
    images id Number 각 이미지마다 고유의 ID 할당
    height Number 해당 영상의 세로 길이
    width Number 해당 영상의 가로 길이
    frame_index Number 해당 영상의 프레임 인덱스
    file_name String 해당 영상의 파일 이름
    license Number 해당 영상의 라이센스 정보 인덱스
    actors id String 각 배우마다 고유의 ID 할당
    sex String male : 남성, female : 여성
    age Number 배우의 나이
    height Number 배우의 키 (cm단위)
    video id Number 각 비디오마다 고유의 ID 할당
    frame_rate Number 해당 비디오의 프레임 레이트
    width Number 해당 비디오 영상의 가로 길이
    height Number 해당 비디오 영상의 세로 길이
    camera_id Number 해당 비디오와 매칭되는 카메라 ID
    parameters   카메라 파라미터 정보
    ┗ intrinsic List, Number 내부 파라미터로 Focal length, Principal point, Radial Distortion,
    Tangential Distortion 계수등을 표현한다.
    ┗ extrinsic List, Number 외부 파라미터로 Rotation, Translation 계수를 표현한다.
    file_name String 해당 비디오 파일의 이름
    date_captured String 해당 비디오 파일이 캡쳐된 날짜
    licenses id Number 각 라이센스 정보마다 고유의 ID 할당
    name String 라이센스 이름
    url String 라이센스 참조 url 정보
    info version Number 학습 데이터 버전
    description String 학습 데이터 이름
    contributer String 학습 데이터 제공자
    url String 학습 데이터 참조 URL
    date_created String 학습 데이터 생성 날짜
데이터셋 구축 담당자
수행기관(주관) : 케이티
수행기관 (주관)
책임자명 전화번호 대표이메일 담당업무
천왕성 070-4145-9560 aidata.kt@gmail.com · AI 학습모델 개발
· 데이터구축 총괄
수행기관(참여)
수행기관(참여)
기관명 담당업무 기관명 담당업무
SMI · 댄서 및 안무 데이터 제공 유니토엔터인먼트 · 원천 데이터 수집 및 정제
에이모 · 어노테이션 데이터 가공 (크라우드소싱 활용)· 결과물 검수 및 검증 티웍스 · AI 2D 포즈추론 모델을 활용한 응용서비스 개발 (KPOP 댄스 체험 서비스 안드로이드 앱)