NEW 메타버스 캐릭터 모션 리타게팅 데이터
- 분야스포츠
- 유형 비디오
-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.1 2023-11-10 데이터 최종 개방 1.0 2023-05-26 데이터 개방(Beta Version) 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2023-11-10 산출물 전체 공개 소개
브레이킹 및 택견 동작을 수집하여 모션데이터를 생성하고, 모션데이터의 모션을 다양한 3D 캐릭터로 리타게팅하는 학습용 데이터
구축목적
- 브레이킹 및 택견 모션 분석을 통해 메타버스를 위한 케릭터 모션 리타겟팅 인공지능 학습용 데이터 구축 - 정교하게 추출된 동작 모션을 다양한 체형의 메타버스 케릭터에게 적용할 수 있는 AI 모델 학습용 데이터 구축
-
메타데이터 구조표 데이터 영역 스포츠 데이터 유형 비디오 데이터 형식 MP4 데이터 출처 8대의 카메라를 이용하여 촬영 스튜디오에서 시연자 촬영하여 자체적으로 수집 라벨링 유형 키포인트(영상) 라벨링 형식 BVH, JSON 데이터 활용 서비스 메타버스 교육 플랫폼, 동작일치도 분석 및 평가 등의 응용서비스 데이터 구축년도/
데이터 구축량2022년/72,320(영상클립), 102,146(모션데이터), 9,286(메타데이터) -
데이터 통계
- 데이터 구축 규모● 10명의 브레이킹 전문가와 10명 택견 전문가가 선정한 총 119개의 동작 구축.
● 총 72,320개의 영상클립 수집
● 각 동작에 대한 기본 모션데이터 9,286개
● 각 동작에 대한 캐릭터 모션데이터 92,860개 (캐릭터 10종)데이터 항목 데이터 유형 획득수량 데이터 포맷 브레이킹 공통 동작 데이터 동영상 46,592클립 MP4 브레이킹 공통 모션 데이터 텍스트 5,824 BVH 브레이킹 공통 메타 데이터 텍스트 5,824 JSON 브레이킹 공통 캐릭터 모션 데이터 텍스트 58,240 BVH 브레이킹 시그니처 동작 데이터 동영상 3,960클립 MP4 브레이킹 시그니처 모션 데이터 텍스트 495 BVH 브레이킹 시그니처 메타 데이터 텍스트 495 JSON 브레이킹 시그니처 캐릭터 모션 데이터 텍스트 4,950 BVH 택견 품밟기-홑새김 동작 데이터 동영상 9,056클립 MP4 택견 품밟기-홑새김 모션 데이터 텍스트 1,132 BVH 택견 품밟기-홑새김 메타 데이터 텍스트 1,132 JSON 택견 품밟기-홑새김 캐릭터 모션 데이터 텍스트 11,320 BVH 택견 맞대거리/연무동작 동작 데이터 동영상 14,680클립 MP4 택견 맞대거리/연무동작 모션 데이터 텍스트 1,835 BVH 택견 맞대거리/연무동작 메타 데이터 텍스트 1,835 JSON 택견 맞대거리/연무동작 캐릭터 모션 데이터 텍스트 18,350 BVH -
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드1.활용 모델
● 데이터 구축 목적 및 개발된 인공지능 모델: 3D 캐릭터 모션 리타게팅 모델
● 학습모델
● 모션 리타게팅 모델
● 모델학습 알고리즘
● Skeletal-Aware Networks for Deep Motion Retargeting
1. 입력 : 모션 데이터(BVH) 및 캐릭터의 골격데이터(BVH)
2. 출력 : 캐릭터의 골격을 적용한 모션 데이터 (BVH)
3. 20000 epochs, batch 256, Adam Optimizer
-
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 3D 모션 리타게팅 성능 Object Detection Convolution Neural Networks NRMSE 10 % 3.91 %
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드1. 메타데이터 구성
구분 속성명 타입 필수여부 설명 범위 비고 1 actor_height Integer Y 시연자 신장 [150~200] 2 actor_gender Integer Y 시연자 성별 0:남성 1:여성 3 motion_category1 String Y 동작 대분류 ex)브레이킹 4 motion_category2 String Y 동작 소분류 ex)BC16 5 character Object 캐릭터정보 5-1 character[].height Float Y 캐릭터 등신 [1~10] 6 video Object 영상파일 정보 6-1 video[].filename String Y 파일이름 6-2 video[].filesize Integer Y 파일크기 6-3 video[].filepath String Y 파일경로 6-4 video[].duration Float Y 재생시간 (초) 6-5 video[].framerate Float v 초당 프레임비율 6-6 video[].aspect_ratio String Y 영상 비율 6-7 video[].width Integer Y [0~3840] 6-8 video[].height Integer Y [0~2160] 6-9 video[].resolution String Y 해상도 종류 6-10 video[].codec_name String N 압축코덱 종류 6-11 video[].bitrate String N 비트레이트 2. 메타데이터 실제 예시
3. 라벨링데이터 구성
구분 이름 타입 설명 1 HIERARCHY 텍스트 BVH 파일의 시작부분에 선언되는 시작 속성 2 ROOT {Name} Object 골격의 최초 시작 부분의 정의, ROOT를 기준으로 하위 골격을 추가함 3 JOINT {Name} Object 각 골격 이름의 정의 4 OFFSET Float 각 골격의 위치기준 OFFSET 값 (순차적으로 Z, Y, X의 값을 나타냄) 5 CHANNELS 텍스트/Integer 기본적으로 3개의 CHANNEL로 구성 됨 (Zrotation Yrotation Xrotation) Root의 경우 6개의 CHANNEL을 가짐(Xposition Yposition Zposition Zrotation Yrotation Xrotation) 6 End Site Object 골격 중 가장 하위(Leaf 골격)골격에 포함되는 프로퍼티, 골격의 끝을 나타냄 7 MOTION 텍스트 위에서 정의한 골격 구조의 프레임별 OFFSET이 시작되는 부분을 구분하는 구분점 8 Frames 텍스트 총 프레임 수 9 Frame Time Float 한 프레임당 걸리는 시간(초 단위) 10 Motion Offset Data Float List 매 라인이 전체 프레임의 골격 OFFSET 값을 기록하고 있음 4. 라벨링데이터 실제 예시
-
데이터셋 구축 담당자
수행기관(주관) : ㈜아이싸이랩
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 이창민 02-875-3861 cmlee@iscilab.com 인공지능(AI)알고리즘 및 응용모델 개발, 협업시스템 구축, 가공, 데이터 품질관리 수행기관(참여)
수행기관(참여) 기관명 담당업무 행복한상상㈜ 원시 데이터 수집, 검수 대한택견회 데이터 품질관리, 원시 데이터 수집 ㈜누라임게임즈 메타버스 플랫폼 내에 AI기술 적용, 메타버스 플랫폼 사업화 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 이창민 02-875-3861 cmlee@iscilab.com
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.