NEW 다중 객체 3차원 표현 데이터(실내)
- 분야영상이미지
- 유형 3D , 이미지
-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.1 2023-12-15 데이터 최종 개방 1.0 2023-07-05 데이터 개방(Beta Version) 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2023-12-27 산출물 전체 공개 소개
일상환경 실내 공간에서의 사람 및 다양한 객체의 상호작용 정보를 3D로 동시에 변환 및 표현하기 위한 AI 학습용 데이터(다중 객체 3차원 표현 데이터)로 사람과 객체 간의 상호작용에 대한 태그, 2D/3D 바운딩박스(사람, 객체, 손), 2D/3D 키포인트(사람), 2D/3D 폴리곤세그멘테이션(사람, 객체)을 구축
구축목적
일상 환경 실내 공간에서의 사람 및 다양한 객체의 상호작용(Interaction) 정보를 3D로 동시에 변환 및 표현한 다중 객체 3차원 표현 인공지능 학습용 데이터를 구축. 사람과 객체 간 상호작용 3D 데이터 셋 구축을 통해 다양한 분야에 활용될 수 있는 3D 학습데이터의 기반을 마련함
-
메타데이터 구조표 데이터 영역 영상이미지 데이터 유형 3D , 이미지 데이터 형식 jpg, obj, ply, mtl 데이터 출처 자체 수집 라벨링 유형 상호작용(태그), 바운딩박스, 키포인트, 폴리곤 세그멘테이션 라벨링 형식 json 데이터 활용 서비스 다중객체 3차원 표현데이터의 구축을 통해 인간 및 객체 3D 복원, 인간-객체 간 상호작용 모델링과 실감 미디어 서비스, 디지털 홈 트윈, 메타버스 등 다양한 연구 및 산업적 분야 활용 데이터 구축년도/
데이터 구축량2022년/12,006건 (이미지 36,018장) -
데이터 구축 규모
1) 원천 데이터1차 경로 2차 경로 3차 경로 파일 포맷 제출 수량 최종 상호작용 데이터 여가 시간 게임 및 놀이 .JPG(2D) 3,360 .OBJ(3D) 1,120 .PLY(3D) 1,120 문화 및 관광 .JPG(2D) 1,221 .OBJ(3D) 407 .PLY(3D) 407 미디어 이용 .JPG(2D) 2,040 .OBJ(3D) 680 .PLY(3D) 680 스포츠 및 레포츠 .JPG(2D) 1,434 .OBJ(3D) 478 .PLY(3D) 478 의무 시간 가사노동 .JPG(2D) 14,859 .OBJ(3D) 4,953 .PLY(3D) 4,953 이동 .JPG(2D) 318 .OBJ(3D) 106 .PLY(3D) 106 일 .JPG(2D) 4,212 .OBJ(3D) 1,404 .PLY(3D) 1,404 학습 .JPG(2D) 555 .OBJ(3D) 185 .PLY(3D) 185 필수 시간 개인 유지 .JPG(2D) 8,019 .OBJ(3D) 2,673 .PLY(3D) 2,673 3D Object 객체별 .OBJ 359 .JPG 359 .MTL 359 .PLY 359 3D 사람 및 객체 .OBJ 12,006 .JPG 12,006 .MTL 12,006 .PLY 12,006 총 수량 109,490 2) 라벨링데이터
1차 경로 2차 경로 3차 경로 파일 포맷 제출 수량 최종 상호작용 데이터 여가 시간 게임 및 놀이 .JSON 3,360 문화 및 관광 .JSON 1,221 미디어 이용 .JSON 2,040 스포츠 및 레포츠 .JSON 1,434 의무 시간 가사노동 .JSON 14,859 이동 .JSON 318 일 .JSON 4,212 학습 .JSON 555 필수 시간 개인 유지 .JSON 8,019 총 수량 36,018 데이터 분포
- 객체의 수
구분 개 수 객체(다중.변형포함) 359 - 상호작용 카테고리
구분 개 수 카테고리 59 - 성별 분포
성별구분 비율 남자 54.20% 여자 45.80% 총계 100% - 연령대별 분포
성별 인원 비율 ~9세 22 6.80% 10대 32 9.20% 20대 39 16.10% 30대 42 16.30% 40대 42 13.50% 50대 53 17.30% 60대이상 62 20.80% 총계 292 100% - 대분류
구분 필수 시간 의무 시간 여가 시간 합계 실내 22% 55% 22% 100% - 상호작용 중분류
대분류 범주 중분류 필수 시간 15~25% 개인유지 의무 시간 40~60% 가사노동 이동 일 학습 여가 시간 25~35% 게임 및 놀이 문화 및 관광 미디어 이용 스포츠 및 레포츠 -
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드활용모델
① 인공지능 기반 다중객체 데이터에서의 3차원 사람 포즈 추론 모델
- (개발 목표) 다중객체 데이터에서의 3차원 사람 관절 키포인트를 추정
- (개발 내용) 구축되는 학습데이터를 활용 Hybrik 모델을 학습해 주어진 컬러 이미지에서 SMPL human body 모델의 파라미터를 추정하고 이를 바탕으로 3차원 사람 관절 키포인트의 위치를 추정하는 모델을 개발② 인공지능 기반 다중객체 데이터에서의 객체 탐지 모델
- (개발 목표) 다중객체 데이터에서의 객체의 위치를 탐지
- (개발 내용) 구축되는 학습데이터를 활용 DynamicHead 모델을 학습해 주어진 컬러 이미지에서 객체의 위치를 탐지하는 모델을 개발
③ 인공지능 기반 다중객체 데이터에서의 객체 분할 모델
- (개발 목표) 다중객체 데이터에서의 객체의 영역을 분할
- (개발 내용) 구축되는 학습데이터를 활용 Swin Transformer 모델을 학습해 주어진 컬러 이미지에서 객체의 영역을 분할하는 모델을 개발
-
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 객체 탐지 성능 Object Detection DynamicHead AP 50 % 81.7 % 2 객체 분할 성능 Object Detection Swin Transformer mAP 35 % 73.93 % 3 3차원 사람 포즈 추론 성능 3D Pose Estimation Hybrik MPJPE 95 mm 94.77 mm 4 3차원 사람 포즈 추론 성능 3D Pose Estimation Hybrik PA-MPJPE 65 mm 56.14 mm
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드데이터 구성
데이터 종류 원천데이터 라벨링데이터 실내 3D Object .obj - .ply .mtl .jpg 3D 사람 및 객체 .obj .ply .mtl .jpg 상호작용데이터 .obj .json .ply .jpg 어노테이션 포맷
구분 속성명 타입 필수여부 설명 범위 비고 1 info.description String Y 데이터 이름 2 info.copyright String Y 데이터 저작권 3 info.created_date String Y 데이터 생성 날짜 4 info.region_name String N 촬영 지역 5 info.images_location String N 촬영 장소 6 info.environment string Y 촬영 환경1 (실내외 여부) 7 info.virtual_background string N 촬영 환경2 (가상배경 여부) 8 info.image Object - 이미지 정보 9 info.image.id String Y 이미지 식별자 10 info.image.path String Y 이미지 경로 11 info.image.file_format String Y 이미지 포멧 12 info.image.imsize String Y 이미지 크기 13 info.image.width Integer Y 이미지 넓이 14 info.image.height Integer Y 이미지 높이 15 info.image.Aspect ratio Object Y 이미지 비율 16 info.image.resolution Object Y 이미지 해상도 17 info.camera Object - 카메라 정보 18 info.camera.device String N 카메라 장비 19 info.camera.position String Y 카메라 위치 20 info.camera.focal_length List Y 카메라 초점거리 21 info.camera.principal_point List Y 카메라 주점 22 info.camera.rotation List Y 카메라 회전 메트릭스 23 info.camera.translation List Y 카메라 이동 메트릭스 24 info.camera.intrinsic List Y 카메라 내부 파라미터 25 info.camera.extrinsic List Y 카메라 외부 파라미터 26 info.actor Object - 연기자 정보 27 info.actor.id String Y 촬영자 식별자 28 info.actor.gender String Y 촬영자 성별 29 info.actor.age Integer Y 촬영자 연령대 30 info.actor.height Integer Y 촬영자 키 31 info.actor.weight Integer Y 촬영자 몸무게 32 info.actor.height_of_shoes Integer N 촬영자 신발높이 33 info.actor.obj_path String Y 촬영자 포즈 동작 메쉬 경로 34 info.actor.ply_path String Y 촬영자 포즈 동작 point cloud 경로 35 info.actor.interaction String Y 사람-객체 상호작용 36 info.actor.rotation List Y 촬영자 회전 메트릭스 37 info.actor.translation List Y 촬영자 이동 메트릭스 38 info.actor.scale List Y 촬영자 비율 39 info.actor_object.obj_path String Y 촬영자 객체 포함 메쉬 경로 40 info.actor_object.ply_path String Y 촬영자 객체 포함 point cloud 경로 41 info.actor_object.mtl_path String Y 촬영자 객체 포함 mtl 경로 42 info.actor_object.texture_path String Y 촬영자 객체 포함 텍스쳐 경로 43 info.object List - 객체 정보 44 info.object.id String Y 객체 식별자 45 info.object.name String Y 객체 이름 46 info.object.size 객체 실제 크기 47 info.object.obj_path String Y 객체 메쉬 경로 48 info.object.ply_path String Y 객체 point cloud 경로 49 info.object.mtl_path String N 객체 mtl 경로 50 info.object.texture_path String N 객체 텍스쳐 경로 51 info.object.scale List Y 객체 비율 52 info.object.rotation List Y 객체 회전 메트릭스 53 info.object.translation List Y 객체 이동 메트릭스 54 annotation.actor_object Object Y 사람-사물 상호작용 관련 55 annotation.actor_object.keypoint.2d List Y 사람-사물 2D 키포인트 56 annotation.actor_object.hand_label Object Y 사람 손에 대한 상호작용 라벨 정보 57 annotation.actor_object.hand_label.righthand List Y 사람 손에 대한 상호작용정보(오른손) 58 annotation.actor_object.hand_label.lefthand List Y 사람 손에 대한 상호작용 정보(왼손) 59 annotation.actor_object.object_label String Y 상호작용 객체 명 60 annotation.actor Object Y 사람 라벨 정보 61 annotation.actor.segmentation List Y 사람 2D 세그먼테이션 62 annotation.actor.keypoint.2d List Y 2D 관절 위치 63 annotation.actor.keypoint.3d List Y 3D 관절 위치 64 annotation.actor.bbox.2d List Y 사람 2D 박스 65 annotation.actor.bbox.3d List Y 사람 3D 박스 66 annotation.actor.bbox.righthand List Y 사람 2D 손 정보(오른손) 67 annotation.actor.bbox.lefthand List Y 사람 2D 손 정보(왼손) 68 annotation.object List Y 객체 라벨 정보 69 annotation.object.segmentation List Y 객체 세그먼테이션 70 annotation.object.bbox.2D List Y 객체 2D 박스 71 annotation.object.bbox.3D List Y 객체 3D 박스 72 annotation.first_category String Y 상호작용 대분류 73 annotation.second_category String Y 상호작용 중분류 74 annotation.third_category String Y 상호작용 소분류 라벨링데이터 예시
• 라벨링데이터(json)
{
"info": {
"description": "3D object interation data",
"copyright": "Copyright 2022 이오시스 ALL rights reserved",
"created_date": "2022-08-29",
"region_name": "서울시 금천구",
"images_location": "가산테라타워",
"environment": "Internal",
"virtual_background": "N",
"image": {
"id": "I_M022_T019-T01-00_T000-T00-00_B00031_L.JPG",
"path": "1.Dataset/1.원천데이터/상호작용데이터/여가 시간/게임 및 놀이/I_M022_T019-T01-00_T000-T00-00_B00031_L.JPG",
"file_format": "jpg",
"imsize": "12.66MB",
"width": 4000.0,
"height": 6000.0,
"Aspect ratio": {
"x": 2.0,
"y": 3.0
},
"resolution": {
"x": 4000.0,
"y": 6000.0
}
},
"camera": {
"device": "NIKON D5500",
"position": "L",
"focal_length": [
4944.280603,
4944.280603
],
"principal_point": [
2024.827071,
3002.016206
],
"rotation": [
[
0.00396019869893477,
-0.149914526889518,
0.988691029317935
],
{ 생략 }
],
"translation": [
[
-2346.4283309539796
],
{ 생략 }
],
"intrinsic": [
[
4944.28060327515,
0.0,
2024.8270707662
],
{ 생략 }
],
"extrinsic": [
[
0.00396019869893463,
-0.00656409826283263,
0.99997061428837,
-75.9708703492727
],
{ 생략 }
]
},
"actor": {
"id": "M022",
"gender": "0",
"age": 20,
"height": 164.0,
"weight": 60.0,
"height_of_shoes": 2.0,
"obj_path": ""1.Dataset/1.원천데이터/상호작용데이터/여가 시간/게임 및 놀이/I_M022_T019-T01-00_T000-T00-00_B00031.obj",
"ply_path": "1.Dataset/1.원천데이터/상호작용데이터/여가 시간/게임 및 놀이/I_M022_T019-T01-00_T000-T00-00_B00031.ply",
"interaction": "사람이 젠가에서 나무 블럭을 빼려고 하는 장면",
"rotation": [
[
0.9991032481193542,
-0.015215848572552204,
-0.039512697607278824
],
{ 생략 }
],
"translation": [
0.13612505793571472,
0.6094658374786377,
-0.7525120973587036
],
"scale": [
1000.0,
1000,0,
1000.0
},
"actor_object": {
"obj_path": "1.Dataset/1.원천데이터/상호작용데이터/여가 시간/게임 및 놀이/B00031.obj",
"ply_path": "1.Dataset/1.원천데이터/상호작용데이터/여가 시간/게임 및 놀이/B00031.ply",
"mtl_path": "1.Dataset/1.원천데이터/상호작용데이터/여가 시간/게임 및 놀이/B00031.mtl",
"texture_path": "1.Dataset/1.원천데이터/상호작용데이터/여가 시간/게임 및 놀이/B00031.jpg"
},
"object": [
{
"id": "T019-T01-00",
"name": "젠가1",
"size": [
8.0,
11.0,
26.0
],
"obj_path": "1.Dataset/1.원천데이터/3D Object/젠가/T019-T01-00.ob“,
"ply_path": "1.Dataset/1.원천데이터/3D Object/젠가/T019-T01-00.ply",
"mtl_path": "1.Dataset/1.원천데이터/3D Object/젠가/T019-T01-00.mtl",
"texture_path": "1.Dataset/1.원천데이터/3D Object/젠가/T019-T01-00.jpg",
"scale": [
0.9546455143013948,
1.0030155240341476,
0.943882043098822
],
"rotation": [
[
-0.9872232796791166,
-0.0016036790570643185,
-0.006200339362221716
],
( 생략 )
],
"translation": [
18.47860809421319,
871.9758671835308,
24.99056868269422
]
}
]
},
"annotation": {
"actor_object": {
"keypoint": {
"2d": [
[
1853.0368914828464,
3632.5568045528717,
2
],
{ 생략 }
]
},
"hand_label": {
"righthand": " 휴대용 물품 접촉",
"lefthand": " 고정용 물품 접촉"
},
"object_label": "젠가"
},
"actor": {
"segmentation": [
[
1256.3513877039204,
2620.2351437752
],
{ 생략 }
],
"keypoint": {
"2d": [
[
304.593,
3568.27,
1
],
{ 생략 }
],
"3d": [
[
129.70298474573823,
777.4988645759622,
-800.3620353643031
],
{ 생략 }
]
},
"bbox": {
"2d": [
0.0,
2620.2351437752,
2056.1865049689527,
2619.878284574895
],
"3d": [
[
-0.01682471816665443,
-0.25648384045460293,
0.3965613690332172
],
{ 생략 }
],
"righthand": [
1547.7863692793978,
3238.3646340503947,
265.30376830029036,
254.33466646395482
],
"lefthand": [
1704.860843539989,
3542.3427926651016,
360.3274408132663,
197.02577357896234
]
}
},
"object": [
{
"segmentation": [
[
2308.0,
3050.0
],
{ 생략 }
],
"bbox": {
"2d": [
2161.0,
3029.0,
270.0,
573.0
],
"3d": [
[
-0.0038720000000000976,
-0.19960500000000003,
-0.0259915
],
{ 생략 }
]
}
}
],
"first_category": "I_L01",
"second_category": "I_M03",
"third_category": "I_S42"
}
}
-
데이터셋 구축 담당자
수행기관(주관) : ㈜스위트케이
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 윤종현 02-6390-6220 planb@sweetk.co.kr 사업관리, 데이터 정제, 데이터 가공(3D), 데이터 검수 수행기관(참여)
수행기관(참여) 기관명 담당업무 ㈜이오이스 데이터 수집, 데이터 정제 ㈜슈퍼브에이아이 데이터 가공(2D) ㈜씨유박스 AI학습모델 개발 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 윤종현 02-6390-6220 planb@sweetk.co.kr
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.