※ 23년 신규 개방되는 데이터로, 데이터 활용성 검토, 이용자 관점의 개선의견 수렴 등을 통해 수정/보완될 수 있으며 최종데이터, 샘플데이터, 산출물 등은 변경될 수 있습니다.
※ 내국인만 데이터 신청이 가능합니다.
-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.0 2023-07-31 데이터 개방(Beta Version) 소개
가정에서 활용 가능한 품목에 대한 사람의 손 파지-조작 데이터
구축목적
가정에서 작업할 때 사용하는 물품을 사람의 손을 이용한 접근 및 파지를 학습하기 위해 사람의 손의 관절 데이터 및 가사작업을 하는 동작 데이터 구축
-
메타데이터 구조표 데이터 영역 로보틱스 데이터 유형 이미지 데이터 형식 image, json 데이터 출처 직접 수집 라벨링 유형 객체 2D 바운딩 박스, 파지 가능 지점, 손 관절, 상체 관절 라벨링 형식 json 데이터 활용 서비스 3D 컴퓨터 비전, 로봇 산업, 가사지원 로봇 등 데이터 구축년도/
데이터 구축량2022년/5,000,000건 -
■ 데이터 구축 규모
조명단계 데이터 형태 규모 어노테이션 규모 결과물 규모 0 임무데이터 이미지, json 50만건 50만건 50만건 1 50만건 50만건 50만건 2 50만건 50만건 50만건 3 50만건 50만건 50만건 4 50만건 50만건 50만건 5 50만건 50만건 50만건 6 50만건 50만건 50만건 7 50만건 50만건 50만건 8 50만건 50만건 50만건 9 50만건 50만건 50만건 ■ 데이터 분포
임무 객체 수량 파지 30품목 조작 100품목 -
■ 모델 학습
∙ 본 과업에서 구축한 학습용 데이터는 이미지에서 손 관절을 이용하여 객체를 파지-조작하는 임무 분류, 객체별 파지 가능지점 탐지 임무를 수행하며, 최종 검증을 위하여 각 임무별로 학습(Training):검증(Validation):시험(Test) 데이터의 비율을 8:1:1의 데이터를 이용하여 학습하는 것을 제안함구분 학습(Training) 검증(Validation) 시험(Test) 개요 ∙ 단계별 학습데이터 ∙ 학습 도중 모델 성과 평가 및 비교 ∙ 모델 학습 완료 후 ∙ 2D re-projection error ∙ 모델 테스트 ∙ IoU 필요 데이터 수 ∙ 임무 데이터 80% ∙ 임무 데이터 10% ∙ 임무 데이터 10% ∙ 파지 가능지점 데이터 80% ∙ 파지 가능지점 데이터 80% ∙ 파지 가능지점 데이터 80% 
■ 서비스 활용 시나리오
∙ 구축한 모델은 로봇 핸드의 가사지원을 위해 가정에서 활용 가능한 품목에 대하여 파지-조작을 위한 관절 조작, 파지 가능지점 탐지에 활용될 수 있음 -
*손∙팔 협조에 의한 파지-조작 동작 데이터는 샘플데이터만 올라가 있으며, 추후 공개될 예정입니다.
■ 데이터 획득
데이터 수집 환경 구축
■ 데이터 예시
객체 2D 위치, 손관절, 상체관절, 파지 영역 라벨링 예시
∙ 데이터는 파지-조작 대상 객체 2D 바운딩박스, 손관절 데이터, 상제 관절 데이터, 파지 영역, 파지점을 구축함
■ json 예시
{
"image": {
"image_ID": "00_00_00_000000_02_000_20220831_162902_000030",
"width": "1920",
"height": "1080"
},
"mission": {
"id": "2",
"name": "잡고 돌리기"
},
"object": {
"object_id": "0",
"object_name": "가스레인지",
"object_2D": [
684.0,
372.0,
830.0,
551.65685424949231
],
"grasp_2D_params": [
784.880771697493,
603.249783362056,
49.0832611206852,
25.4558441227157,
-5.2102453955236327E-05
],
"object_3D": [
-913.0,
145.0,
-870.0,
-945.566190411971,
-1720.715799161826,
-870.0,
-2158.3814446366737,
-1699.546030153401,
-870.0,
-2125.8152542247026,
166.16976900842488,
-870.0,
...
}■ 데이터 구성
Key Description Type image.image_ID 이미지 파일 이름 string image.width 이미지 가로 픽셀 크기 string image.height 이미지 세로 픽셀 크기 string mission.id 임무 ID string mission.name 임무 이름 string object.object_id 객체 ID string object.object_name 객체 이름 string object.object_2D 객체 바운딩박스 array object.grasp_2D 객체 파지 가능 지점 array object.object_3D 대상 객체의 3차원 자세 array object.intrinsic 촬영 카메라 내부 파라메터 array object.distortion 촬영 카메라 렌즈 왜곡 계수 array gesture.subject_id 실험자 ID number gesture.hand_gesture_data.device_name 이미지 촬영 장비 이름 string gesture.hand_gesture_data.hand_keypoints.2D 손 관절 2D 좌표 array gesture.hand_gesture_data.hand_keypoints.3D 손 관절 3D 좌표 array gesture.hand_gesture_data.hand_keypoints.visibility 손 관절 데이터 가시화 정도 array (1: 관측 가능, 0: 가려짐, -1: 카메라 밖) gesture.hand_gesture_data.grasp_direction 손 접근 방향 number gesture.hand_gesture_data.grasp_finger_count 파지-조작 손가락 수 number gesture.hand_gesture_data.grasp_position_2D 손가락 끝 객체 점점 array gesture.upper_body_2D.keypoints 상체 관절 2D 좌표 array gesture.upper_body_2D.visibility 상체 관절 가시화 정도 array (1: 관측 가능, 0: 가려짐, -1: 카메라 밖) gesture.force_sensor_data.device_name 손 힘데이터 측정 장비 이름 string gesture.force_sensor_data.force_Data 손가락 끝 힘 데이터 array light_source.device_name 조명 단계 촬영 장비 이름 string light_source.light_degree 조명 단계 string ■ 어노테이션 포맷
No. 항목 타입 필수여부 1 image object y 1-1 image_ID string y 1-2 width string y 1-3 height string y 2 mission object y 2-1 id string y 2-2 name string y 3 object object y 3-1 object_id string y 3-2 object_name string y 3-3 object_2D array y 3-4 grasp_2D array y 3-5 object_3D array y 3-6 intrinsic array y 3-7 distortion array y 4 gesture object y 4-1 subject_id number y 4-2 hand_gesture_data object y 4-2-1 device_name string y 4-2-2 hand_keypoints object y 4-2-2-1 2D array y 4-2-2-2 visibility array y 4-2-2-3 3D array y 4-2-3 grasp_direction number y 4-2-4 grasp_finger_count number y 4-2-5 grasp_position_2D array y 4-3 upper_body_2D object y 4-3-1 keypoints array y 4-3-2 visibility array y 4-4 force_sensor_data object y 4-4-1 device_name string y 4-4-2 force_Data array y 5 light_source object y 5-1 device_name string y 5-2 light_degree string y -
데이터셋 구축 담당자
수행기관(주관) : ㈜이튜
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 장재석 053-623-1468 jsjang@eplatform.co.kr 데이터 수집, 정제, 가공 수행기관(참여)
수행기관(참여) 기관명 담당업무 대구디지털혁신진흥원 데이터 홍보, 해커톤 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 장재석 053-623-1468 jsjang@eplatform.co.kr
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 해제를 지원하는 프로그램(예: 반디집, 7-Zip)을 사용하시길 권장합니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.