NEW 로봇 핸드용 객체 특성 식별 데이터
- 분야로보틱스
- 유형 이미지
-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.1 2024-01-26 데이터 최종 개방 1.0 2023-07-31 데이터 개방(Beta Version) 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2024-01-26 산출물 전체 공개 소개
고해상도, 저해상도 이미지 데이터 및 로봇 핸드를 활용한 객체 데이터
구축목적
가사지원 로봇이 다양한 물체를 구분⸱인식하고 그 물체의 기본동작을 수행하기 위한 객체별 특성데이터를 수집하여 학습이 가능한 데이터로 정제, 가공
-
메타데이터 구조표 데이터 영역 로보틱스 데이터 유형 이미지 데이터 형식 image, json 데이터 출처 직접 수집 라벨링 유형 객체 3D 자세, 파지 영역 라벨링 라벨링 형식 json 데이터 활용 서비스 3D 컴퓨터 비전, 로봇 산업, 가사지원 로봇 등 데이터 구축년도/
데이터 구축량2022년/3,000,000건 -
■ 데이터 구축 규모
∙ 로봇 핸드 임무별 데이터 규모로봇 핸드 임무 데이터 형태 규모 어노테이션 규모 결과물 규모 쥐기 임무데이터 이미지, json 60만건 60만건 60만건 잡기 60만건 60만건 60만건 돌리기 60만건 60만건 60만건 흔들기 60만건 60만건 60만건 긁기 60만건 60만건 60만건 ∙ 객체별 3D 데이터 규모
정점 갯수 데이터 형태 규모 결과물 규모 16K obj, mtl 200개 객체(200건) 200개 객체(200건) 64K 200개 객체(200건) 200개 객체(200건) 512K 200개 객체(200건) 200개 객체(200건) 합계 2종 600건 600건 ■ 데이터 분포
로봇 핸드 임무 객체 수량 쥐기 200개 잡기 200개 돌리기 200개 흔들기 200개 긁기 200개 -
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드■ 모델 학습
∙ 본 과업에서 구축한 학습용 데이터는 이미지에서 객체의 3차원 자세를 추정하는 임무, 로봇 핸드를 위한 객체별 파지 가능 지점 탐지 임무를 수행하며, 최종 검증을 위하여 각 임무별로 학습(Training):검증(Validation):시험(Test) 데이터의 비율을 8:1:1의 데이터를 이용하여 학습하는 것을 제안함구분 학습(Training) 검증(Validation) 시험(Test) 개요 ∙ 단계별 학습데이터 ∙ 학습 도중 모델 성과 평가 및 비교 ∙ 모델 학습 완료 후 ∙ 2D re-projection error ∙ 모델 테스트 ∙ IoU 필요 데이터 수 ∙ 자세 데이터 80% ∙ 자세 데이터 10% ∙ 자세 데이터 10% ∙ 파지 가능지점 데이터 80% ∙ 파지 가능지점 데이터 80% ∙ 파지 가능지점 데이터 80% 
■ 서비스 활용 시나리오
∙ 구축한 모델은 로봇 핸드의 가사지원을 위해 가정에서 활용 가능한 품목에 대한 자세 추정, 위치 추정, 파지 가능지점 탐지에 활용될 수 있음 -
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 파지 객체 3D 자세 추정 성능 Estimation 알수없음 Accuracy 50 % 57.57 % 2 파지 가능 지점 탐지 성능 Detection 알수없음 mAP 70 % 79.24 %
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드*로봇 핸드용 객체 특성 식별 데이터는 샘플데이터만 올라가 있으며, 추후 공개될 예정입니다.
■ 데이터 획득
로봇 핸드 수집 환경 구축 객체 3D 모델 획득 환경 구축 
■ 데이터 예시
객체 3D 자세 객체 3D 모델 로봇 임무 데이터 ∙ 데이터는 물리량, 품목, 임무데이터 등 총 3종으로 구성됨
∙ 물리량 데이터는 객체별 10회씩 크기, 무게를 측정하여 구축함
∙ 품목 데이터는 5대의 카메라로부터 촬영된 이미지 데이터로부터 3D 메쉬 데이터를 획득하고, 3D 메쉬 데이터를 생성하여 구축함
∙ 임무 데이터는 로봇 핸드가 쥐기, 잡기, 돌리기, 흔들기, 긁기 임무를 수행할 때, 로봇 핸드로부터 수집되는 데이터와 객체 바운딩박스, 파지영역, 파지점을 구축함■ json 예시
∙ 물리량 데이터{
"object": [
{
"id": 1,
"name": "테라병 500ml",
"material_code": "KSL2501",
"deformable": "X"
}
],
"annotation": [
{
"size": {
"mean": [
7.85,
7.85,
26.412
],
"std": [
0.538786035102341,
0.6642210193692448,
0.3779971420758518
]
},
"mass": {
"mean": 0.94,
"std": 0.009981000708433939
},
"barcode": "001.jpg"
}
]
}∙ 품목 데이터
{
"object": {
"id": "001",
"name": "테라병 500ml",
"material_code": "KSL2501"
},
"device": {
"rgb": "Basler",
"rgbd": "Intel Realsense"
},
"mesh": [
"001_16k.ojb",
"001_64k.ojb",
"001_512k.ojb"
],
"point cloud": [
"001_pointcloud_16k.ojb",
"001_pointcloud_64k.ojb",
"001_pointcloud_512k.ojb"
],
"cuboid_3d": [
-39.25,
-39.25,
-132.06,
39.25,
-39.25,
-132.06,
39.25,
39.25,
-132.06,
-39.25,
39.25,
-132.06,
-39.25,
-39.25,
132.06,
39.25,
-39.25,
132.06,
39.25,
39.25,
132.06,
-39.25,
39.25,
132.06,
0.0,
0.0,
0.0
],
"camera_parameters": {
"internal": [
6902.6605804400115,
0.0,
1822.7695820047416,
0.0,
6920.294616947665,
2718.988121365652,
0.0,
0.0,
1.0,
-0.16393645675345545,
0.15817286075735731,
0.00047051622343216023,
-0.00010255690881020144,
0.16095941315691387
],
"external": [
-0.22721308278147523,
0.9738165395332732,
0.007454015319217661,
13.666325146886237,
0.9337024658240873,
0.2200157713335429,
-0.2824761329360852,
19.315974586364263,
-0.27671993120654914,
-0.05722244049275366,
-0.9592453658877357,
435.94520772215037
]
},
"image_file_name": "ColorRaw_0_000.png"
}∙ 임무 데이터
{
"object": {
"id": "001",
"name": "테라병 500ml",
"material_code": "KSL2501",
"is_deformable": "X"
},
"annotation": {
"device": {
"hand": "Allegro",
"tactile": "Physionics"
},
"mission_name": "잡기",
"width": 1920,
"height": 1080,
"pose_file": [
0.501832,
0.760632,
-0.41183,
-140.584,
0.860051,
-0.489471,
0.143978,
66.4735,
-0.0920643,
-0.426448,
-0.899815,
831.779,
0.0,
0.0,
0.0,
1.0
],
"pressure": [
-0.098,
0.526,
0.049,
-0.056,
-0.042,
...
}■ 데이터 구성
∙ 물리량 데이터Key Description Type object.id 객체 ID number object.name 객체 이름 string object.material_code 객체 재질 코드 string object.deformable 객체 변경 가능성 string annotation.size.mean 객체의 가로, 세로, 높이 평균 크기 array annotation.size.std 객체의 가로, 세로, 높이 표준편차 array annotation.mass.mean 객체의 평균 무게 number annotation.mass.std 객체 무게의 표준편차 number annotation.barcode 객체 물리량의 qrcode string ∙ 품목 데이터
Key Description Type object.id 객체 ID number object.name 객체 이름 string object.material_code 객체 재질 코드 string device.rgb RGB 이미지 촬영 장비 이름 string device.rgbd RGB-D 이미지 촬영 장비 이름 string mesh 메쉬 파일 이름 array point_cloud 포인트 클라우드 파일 이름 string cuboid_3d 객체 큐보이드 9개 점의 위치 array camera_parameters.internal 카메라 내부 파라메터 array camera_parameters.external 카메라 외부 파라메터 array image_file_name 대상 이미지 파일이름 string ∙ 임무 데이터
Key Description Type object.id 객체 ID number object.name 객체 이름 string object.material_code 객체 재질 코드 string object.is_deformable 객체 변형 가능성 string annotation.device.hand 로봇 핸드 장비 이름 string annotation.device.tactile 로봇 핸드 손가락 끝 장비 이름 string annotation.mission_name 로봇 핸드 임무 이름 string annotation.width 이미지 가로 크기 number annotation.height 이미지 세로 크기 number annotation.pose_file 대상 객체에 대한 카메라 위치 array annotation.pressure 로봇 핸드 임무 시 압력 값 array annotation.torque 로봇 핸드 임무 시 토크 값 array annotation.motion 로봇 핸드 임무 시 로봇 핸드 관절의 가속도 값 array annotation.virbration 로봇 핸드 임무 시 진동 값 array annotation.temperature 로봇 핸드 임무 시 온도 값 array annotation.grasp_3D 로봇 핸드가 물체를 파지 및 조작했을 때의 3D 위치 array annotation.is_grasp 로봇 핸드의 파지 여부 string annotation.bbox 임무 대상 객체 바운딩 박스 array annotation.grasp_2D 임무 대상 객체 2D 이미지 파지 영역 array annotation.grasp_point_2D 임무 대상 객체 2D 이미지 파지 점 array annotation.grasp_finger_count 임무 시 로봇 핸드 손가락 수 number annotation.force_grade 임무 시 로봇 핸드 힘 단계 number annotation.mission_id 임무 시 로봇 핸드 임무 ID string annotation.grasp_dir 임무 시 로봇 핸드 접근 방향 number annotation.image_file 대상 이미지 파일 이름 string annotation.sound 임무 시 소리 string ■ 어노테이션 포맷
∙ 물리량 데이터
No. 항목 타입 필수여부 1 object object y 1-1 id number y 1-2 name string y 1-3 material_code string y 1-4 deformable string y 2 annotation object y 2-1 size object y 2-1-1 mean array y 2-1-2 std array y 2-2 mass object y 2-2-1 mean number y 2-2-2 std number y 2-3 barcode string y ∙ 품목 데이터
No. 항목 타입 필수여부 1 object object y 1-1 id number y 1-2 name string y 1-3 material_code string y 2 device object y 2-1 rgb string y 2-2 rgbd string y 3 mesh array y 4 point_cloud array y 5 cuboid_3d array y 6 camera_parameters object y 6-1 internal array y 6-2 external array y 7 image_file_name string y ∙ 임무 데이터
No. 항목 타입 필수여부 1 object object y 1-1 id string y 1-2 name string y 1-3 material_code string y 1-4 is_deformable string y 2 annotation object y 2-1 debice object y 2-1-1 hand string y 2-1-2 tactile string y 2-2 mission_name string y 2-3 width number y 2-4 height number y 2-5 pose_file array y 2-6 pressure array y 2-7 torque array y 2-8 motion array y 2-9 vibration array y 2-10 temperature array y 2-11 grasp_3D array y 2-12 is_grasp string y 2-13 bbox array y 2-14 grasp_2D array y 2-15 grasp_point_2D array y 2-16 grasp_finger_count number y 2-17 force_grade number y 2-18 grasp_dir number y 2-19 mission_id string y 2-20 image_file string y 2-21 sound string y -
데이터셋 구축 담당자
수행기관(주관) : ㈜이튜
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 장재석 053-623-1468 jsjang@eplatform.co.kr 데이터 수집, 정제, 가공 수행기관(참여)
수행기관(참여) 기관명 담당업무 한국로봇산업진흥원 데이터 수집 환경 구축 대구디지털혁신진흥원 데이터 홍보, 해커톤 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 장재석 053-623-1468 jsjang@eplatform.co.kr
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.