BETA 로봇 행동 데이터 (3D 물건 파지)
- 분야로보틱스
- 유형 센서 , 이미지 , 비디오 , 텍스트
-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.0 2024-06-28 데이터 개방 Beta Version 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2024-06-28 산출물 공개 Beta Version 소개
- 물류 산업 현장에서 다양한 사물을 로봇을 이용하여 파지할 수 있는 인공지능 모델 연구 및 개발을 위하여 핑거타입 그리퍼 및 흡착식 그리퍼로 파지할 수 있는 상품에 대한 로봇 파지 행동 데이터셋 구축
구축목적
- 로봇을 이용한 상품 파지는 물류 산업의 핵심 필요 기술 중 하나이므로, 물류 환경의 다양성을 고려한 로봇 파지 행동 데이터셋을 구축하여 로봇 파지 기술 연구 개발 가속화를 통해 물류 공정 자동화를 도모함
-
메타데이터 구조표 데이터 영역 로보틱스 데이터 유형 센서 , 이미지 , 비디오 , 텍스트 데이터 형식 PCD/JPG/PNG 데이터 출처 자체 수집 라벨링 유형 3D 큐보이드(PCD), 세그멘테이션(이미지), 키포인트(이미지) 라벨링 형식 JSON 데이터 활용 서비스 상품 파지 로봇팔 제어 기술을 통한 물류 공정 자동화 데이터 구축년도/
데이터 구축량2023년/상품 3D 데이터 150,000건/상품 2D 데이터 150,000건/ 로봇팔 행동 이미지 데이터 100,000건 -
- 데이터 구축 규모
데이터 구축 규모 상세 구분 형식 수량 원천 데이터 상품 3D 데이터 핑거그리퍼 100종 상품명 PCD 125,745개 흡착그리퍼 100종 상품명 PCD 31,021개 상품 2D 데이터 핑거그리퍼 100종 상품명 JPG (RGB) 125,745장 PNG (Depth) 125,745장 흡착그리퍼 100종 상품명 JPG 31,021장 PNG 31,021장 로봇팔 행동 이미지1) 핑거그리퍼 JPG 80,434장 흡착그리퍼 JPG 20,768장 라벨링 데이터 상품 3D 데이터 핑거그리퍼 100종 상품명 JSON 125,745개 흡착그리퍼 100종 상품명 JSON 31,021개 상품 2D 데이터 핑거그리퍼 100종 상품명 JSON 125,745개 흡착그리퍼 100종 상품명 JSON 31,021개 로봇팔 행동 이미지 핑거그리퍼 JSON 80,434개 흡착그리퍼 JSON 20,768개 메타
데이터로봇팔 행동 데이터2) 핑거그리퍼 100종 상품명 MP4 40,000개 JSON 40,000개 TXT 40,000개 TXT 40,000개 흡착그리퍼 100종 상품명 MP4 31,021개 JSON 31,021개 TXT 31,021개 TXT 31,021개 1) 핑거그리퍼 파지의 경우, 고정형 RGBD 카메라를 3방향으로 설치해 상품 센서 데이터를 획득한 후 로봇이 파지를 수행하여 로봇팔 행동 동영상 수집함. 동영상에서 추출한 8만 여개의 로봇팔 행동 이미지로 라벨링 데이터 구축흡착그리퍼 파지의 경우, 상품 센서 데이터를 획득할 때마다 로봇이 파지를 수행하여 상품 데이터 수량만큼의 로봇팔 행동 동영상 수집함. 동영상에서 추출한 약 2만 여개의 로봇팔 행동 이미지로 라벨링 데이터 구축
2) “로봇팔 행동 데이터”로 4종류의 데이터 제공- JSON(로봇팔 행동 메타데이터)- MP4(로봇팔 행동 동영상)- TXT(로봇관절각도데이터)- TXT(로봇 센서 데이터)- 데이터 분포
• 100종 상품 분포 (상품 3D 데이터 기준)100종 상품 분포 (상품 3D 데이터 기준) 상품명 수량 비율(%) 상품명 수량 비율(%) 강아지공룡알장난감 1,705 1.09% 씨몽키 1,528 0.97% 귀리분말 1,522 0.97% 아이셔 1,512 0.96% 글루타치온 1,534 0.98% 악어장난감 1,528 0.97% 노란고무줄 1,525 0.97% 액체모기향 1,522 0.97% 누전차단기 1,684 1.07% 양말 1,612 1.03% 다용도청소도구 1,638 1.04% 양면폼테이프 1,524 0.97% 다이어트보조제 1,519 0.97% 양치컵 1,704 1.09% 데스크탑스위치 1,537 0.98% 에센스 1,510 0.96% 데스크톱청소기 1,523 0.97% 연필깎이 1,519 0.97% 데일리비타민 1,519 0.97% 영양제 1,630 1.04% 때비누 1,587 1.01% 온습도계 1,672 1.07% 뜨개실 1,522 0.97% 우나바라전차 1,522 0.97% 라벨프린터 1,609 1.03% 원터치면봉 1,533 0.98% 랜덤캐릭터 1,521 0.97% 유리흡착기 1,692 1.08% 마법의스프레이 1,522 0.97% 이어폰 1,527 0.97% 마이크로블록 1,581 1.01% 자동차탈취제 1,514 0.97% 망원경 1,522 0.97% 장난감버스 1,666 1.06% 모래삽 1,534 0.98% 전구 1,612 1.03% 몰랑제주 1,522 0.97% 접착테이프 1,525 0.97% 무기질 1,540 0.98% 정수기필터 1,525 0.97% 무드등 1,530 0.98% 정전기청소포 1,529 0.98% 무선마우스 1,522 0.97% 졸음번쩍껌 1,520 0.97% 무지개링 1,609 1.03% 종이학 1,636 1.04% 미니반찬통 1,537 0.98% 천연펄프수세미 1,525 0.97% 반려견물통 1,678 1.07% 초코캔디 1,539 0.98% 밴드포유 1,525 0.97% 초파리트랩 1,527 0.97% 버섯죽 1,530 0.98% 충전기 1,605 1.02% 보온병 1,585 1.01% 치실 1,693 1.08% 보풀제거기 1,699 1.08% 캔커피 1,524 0.97% 볼파우치 1,710 1.09% 커피드리퍼 1,552 0.99% 분말커피 1,531 0.98% 컴팩트백 1,573 1.00% 분유 1,704 1.09% 클렌징티슈 1,615 1.03% 비누대 1,537 0.98% 클렌징폼 1,535 0.98% 비누홀더 1,525 0.97% 클리닝티슈 1,525 0.97% 비비테이프 1,513 0.97% 탁상시계 1,594 1.02% 사각큐브 1,582 1.01% 탄력붕대 1,591 1.01% 선물상자 1,518 0.97% 탈취훈증캔 1,522 0.97% 손소독제 1,582 1.01% 테이프디스펜서 1,537 0.98% 수분크림 1,701 1.09% 테이프크리너 1,536 0.98% 수평자 1,616 1.03% 팍시덴트 1,522 0.97% 쉐이크통 1,536 0.98% 팬티라이너 1,528 0.97% 스마트캣볼 1,522 0.97% 포켓몬인형 1,597 1.02% 스마트폰거치대 1,515 0.97% 프로틴크림 1,525 0.97% 스쿠터 1,573 1.00% 핑크퐁 1,522 0.97% 스틱 1,609 1.03% 해피홈 1,522 0.97% 스폰지도어가드 1,603 1.02% 햄 1,678 1.07% 스프레이 1,525 0.97% 홈냅킨 1,532 0.98% 시계수납함 1,687 1.08% 화장실탈취제 1,684 1.07% 쌀가루 1,540 0.98% 화장품 1,516 0.97% 썬크림 1,539 0.98% 후추 1,536 0.98% 합계 156,766개 100.00% • 파지 성공 - 실패 분포
파지 성공 - 실패 분포 구분 수량 비율(%) 파지 성공 86,340개 55.08% 파지 실패 70,426개 44.92% 합계 156,766개 100.00% • 로봇 행동 다양성 분포
로봇 행동 다양성 분포 구분 수량 비율(%) 이송 위치로 이동 8,071개 7.97% 상품 파지 27,308개 26.98% 파지 실패 25,057개 24.76% 상품 이송 28,726개 28.38% 상품 이송 실패 55개 0.05% 상품 하역 11,987개 11.84% 합계 101,204개 100.00% -
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드- 객체 탐지
● 모델 개요 및 학습
- Object Detection 및 Instance Segmentation task를 수행하기 위해 해당 업무에서 대표적으로 사용되는 Mask R-CNN 모델을 활용함.
- Mask R-CNN은 객체의 위치를 정확하게 탐지할 뿐 아니라, 각 객체에 대한 픽셀 수준의 분할 마스크를 생성하여 이를 통해 이미지 내 개별 객체의 형태와 경계를 더욱 세밀하게 파악할 수 있다는 장점이 있음.
- 본 사업을 통해 구축된 데이터셋에서 모델 입력 데이터 형식에 맞춰 전처리한 후, 전처리 된 데이터를 8:1:1(train:validation:test)의 비율로 나눠 학습 및 평가에 사용함
- 파지 품질 예측
● 모델 개요 및 학습
- Grasp Quality Estimation은 센서 이미지와 미리 계산된 파지 후보점을 인공지능 모델에 입력시키고 각 파지후보점의 성공 가능성을 예측하는 기술임.
- Grasp Quality Convolutional Neural Network(GQ-CNN)은 Grasp Quality Estimation task에 활용되는 대표적인 모델임.
- 기존 모델은 depth image만을 input으로 하지만 depth image와 RGB image를 동시에 받을 수 있도록 수정하여 학습시켜 데이터셋의 유효성을 검증함.
- 본 사업을 통해 구축된 데이터셋에서 객체별로 전처리한 후, 전처리된 데이터를 8:1:1 (train:validation:test)의 비율로 나눠 학습 및 평가에 사용함
● 서비스 활용 시나리오
- 구축한 객체 탐지 및 파지 품질 예측 모델은 제조/물류 현장의 자동화 또는 서비스 로봇의 개발에 활용할 수 있음
1) 자동화 분야
▷ 물류 센터에서의 모바일 매니퓰레이터를 활용한 pick & place 작업 자동화
▷ 활용 예시
• 택배 하역장, 물류센터 등에서 컨베이어 또는 선반에 놓인 물건을 분류하고 이송하는 자동화 서비스
• 상품 pick & place 작업의 성능을 평가하기 위한 검수 시스템
• 기타 다양한 형상을 가진 객체의 manipulation 작업이 필요한 제조 자동화 현장
2) 서비스 로봇
▷ 사용자에게 편의를 제공하기 위해 협동로봇, 모바일 매니퓰레이터 등과 함께 객체 인식 및 파지 작업을 수행
▷ 활용 예시
• 사용자 대신 필요한 물건을 파지하여 운송하는 가사 / 서빙 로봇
- 로봇 영역 탐지
• 모델 개요 및 학습
- Semantic Segmentation에서 가장 높은 성능을 달성한 InterImage는 최근 Vision Transformer 기반의 Large Scale 모델이 크게 발전함에 따라, CNN기반의 Large Scale Model을 개발하였음.
- CNN의 단점을 완화하고, 대규모의 Parameter로 인해 더욱 견고하게 Pattern을 학습할 수 있게 하였음.
- 본 사업에서 구축된 원천 이미지 사이즈 기반으로 라벨링 데이터 상의 2d polygon 좌표를 이용하여 학습에 사용될 8-bit png를 생성하는 전처리 과정을 거친 후, 전처리된 데이터를 8:1:1 (train:validation:test)의 비율로 나눠 학습 및 평가에 사용함
[InternImage 모델 구조]
● 서비스 활용 시나리오
- 로봇 주변 환경에서 장애물 회피 등의 로봇 궤적 생성 활용
- 로봇 관절 정보와 결합하여 로봇 이동 경로 생성을 위한 강화 학습에 활용
- 로봇팔의 외형 변화 또는 상태 모니터링 및 이상 징후 감지하는 시설 유지보수에 활용 -
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드- 데이터 구성
데이터 구성 항목 설명 형식 원천
데이터상품 3D 데이터 RGBD 카메라로 획득한 상품 포인트클라우드 데이터
(100종 상품, 1,500건~/상품)PCD 상품 2D 데이터 상품 RGB 이미지 JPG RGB 이미지에 상응하는 Depth 이미지 PNG 로봇팔 행동 이미지 로봇팔 행동 동영상에서 추출한 이미지 JPG 라벨링
데이터상품 3D 데이터 상품 3D 큐보이드 라벨링 정보 JSON 로봇 파지점, 파지 결과 등의 메타 데이터 상품 2D 데이터 상품 세그멘테이션/파지가능 지점
키포인트(핑거그리퍼), 파지가능 영역
세그멘테이션(흡착그리퍼) 라벨링 정보JSON 로봇 파지점, 파지 결과 등의 메타 데이터 로봇팔 행동 이미지 로봇팔 영역 세그멘테이션 라벨링 정보 JSON 로봇 상태(행동 유형), 로봇팔 각도값 등의 메타 데이터 메타
데이터로봇팔 행동 데이터 로봇 파지 과정 촬영한 동영상 MP4 로봇 파지 결과, 파지 안정성, 로봇 state
sequence 정보 등의 메타 데이터JSON 로봇 관절 각도 데이터 TXT 로봇 센서 데이터 TXT - 어노테이션 포맷
• 상품 3D 이미지 어노테이션 포맷상품 3D 이미지 어노테이션 포맷 No 속성명 Type 필수 여부 속성 설명 1 2D_image_file_name string Y 상품 2D 이미지 파일 이름 2 3D_image_file_name string Y 원천데이터 파일 이름 3 box_type string Y 파지상자 종류 (None) 4 camera_info object 카메라 정보 4-1 camera_intrinsic_param object Y 카메라 내부 파라미터 정보 4-2 camera_name string Y 카메라 모델명 4-3 camera_type string Y 카메라 위치 (고정형) 5 data_key string Y 원천 데이터 이름 6 grip_data object 로봇 파지점 정보 핑거그리퍼 파지의 경우 6-1 grip_2d_pose object Y 파지점 위치(2D)
ex) ["xl":0,"xr":0,"yl":0,"yr":0]6-2 grip_3d_pose object Y 파지점 위치(3D)
ex) ["x1":,..."x8":,"y1":,..."y8":,"z1":...."z8":]흡착그리퍼 파지의 경우 6-1 grip_2d_pose object Y 파지점 위치(2D)
ex) ["x:320","y:410"]6-2 grip_3d_pose object Y 파지점 위치(3D)
ex) ["penetrate":0.08","pitch":-0.01,"roll":0.01,"x": 10,"y":10,"yaw":0.2,"z":-100]7 grip_succeed number Y 파지 성공 여부 8 objects array 객체 정보 8-1 annotation_type string Y 어노테이션 타입 (3D Cuboid) 8-2 class_name string Y 클래스 이름 8-3 package_type string Y 파손방지 재포장 타입 (없음) 8-4 annotation_counts array Y 큐보이드 포인트 위치 9 robot_tf object 로봇에 대한 transformation matrix 9-1 rotation_3x3 array Y rotation matrix 9-2 translation_3x1 array Y translation matrix • 상품 2D 이미지 어노테이션 포맷
상품 2D 이미지 어노테이션 포맷 No 속성명 Type 필수 여부 속성 설명 1 2D_image_file_name string Y 원천데이터 파일 이름 2 3D_image_file_name string Y 상품 3D 데이터 파일 이름 3 box_type string Y 파지상자 종류 (None) 4 camera_info object 카메라 정보 4-1 camera_intrinsic_param object Y 카메라 내부 파라미터 정보 4-2 camera_name string Y 카메라 모델명 4-3 camera_type string Y 카메라 위치 (고정형) 5 data_key string Y 원천 데이터 이름 6 grip_data object 로봇 파지점 정보 핑거그리퍼 파지의 경우 6-1 grip_2d_pose object Y 파지점 위치(2D)
ex) ["xl":0,"xr":0,"yl":0,"yr":0]6-2 grip_3d_pose object Y 파지점 위치(3D)
ex) ["x1":,..."x8":,"y1":,..."y8":,"z1":...."z8":]흡착그리퍼 파지의 경우 6-1 grip_2d_pose object Y 파지점 위치(2D)
ex) ["x:320","y:410"]6-2 grip_3d_pose object Y 파지점 위치(3D)
ex) ["penetrate":0.08","pitch":-0.01,"roll":0.01,"x": 10,"y":10,"yaw":0.2,"z":-100]7 grip_succeed number Y 파지 성공 여부 8 objects array 객체 정보 8-1 annotation_type string Y 어노테이션 타입 (Polygon) 8-2 class_name string Y 클래스 이름 8-3 package_type string Y 파손방지 재포장 타입 (없음) 8-4 id number Y 라벨링 식별자 8-5 segmentation_points array Y 세그멘테이션 포인트 위치 9 robot_tf object 로봇에 대한 transformation matrix 9-1 rotation_3x3 array Y rotation matrix 9-2 translation_3x1 array Y translation matrix 10 human_annotation_grasp array 휴먼 어노테이션 파지 영역 핑거그리퍼 파지의 경우 10-1 annotation_type string Y 어노테이션 타입 (keypoints) 10-2 id number Y 라벨링 식별자 10-3 annotation_points array Y 키포인트 위치 10-4 num_keypoints number Y 키포인트 수 (2) 흡착그리퍼 파지의 경우 10-1 annotation_type string 어노테이션 타입 (polygon) 10-2 id number 라벨링 식별자 10-3 annotation_points array 세그멘테이션 포인트 위치 • 로봇팔 행동 이미지 어노테이션 포맷
로봇팔 행동 이미지 어노테이션 포맷 No 속성명 Type 필수여부 속성 설명 1 image_file_name string Y 원천데이터 파일명 2 camera_info object 카메라 정보 2-1 camera_intrinsic_param object Y 카메라 내부 파라미터 정보 2-2 camera_name string Y 카메라 모델명 3 chessboard_tf object 칼리브레이션을 위한 체스보드와 카메라간의 TF 3-1 leftbottom_tf_4x4 array Y 좌측 하단 체스보드의 TF 3-2 lefttop_tf_4x4 array Y 좌측 상단 체스보드의 TF 3-3 rightbottom_tf_4x4 array Y 우측 하단 체스보드의 TF 3-4 righttop_tf_4x4 array Y 우측 상단 체스보드의 TF 4 data_key object 동영상 정보 4-1 time string Y 프레임 추출 시점 4-2 video string Y 원본 동영상 이름 5 object_name string Y 파지 상품 이름 6 objects array Y 객체 정보 6-1 annotation_type string Y 로봇영역 폴리곤 세그멘테이션 6-2 class_name string Y 클래스 이름 6-3 id number Y 라벨링 식별자 6-4 segmentation_points array Y 포인트 위치 7 robot_behaviors string Y 로봇 행동 종류 8 robot_joint_value object 로봇팔 각도 8-1 robot_tf.j1 number Y 첫번째 joint의 각도 8-2 robot_tf.j2 number Y 두번째 joint의 각도 8-3 robot_tf.j3 number Y 세번째 joint의 각도 8-4 robot_tf.j4 number Y 네번째 joint의 각도 8-5 robot_tf.j5 number Y 다섯번째 joint의 각도 8-6 robot_tf.j6 number Y 여섯번째 joint의 각도 9 robot_speed string Y 로봇 속도 10 robot_tf object 10-1 tf_4x4 array Y 로봇에 대한 transformation matrix 11 robot_trajectory string Y 로봇 궤적 종류 - 라벨링 데이터 실제 예시
• 상품 3D 데이터 라벨링 JSON
• 상품 2D 데이터(핑거그리퍼) 라벨링 JSON
• 상품 2D 데이터(흡착그리퍼) 라벨링 JSON
• 로봇팔 행동 이미지 라벨링 JSON
-
데이터셋 구축 담당자
수행기관(주관) : ㈜씨유박스
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 전봉규 02-6277-7840 bkjeon@cubox.ai 과제 총괄, 데이터 수집/정제 환경 구성, 데이터 가공, 데이터 검수, 학습 AI모델 수행기관(참여)
수행기관(참여) 기관명 담당업무 ㈜비자림 데이터 수집, 데이터 정제, 데이터 검수 ㈜슈퍼브에이아이 데이터 가공, 데이터 검수 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 전봉규 02-6277-7840 bkjeon@cubox.ai 정지훈 02-6277-7806 jihoon.jung@cubox.ai AI모델 관련 문의처
AI모델 관련 문의처 담당자명 전화번호 이메일 서주환 02-6277-7806 jhseo@cubox.ai 박승휘 02-6277-7840 shpark2@cubox.ai 저작도구 관련 문의처
저작도구 관련 문의처 담당자명 전화번호 이메일 이현채 070-4121-5094 hclee@superb-ai.com 이현동 070-4121-5094 hdlee@superb-ai.com
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.