AI-Hub

데이터 변경이력

데이터 히스토리

소개

고해상도, 저해상도 이미지 데이터 및 로봇 핸드를 활용한 객체 데이터

구축목적

가사지원 로봇이 다양한 물체를 구분⸱인식하고 그 물체의 기본동작을 수행하기 위한 객체별 특성데이터를 수집하여 학습이 가능한 데이터로 정제, 가공

■ 데이터 구축 규모
 ∙ 로봇 핸드 임무별 데이터 규모

 ∙ 객체별 3D 데이터 규모

■ 데이터 분포

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

■ 모델 학습
 ∙ 본 과업에서 구축한 학습용 데이터는 이미지에서 객체의 3차원 자세를 추정하는 임무, 로봇 핸드를 위한 객체별 파지 가능 지점 탐지 임무를 수행하며, 최종 검증을 위하여 각 임무별로 학습(Training):검증(Validation):시험(Test) 데이터의 비율을 8:1:1의 데이터를 이용하여 학습하는 것을 제안함

■ 서비스 활용 시나리오
 ∙ 구축한 모델은 로봇 핸드의 가사지원을 위해 가정에서 활용 가능한 품목에 대한 자세 추정, 위치 추정, 파지 가능지점 탐지에 활용될 수 있음

데이터 성능 점수

설명서 및 활용가이드 다운로드

*로봇 핸드용 객체 특성 식별 데이터는 샘플데이터만 올라가 있으며, 추후 공개될 예정입니다.

■ 데이터 획득

데이터 획득

로봇 핸드 수집 환경 구축	객체 3D 모델 획득 환경 구축

■ 데이터 예시

데이터 예시

객체 3D 자세	객체 3D 모델	로봇 임무 데이터

 ∙ 데이터는 물리량, 품목, 임무데이터 등 총 3종으로 구성됨
 ∙ 물리량 데이터는 객체별 10회씩 크기, 무게를 측정하여 구축함
 ∙ 품목 데이터는 5대의 카메라로부터 촬영된 이미지 데이터로부터 3D 메쉬 데이터를 획득하고, 3D 메쉬 데이터를 생성하여 구축함
 ∙ 임무 데이터는 로봇 핸드가 쥐기, 잡기, 돌리기, 흔들기, 긁기 임무를 수행할 때, 로봇 핸드로부터 수집되는 데이터와 객체 바운딩박스, 파지영역, 파지점을 구축함

■ json 예시
 ∙ 물리량 데이터

{
    "object": [
        {
            "id": 1,
            "name": "테라병 500ml",
            "material_code": "KSL2501",
            "deformable": "X"
        }
    ],
    "annotation": [
        {
            "size": {
                "mean": [
                    7.85,
                    7.85,
                    26.412
                ],
                "std": [
                    0.538786035102341,
                    0.6642210193692448,
                    0.3779971420758518
                ]
            },
            "mass": {
                "mean": 0.94,
                "std": 0.009981000708433939
            },
            "barcode": "001.jpg"
        }
    ]
}

 ∙ 품목 데이터

{
    "object": {
        "id": "001",
        "name": "테라병 500ml",
        "material_code": "KSL2501"
    },
    "device": {
        "rgb": "Basler",
        "rgbd": "Intel Realsense"
    },
    "mesh": [
        "001_16k.ojb",
        "001_64k.ojb",
        "001_512k.ojb"
    ],
    "point cloud": [
        "001_pointcloud_16k.ojb",
        "001_pointcloud_64k.ojb",
        "001_pointcloud_512k.ojb"
    ],
    "cuboid_3d": [
        -39.25,
        -39.25,
        -132.06,
        39.25,
        -39.25,
        -132.06,
        39.25,
        39.25,
        -132.06,
        -39.25,
        39.25,
        -132.06,
        -39.25,
        -39.25,
        132.06,
        39.25,
        -39.25,
        132.06,
        39.25,
        39.25,
        132.06,
        -39.25,
        39.25,
        132.06,
        0.0,
        0.0,
        0.0
    ],
    "camera_parameters": {
        "internal": [
            6902.6605804400115,
            0.0,
            1822.7695820047416,
            0.0,
            6920.294616947665,
            2718.988121365652,
            0.0,
            0.0,
            1.0,
            -0.16393645675345545,
            0.15817286075735731,
            0.00047051622343216023,
            -0.00010255690881020144,
            0.16095941315691387
        ],
        "external": [
            -0.22721308278147523,
            0.9738165395332732,
            0.007454015319217661,
            13.666325146886237,
            0.9337024658240873,
            0.2200157713335429,
            -0.2824761329360852,
            19.315974586364263,
            -0.27671993120654914,
            -0.05722244049275366,
            -0.9592453658877357,
            435.94520772215037
        ]
    },
    "image_file_name": "ColorRaw_0_000.png"
}

 ∙ 임무 데이터

{
    "object": {
        "id": "001",
        "name": "테라병 500ml",
        "material_code": "KSL2501",
        "is_deformable": "X"
    },
    "annotation": {
        "device": {
            "hand": "Allegro",
            "tactile": "Physionics"
        },
        "mission_name": "잡기",
        "width": 1920,
        "height": 1080,
        "pose_file": [
            0.501832,
            0.760632,
            -0.41183,
            -140.584,
            0.860051,
            -0.489471,
            0.143978,
            66.4735,
            -0.0920643,
            -0.426448,
            -0.899815,
            831.779,
            0.0,
            0.0,
            0.0,
            1.0
        ],
        "pressure": [
            -0.098,
            0.526,
            0.049,
            -0.056,
            -0.042,
...
}

■ 데이터 구성
 ∙ 물리량 데이터

 ∙ 품목 데이터

 ∙ 임무 데이터

■ 어노테이션 포맷

 ∙ 물리량 데이터

 ∙ 품목 데이터

 ∙ 임무 데이터

데이터셋 구축 담당자

수행기관(주관) : ㈜이튜

수행기관(참여)

데이터 관련 문의처