AI-Hub

데이터 변경이력

데이터 히스토리

소개

제조, 물류 등 작업이 필요한 산업 현장에서 사람-로봇 간 공유 작업을 위한 VLM(Vison-Language Model) 기반 미세조정(Fine-tuning) 데이터

구축목적

- 로봇을 적극 도입하는 물류 자동화 기술의 고도화 
- 사람-로봇 공유 작업을 위한 표준화된 이미지-텍스트 벤치마크

데이터 구축 규모
 - 3D CAD 스캔데이터 200세트(*.obj, *.mtl, *.png, *.json)
 - 실제/가상 환경 촬영 데이터 100,000세트(*.png, *.npy, *.json)

데이터 분포

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

[참조 물체 위치 검출 (Referring Expression Comprehension)] - PolyFormer

- "Polyformer: Referring image segmentation as sequential polygon generation." CVPR 2023
- 선정 사유: 기존 픽셀 레벨로 해결한 다른 모델과 다른 접근이 polygon을 예측하는 방식을 픽셀 레벨로 문제를 해결한 다른 모델의 모듈과 함께 사용해 성능을 향상하고자 선정
- 특징: 기존 픽셀 레벨로 해결했던 segmentatio 및 detection 문제를 polygon을 예측하는 문제로 바꾸어 문제를 해결함. 이를 위해 regression-based transformer decoder를 제안
- AI 모델 적용 인공지능 활용 예시: 물체의 정확한 형상까지 원하는 경우가 아닌 경우 더 높은 정확도로 물체가 놓여 있는 위치를 검출할 수 있기 때문에 목표 물체까지의 로봇 내비게이션과 같은 작업에 사용될 수 있음

[참조 이미지 분할 (Referring Image Segmentation)] - LAVT

- LAVT: Language-Aware Vision Transformer for Referring Image Segmentation, CVPR, 2022
- RIS 태스크를 수행할 수 있는 모델
- 선정 사유: 2024년 기준 RIS 최고 성능 모델
- 특징: 이미지 transformer에 언어 인코더에서 나온 특징을 직접적으로 사용
- AI 모델 적용 인공지능 활용 예시: 로봇이 제조/물류 환경에서 사람과 함께 작업할 때, 물체의 공식적 명칭뿐 아니라 물체의 특징(크기, 색상, 위치 등)을 통한 표현을 통해서도 물체를 인식하고 협력 작업에 활용

설명서 및 활용가이드 다운로드

데이터 구성

어노테이션 포맷

데이터 포맷(물체 세그멘테이션, 텍스트 라벨링)

json 예시

{
    "images": {
        "file_name": "000271_000002.png",
        "depth_file_name": "000271_000002.npy",
        "height": 1080,
        "width": 1920,
        "depth_height": 1024,
        "depth_width": 1024,
        "id": 1000271000002,
        "camera_info": {
            "depth_scale": 10,
            "camera_type": "azure_kinect"
        },
        "environment": "factory_r_00",
        "working_stage": "ready",
        "luminous_intensity": 1720,
    "camera_angle":  "각도조건2"
    },
    "annotations": [
        {
            "segmentation": {
                "counts":
"bn`e08_Q13M2O1N1O2O001O00100O010O010O10O010O01onN@iP1?WoNDfP1=YoNChP1=WoNDhP1                 "size": [
                    1080,
                    1920
                ]
            },
            "area": 2671.0,
            "iscrowd": 0,
            "image_id": 1000271000002,
            "bbox": [
                653,
                246,
                94,
                63
            ],
            "category_id": 2,
            "id": 1000271000002,
            "referring_expression": "이 긴 모양의 가스토치는 미술 작업에서 녹여야 하는 재료를 가열할 때 유용한 물건입니다",
            "token": [
                "▁이",
                "▁긴",
                "▁모양",
                "의",
                "▁",
                "가스",
                "토",
                "치는",
                "▁",
                "미술",
                "▁작업",
                "에서",
                "▁녹",
                "여",
                "야",
                "▁하는",
                "▁재",
                "료",
                "를",
                "▁가",
                "열",
                "할",
                "▁때",
                "▁유용한",
                "▁물건",
                "입니다"
            ],
            "token_length": 26
        },  ...
    ],
    "categories": [
        {
            "supercategory": "Tools",
            "category_id": 2,
            "usage_id": 0,
            "name": "Gas torch",
            "korean_name": "가스토치",
            "weight": 1.0
        } ...
    ]
}

데이터셋 구축 담당자

수행기관(주관) : ㈜미디어그룹사람과숲

수행기관(참여)

데이터 관련 문의처

AI모델 관련 문의처

저작도구 관련 문의처