AI-Hub

데이터 변경이력

데이터 히스토리

소개

가사 등 가정환경 사람-로봇 간 공유 작업을 위한 VLM(Vison-Language Model) 기반 미세조정(Fine-tuning) 데이터

구축목적

- 가정환경 내 로봇 활용의 확대 
- 사람-로봇 공유 작업을 위한 표준화된 이미지-텍스트 벤치마크

데이터 구축 규모
 - 3D CAD 스캔데이터 200세트(*.obj, *.mtl, *.png, *.json)
 - 실제/가상 환경 촬영 데이터 100,190세트(*.png, *.npy, *.json)

데이터 분포

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

[참조 물체 위치 검출 (Referring Expression Comprehension)] - PolyFormer

- "Polyformer: Referring image segmentation as sequential polygon generation." CVPR 2023
- 선정 사유: 기존 픽셀 레벨로 해결한 다른 모델과 다른 접근이 polygon을 예측하는 방식을 픽셀 레벨로 문제를 해결한 다른 모델의 모듈과 함께 사용해 성능을 향상하고자 선정
- 특징: 기존 픽셀레벨로 해결했던 segmentatio 및 detection 문제를 polygon을 예측하는 문제로 바꾸어 문제를 해결함. 이를 위해 regression-based transformer decoder를 제안
- AI 모델 적용 인공지능 활용 예시: 물체의 정확한 형상까지 원하는 경우가 아닌 경우 더 높은 정확도로 물체가 놓여 있는 위치를 검출할 수 있기 때문에 목표 물체까지의 로봇 내비게이션과 같은 작업에 사용될 수 있음

[참조 이미지 분할 (Referring Image Segmentation)] - LAVT

- LAVT: Language-Aware Vision Transformer for Referring Image Segmentation, CVPR, 2022
- RIS 태스크를 수행할 수 있는 모델
- 선정 사유: 2024년 기준 RIS 최고 성능 모델
- 특징: 이미지 transformer에 언어 인코더에서 나온 특징을 직접적으로 사용
- AI 모델 적용 인공지능 활용 예시: 로봇이 가정환경에서 사람과 함께 작업할 때, 물체의 공식적 명칭뿐 아니라 물체의 특징(크기, 색상, 위치 등)을 통한 표현을 통해서도 물체를 인식하고 협력 작업에 활용

설명서 및 활용가이드 다운로드

데이터 구성

어노테이션 포맷

데이터 포맷(물체 세그멘테이션, 텍스트 라벨링)

json 예시

{
    "images": {
        "file_name": "008037_000000.png",
        "depth_file_name": "008037_000000.npy",
        "height": 1080,
        "width": 1920,
        "depth_height": 1024,
        "depth_width": 1024,
        "id": 2008037000000,
        "camera_info": {
            "depth_scale": 10,
            "camera_type": "azure_kinect"
        },
        "environment": "living_01",
        "working_stage": "ready",
        "luminous_intensity": 1150,
        "camera_angle": "각도조건3"
    },
    "annotations": [
        {
            "segmentation": {
                "counts":
"Zdm`0                 "size": [
                    1080,
                    1920
                ]
            },
            "area": 58520.0,
            "iscrowd": 0,
            "image_id": 2008037000000,
            "bbox": [
                513,
                426,
                821,
                616
            ],
            "category_id": 4,
            "id": 2008037000000,
            "referring_expression": "저 은색 납작한 형태의 노트북을 위쪽으로 빨리 가져와",
            "token": [
                "▁저",
                "▁",
                "은",
                "색",
                "▁",
                "납",
                "작",
                "한",
                "▁형태",
                "의",
                "▁노트북",
                "을",
                "▁위",
                "쪽으로",
                "▁빨리",
                "▁가져",
                "와"
            ],
            "token_length": 17
        },...        
    ],
    "categories": [
        {
            "supercategory": "Daily supplies",
            "category_id": 4,
            "usage_id": 1,
            "name": "Laptop",
            "korean_name": "노트북",
            "weight": 1.0
        },...        
    ]
}

데이터셋 구축 담당자

수행기관(주관) : ㈜미디어그룹사람과숲

수행기관(참여)

데이터 관련 문의처

AI모델 관련 문의처

저작도구 관련 문의처