AI-Hub

데이터 변경이력

데이터 히스토리

소개

일상환경 실외 공간에서의 사람 및 다양한 객체의 상호작용 정보를 3D로 동시에 변환 및 표현하기 위한 AI 학습용 데이터(다중 객체 3차원 표현 데이터)로 사람과 객체 간의 상호작용에 대한 태그, 2D/3D 바운딩박스(사람, 객체, 손), 2D/3D 키포인트(사람), 2D/3D 폴리곤세그멘테이션(사람, 객체)을 구축

구축목적

일상 환경 실외 공간에서의 사람 및 다양한 객체의 상호작용(Interaction) 정보를 3D로 동시에 변환 및 표현한 다중 객체 3차원 표현 인공지능 학습용 데이터를 구축. 사람과 객체 간 상호작용 3D 데이터 셋 구축을 통해 다양한 분야에 활용될 수 있는 3D 학습데이터의 기반을 마련함

데이터 구축 규모
 1) 원천 데이터

 2) 라벨링데이터

데이터 분포
- 객체의 수

- 상호작용 카테고리

- 성별 분포

- 연령대별 분포

- 대분류

- 상호작용 중분류

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

활용모델

① 인공지능 기반 다중객체 데이터에서의 3차원 사람 포즈 추론 모델

 - (개발 목표) 다중객체 데이터에서의 3차원 사람 관절 키포인트를 추정

 - (개발 내용) 구축되는 학습데이터를 활용 SPIN 모델을 학습해 주어진 컬러 이미지에서 SMPL human body 모델의 파라미터를 추정하고 이를 바탕으로 3차원 사람 관절 키포인트의 위치를 추정하는 모델을 개발 

② 인공지능 기반 다중객체 데이터에서의 객체 탐지 모델

 - (개발 목표) 다중객체 데이터에서의 객체의 위치를 탐지

 - (개발 내용) 구축되는 학습데이터를 활용 YoloR 모델을 학습해 주어진 컬러 이미지에서 객체의 위치를 탐지하는 모델을 개발 

③ 인공지능 기반 다중객체 데이터에서의 객체 분할 모델  

 - (개발 목표) 다중객체 데이터에서의 객체의 영역을 분할

 - (개발 내용) 구축되는 학습데이터를 활용 SpineNet 모델을 학습해 주어진 컬러 이미지에서 객체의 영역을 분할하는 모델을 개발 

데이터 성능 점수

설명서 및 활용가이드 다운로드

데이터 구성

어노테이션 포맷

라벨링데이터 예시

• 라벨링데이터(json)

{ 
  "info": {
    "description": "3D object interation data",
    "copyright": "Copyright 2022 이오시스 ALL rights reserved",
    "created_date": "2022-09-20",
    "region_name": "서울시 금천구",
    "images_location": "공원",
    "environment": "External",
    "virtual_background": "N",
    "image": {
      "id": "E_F053_T101-T01-00_T000-T00-00_B00067_C.JPG",
      "path": "1.원천데이터/상호작용데이터/의무 시간/가사노동/E_F053_T101-T01-00_T000-T00-00_B00067_C.JPG",
      "file_format": "jpg",
      "imsize": "12.34MB",
      "width": 4000.0,
      "height": 6000.0,
      "Aspect ratio": {
        "x": 2.0,
        "y": 3.0
      },
      "resolution": {
        "x": 4000.0,
        "y": 6000.0
      }
    },
    "camera": {
      "device": "NIKON D5500",
      "position": "C",
      "focal_length": [
        8851.33870301534,
        8850.38217636392
      ],
      "principal_point": [
        2017.82656249018,
        3028.08148673727
      ],
      "rotation": [
        [
          1.0,
          0.0,
          0.0
        ],
{ 생략 }
      ],
      "translation": [
        [
          0.0
        ],
{ 생략 }
      ],
      "intrinsic": [
        [
          8851.33870301534,
          0.0,
          2017.82656249018
        ],
{ 생략 }
      ],
      "extrinsic": [
        [
          1.0,
          0.0,
          0.0,
          0.0
        ],
{ 생략 }
      ]
    },
    "actor": {
      "id": "F053",
      "gender": "F",
      "age": 40,
      "height": 163.0,
      "weight": 45.0,
      "height_of_shoes": 2.0,
      "obj_path": "1.원천데이터/상호작용데이터/의무 시간/가사노동/E_F053_T101-T01-00_T000-T00-00_B00067.obj",
      "ply_path": "1.원천데이터/상호작용데이터/의무 시간/가사노동/E_F053_T101-T01-00_T000-T00-00_B00067.ply",
      "interaction": "사람이 플라스틱음식통 뚜껑을 열려고 하는 장면",
      "rotation": [
        [
          1.0,
          0.0,
          0.0
        ],
{ 생략 }
      ],
      "translation": [
        0,
        0,
        0
      ],
      "scale": [
        1000.0,
        1000.0,
        1000.0
      ]
    },
    "object": [
      {
        "id": "T101-T01-00",
        "name": "플라스틱음식통1",
        "size": [
          16.0,
          10.0,
          5.0
        ],
        "obj_path": "01.원천데이터/3D 객체/플라스틱음식통1 T101-T01-00/T101-T01-00.obj",
        "ply_path": "01.원천데이터/3D 객체/플라스틱음식통1 T101-T01-00/T101-T01-00.ply",
        "mtl_path": "1.원천데이터/3D Object/플라스틱음식통/T101-T01-00.mtl",
        "texture_path": "1.원천데이터/3D Object/플라스틱음식통/T101-T01-00.jpg",
        "scale": [
          100.0,
          100.0,
          100.0
        ],
        "rotation": [
          [
            0.7039755292446519,
            -0.3784812352755489,
            -0.6009745491857429
          ],
{ 생략 }
        ],
        "translation": [
          110.33307773752254,
          77.92130495818564,
          4097.295058633964
        ]
      }
    ]
  },
  "annotation": {
    "actor_object": {
      "keypoint": {
        "2d": [
          [
            2257.364577330757,
            3241.4376207141163,
            2
          ],
{ 생략 }
        ]
      },
      "hand_label": {
        "righthand": " 휴대용 물품 접촉",
        "lefthand": " 휴대용 물품 접촉"
      },
      "object_label": "플라스틱음식통"
    },
    "actor": {
      "segmentation": [
        [
          1288.8307649084618,
          2704.952510556263
        ],
{ 생략 }
      ],
      "keypoint": {
        "2d": [
          [
            1777.42,
            3390.65,
            1
          ],
{ 생략 }
        ],
        "3d": [
          [
            -119.30497121716166,
            180.1844868807976,
            4295.6757240393745
          ],
{ 생략 }
        ]
      },
      "bbox": {
        "2d": [
          1288.8307649084618,
          1911.3791604819562,
          1301.0983873402383,
          3393.4300744686216
        ],
        "3d": [
          [
            -0.01917603611946106,
            0.28126049041748047,
            4.234604835510254
          ],
{ 생략 }
        ],
        "righthand": [
          1932.699167894436,
          3145.983518007107,
          300.60032955450015,
          203.09015710191352
        ],
        "lefthand": [
          2196.9853651647945,
          3201.1272023141046,
          156.01630487170132,
          113.64978005464036
        ]
       }
      },
      "object": [
        {
          "segmentation": [
            [
              2386.0,
              3098.0
            ],
{ 생략 }
          ],
          "bbox": {
            "2d": [
              2074.0,
              3085.0,
              356.0,
              224.0
            ],
            "3d": [
              [
                0.0008205000000000018,
                -0.03157150000000003,
                -0.0032649999999999624
              ],
{ 생략 }
            ]
          }
        }
      ],
      "first_category": "E_L02",
      "second_category": "E_M01",
      "third_category": "E_S47"
  }
}
 

데이터셋 구축 담당자

수행기관(주관) : ㈜스위트케이

수행기관(참여)

데이터 관련 문의처