AI-Hub

데이터 변경이력

데이터 히스토리

소개

일상환경 실내 공간에서의 사람 및 다양한 객체의 상호작용 정보를 3D로 동시에 변환 및 표현하기 위한 AI 학습용 데이터(다중 객체 3차원 표현 데이터)로 사람과 객체 간의 상호작용에 대한 태그, 2D/3D 바운딩박스(사람, 객체, 손), 2D/3D 키포인트(사람), 2D/3D 폴리곤세그멘테이션(사람, 객체)을 구축

구축목적

일상 환경 실내 공간에서의 사람 및 다양한 객체의 상호작용(Interaction) 정보를 3D로 동시에 변환 및 표현한 다중 객체 3차원 표현 인공지능 학습용 데이터를 구축. 사람과 객체 간 상호작용 3D 데이터 셋 구축을 통해 다양한 분야에 활용될 수 있는 3D 학습데이터의 기반을 마련함

데이터 구축 규모
 1) 원천 데이터

2) 라벨링데이터

데이터 분포

- 객체의 수

- 상호작용 카테고리

- 성별 분포

- 연령대별 분포

- 대분류

- 상호작용 중분류

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

활용모델

 ① 인공지능 기반 다중객체 데이터에서의 3차원 사람 포즈 추론 모델
- (개발 목표) 다중객체 데이터에서의 3차원 사람 관절 키포인트를 추정
- (개발 내용) 구축되는 학습데이터를 활용 Hybrik 모델을 학습해 주어진 컬러 이미지에서 SMPL human body 모델의 파라미터를 추정하고 이를 바탕으로 3차원 사람 관절 키포인트의 위치를 추정하는 모델을 개발

 ② 인공지능 기반 다중객체 데이터에서의 객체 탐지 모델

- (개발 목표) 다중객체 데이터에서의 객체의 위치를 탐지

- (개발 내용) 구축되는 학습데이터를 활용 DynamicHead 모델을 학습해 주어진 컬러 이미지에서 객체의 위치를 탐지하는 모델을 개발 

 ③ 인공지능 기반 다중객체 데이터에서의 객체 분할 모델

- (개발 목표) 다중객체 데이터에서의 객체의 영역을 분할

- (개발 내용) 구축되는 학습데이터를 활용 Swin Transformer 모델을 학습해 주어진 컬러 이미지에서 객체의 영역을 분할하는 모델을 개발

데이터 성능 점수

설명서 및 활용가이드 다운로드

데이터 구성

어노테이션 포맷

라벨링데이터 예시

• 라벨링데이터(json)

 { 
  "info": {
    "description": "3D object interation data",
    "copyright": "Copyright 2022 이오시스 ALL rights reserved",
    "created_date": "2022-08-29",
    "region_name": "서울시 금천구",
    "images_location": "가산테라타워",
    "environment": "Internal",
    "virtual_background": "N",
    "image": {
      "id": "I_M022_T019-T01-00_T000-T00-00_B00031_L.JPG",
      "path": "1.Dataset/1.원천데이터/상호작용데이터/여가 시간/게임 및 놀이/I_M022_T019-T01-00_T000-T00-00_B00031_L.JPG",
      "file_format": "jpg",
      "imsize": "12.66MB",
      "width": 4000.0,
      "height": 6000.0,
      "Aspect ratio": {
        "x": 2.0,
        "y": 3.0
      },
      "resolution": {
        "x": 4000.0,
        "y": 6000.0
      }
    },
    "camera": {
      "device": "NIKON D5500",
      "position":  "L",
      "focal_length": [
        4944.280603,
        4944.280603
      ],
      "principal_point": [
        2024.827071,
        3002.016206
      ],
      "rotation": [
        [
           0.00396019869893477,
          -0.149914526889518,
          0.988691029317935
        ],
{ 생략 }
      ],
      "translation": [
        [
          -2346.4283309539796
        ],
{ 생략 }
      ],
      "intrinsic": [
        [
          4944.28060327515,
          0.0,
          2024.8270707662
        ],
{ 생략 }
      ],
      "extrinsic": [
        [
          0.00396019869893463,
          -0.00656409826283263,
          0.99997061428837,
          -75.9708703492727
        ],
{ 생략 }
      ]
    },
    "actor": {
       "id": "M022",
      "gender": "0",
      "age": 20,
      "height": 164.0,
      "weight": 60.0,
      "height_of_shoes": 2.0,
      "obj_path": ""1.Dataset/1.원천데이터/상호작용데이터/여가 시간/게임 및 놀이/I_M022_T019-T01-00_T000-T00-00_B00031.obj",
      "ply_path": "1.Dataset/1.원천데이터/상호작용데이터/여가 시간/게임 및 놀이/I_M022_T019-T01-00_T000-T00-00_B00031.ply",
      "interaction": "사람이 젠가에서 나무 블럭을 빼려고 하는 장면",
      "rotation": [
        [
           0.9991032481193542,
          -0.015215848572552204,
          -0.039512697607278824
        ],
{ 생략 }
      ],
      "translation": [
        0.13612505793571472,
        0.6094658374786377,
        -0.7525120973587036
      ],
      "scale": [
         1000.0,
         1000,0,
         1000.0
    },
    "actor_object": {
      "obj_path": "1.Dataset/1.원천데이터/상호작용데이터/여가 시간/게임 및 놀이/B00031.obj",
      "ply_path": "1.Dataset/1.원천데이터/상호작용데이터/여가 시간/게임 및 놀이/B00031.ply",
      "mtl_path": "1.Dataset/1.원천데이터/상호작용데이터/여가 시간/게임 및 놀이/B00031.mtl",
      "texture_path": "1.Dataset/1.원천데이터/상호작용데이터/여가 시간/게임 및 놀이/B00031.jpg"
    },
    "object": [
      {
        "id": "T019-T01-00",
        "name": "젠가1",
        "size": [
          8.0,
          11.0,
          26.0
        ],
        "obj_path": "1.Dataset/1.원천데이터/3D Object/젠가/T019-T01-00.ob“,
        "ply_path": "1.Dataset/1.원천데이터/3D Object/젠가/T019-T01-00.ply",
        "mtl_path": "1.Dataset/1.원천데이터/3D Object/젠가/T019-T01-00.mtl",
        "texture_path": "1.Dataset/1.원천데이터/3D Object/젠가/T019-T01-00.jpg",
        "scale": [
          0.9546455143013948,
          1.0030155240341476,
          0.943882043098822
        ],
        "rotation": [
          [
            -0.9872232796791166,
            -0.0016036790570643185,
            -0.006200339362221716
          ],
( 생략 )
        ],
        "translation": [
          18.47860809421319,
          871.9758671835308,
          24.99056868269422
        ]
      }
    ]
  },
  "annotation": {
    "actor_object": {
      "keypoint": {
        "2d": [
          [
            1853.0368914828464,
            3632.5568045528717,
            2
          ],
{ 생략 }
        ]
      },
      "hand_label": {
          "righthand": " 휴대용 물품 접촉",
          "lefthand": " 고정용 물품 접촉"
      },
      "object_label": "젠가"
    },
    "actor": {
      "segmentation": [
        [
          1256.3513877039204,
          2620.2351437752
        ],
{ 생략 }
      ],
      "keypoint": {
        "2d": [
          [
            304.593,
            3568.27,
            1
          ],
{ 생략 }
        ],
        "3d": [
          [
            129.70298474573823,
            777.4988645759622,
            -800.3620353643031
          ],
{ 생략 }
        ]
      },
      "bbox": {
        "2d": [
          0.0,
          2620.2351437752,
          2056.1865049689527,
          2619.878284574895
        ],
        "3d": [
          [
            -0.01682471816665443,
            -0.25648384045460293,
            0.3965613690332172
          ],
{ 생략 }
        ],
        "righthand": [
          1547.7863692793978,
          3238.3646340503947,
          265.30376830029036,
          254.33466646395482
        ],
        "lefthand": [
          1704.860843539989,
          3542.3427926651016,
          360.3274408132663,
          197.02577357896234
        ]
       }
      },
      "object": [
        {
          "segmentation": [
            [
              2308.0,
              3050.0
            ],
{ 생략 }
          ],
          "bbox": {
            "2d": [
              2161.0,
              3029.0,
              270.0,
              573.0
            ],
            "3d": [
              [
                -0.0038720000000000976,
                -0.19960500000000003,
                -0.0259915
              ],
{ 생략 }
            ]
          }
        }
      ],
      "first_category": "I_L01",
      "second_category": "I_M03",
      "third_category": "I_S42"
  }
}
 

데이터셋 구축 담당자

수행기관(주관) : ㈜스위트케이

수행기관(참여)

데이터 관련 문의처