콘텐츠로 건너뛰기 메뉴로 건너뛰기 푸터로 건너뛰기
데이터를 불러오고 있습니다
데이터를 저장하고 있습니다
#AI학습 # 사람 # 객체 # 상호작용 # 2D # 3D # 실내 # Multi-object # 3D Representation

NEW 다중 객체 3차원 표현 데이터(실내)

다중 객체 3차원 표현 데이터 실내 아이콘 이미지
  • 분야영상이미지
  • 유형 3D , 이미지
구축년도 : 2022 갱신년월 : 2023-12 조회수 : 2,216 다운로드 : 57 용량 :

※ 23년 신규 개방되는 데이터로 샘플데이터는 추후 업로드 예정입니다.

※ 내국인만 데이터 신청이 가능합니다.

  • 데이터 변경이력

    데이터 변경이력
    버전 일자 변경내용 비고
    1.1 2023-12-15 데이터 최종 개방
    1.0 2023-07-05 데이터 개방(Beta Version)

    데이터 히스토리

    데이터 히스토리
    일자 변경내용 비고
    2023-12-27 산출물 전체 공개

    소개

    일상환경 실내 공간에서의 사람 및 다양한 객체의 상호작용 정보를 3D로 동시에 변환 및 표현하기 위한 AI 학습용 데이터(다중 객체 3차원 표현 데이터)로 사람과 객체 간의 상호작용에 대한 태그, 2D/3D 바운딩박스(사람, 객체, 손), 2D/3D 키포인트(사람), 2D/3D 폴리곤세그멘테이션(사람, 객체)을 구축

    구축목적

    일상 환경 실내 공간에서의 사람 및 다양한 객체의 상호작용(Interaction) 정보를 3D로 동시에 변환 및 표현한 다중 객체 3차원 표현 인공지능 학습용 데이터를 구축. 사람과 객체 간 상호작용 3D 데이터 셋 구축을 통해 다양한 분야에 활용될 수 있는 3D 학습데이터의 기반을 마련함
  • 데이터 구축 규모
     1) 원천 데이터

    1차 경로  2차 경로 3차 경로 파일 포맷 제출 수량
    최종
    상호작용 데이터 여가 시간 게임 및 놀이 .JPG(2D) 3,360
    .OBJ(3D) 1,120
    .PLY(3D) 1,120
    문화 및 관광 .JPG(2D) 1,221
    .OBJ(3D) 407
    .PLY(3D) 407
    미디어 이용 .JPG(2D) 2,040
    .OBJ(3D) 680
    .PLY(3D) 680
    스포츠 및 레포츠 .JPG(2D) 1,434
    .OBJ(3D) 478
    .PLY(3D) 478
    의무 시간 가사노동 .JPG(2D) 14,859
    .OBJ(3D) 4,953
    .PLY(3D) 4,953
    이동 .JPG(2D) 318
    .OBJ(3D) 106
    .PLY(3D) 106
    .JPG(2D) 4,212
    .OBJ(3D) 1,404
    .PLY(3D) 1,404
    학습 .JPG(2D) 555
    .OBJ(3D) 185
    .PLY(3D) 185
    필수 시간 개인 유지 .JPG(2D) 8,019
    .OBJ(3D) 2,673
    .PLY(3D) 2,673
    3D Object 객체별   .OBJ 359
    .JPG 359
    .MTL 359
    .PLY 359
    3D 사람 및 객체     .OBJ 12,006
    .JPG 12,006
    .MTL 12,006
    .PLY 12,006
    총 수량 109,490

     

    2) 라벨링데이터

    1차 경로  2차 경로 3차 경로 파일 포맷 제출 수량
    최종
    상호작용 데이터 여가 시간 게임 및 놀이 .JSON 3,360
    문화 및 관광 .JSON 1,221
    미디어 이용 .JSON 2,040
    스포츠 및 레포츠 .JSON 1,434
    의무 시간 가사노동 .JSON 14,859
    이동 .JSON 318
    .JSON 4,212
    학습 .JSON 555
    필수 시간 개인 유지 .JSON 8,019
    총 수량 36,018

     

    데이터 분포

    - 객체의 수

    구분 개 수
    객체(다중.변형포함) 359

     

    - 상호작용 카테고리

    구분 개 수
    카테고리 59

     

    - 성별 분포

    성별구분 비율
    남자 54.20%
    여자 45.80%
    총계 100%

     

    - 연령대별 분포

    성별 인원 비율
    ~9세 22 6.80%
    10대 32 9.20%
    20대 39 16.10%
    30대 42 16.30%
    40대 42 13.50%
    50대 53 17.30%
    60대이상 62 20.80%
    총계 292 100%

     

    - 대분류

    구분 필수 시간 의무 시간 여가 시간 합계
    실내 22% 55% 22% 100%

     

    - 상호작용 중분류

    대분류 범주 중분류
    필수 시간 15~25% 개인유지      
    의무 시간 40~60% 가사노동 이동 학습
    여가 시간 25~35% 게임 및 놀이 문화 및 관광 미디어 이용 스포츠 및 레포츠
  • 저작도구 설명서 및 저작도구 다운로드

    저작도구 설명서 다운로드 저작도구 다운로드
  • AI 모델 상세 설명서 다운로드

    AI 모델 상세 설명서 다운로드 AI 모델 다운로드

    활용모델

     ① 인공지능 기반 다중객체 데이터에서의 3차원 사람 포즈 추론 모델
    - (개발 목표) 다중객체 데이터에서의 3차원 사람 관절 키포인트를 추정
    - (개발 내용) 구축되는 학습데이터를 활용 Hybrik 모델을 학습해 주어진 컬러 이미지에서 SMPL human body 모델의 파라미터를 추정하고 이를 바탕으로 3차원 사람 관절 키포인트의 위치를 추정하는 모델을 개발

    3차원 사람 포즈 추론 모델 학습 알고리즘

     

     ② 인공지능 기반 다중객체 데이터에서의 객체 탐지 모델

    - (개발 목표) 다중객체 데이터에서의 객체의 위치를 탐지

    - (개발 내용) 구축되는 학습데이터를 활용 DynamicHead 모델을 학습해 주어진 컬러 이미지에서 객체의 위치를 탐지하는 모델을 개발 

    객체 탐지 모델 학습 알고리즘

     

     ③ 인공지능 기반 다중객체 데이터에서의 객체 분할 모델

    - (개발 목표) 다중객체 데이터에서의 객체의 영역을 분할

    - (개발 내용) 구축되는 학습데이터를 활용 Swin Transformer 모델을 학습해 주어진 컬러 이미지에서 객체의 영역을 분할하는 모델을 개발

    객체 분할 모델 학습 알고리즘

  • 데이터 성능 점수

    측정값 (%)
    기준값 (%)

    데이터 성능 지표

    데이터 성능 지표
    번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수
    1 객체 탐지 성능 Object Detection DynamicHead AP 50 % 81.7 %
    2 객체 분할 성능 Object Detection Swin Transformer mAP 35 % 73.93 %
    3 3차원 사람 포즈 추론 성능 3D Pose Estimation Hybrik MPJPE 95 mm 94.77 mm
    4 3차원 사람 포즈 추론 성능 3D Pose Estimation Hybrik PA-MPJPE 65 mm 56.14 mm

    ※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.

    ※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)

  • 설명서 및 활용가이드 다운로드

    데이터 설명서 다운로드 구축활용가이드 다운로드

    데이터 구성

    데이터 종류 원천데이터 라벨링데이터
    실내 3D Object .obj -
    .ply
    .mtl
    .jpg
    3D 사람 및 객체 .obj
    .ply
    .mtl
    .jpg
    상호작용데이터 .obj .json
    .ply
    .jpg

     

    어노테이션 포맷

    구분 속성명 타입 필수여부 설명 범위 비고
    1 info.description String Y 데이터 이름    
    2 info.copyright String Y 데이터 저작권    
    3 info.created_date String Y 데이터 생성 날짜    
    4 info.region_name String N 촬영 지역    
    5 info.images_location String N 촬영 장소    
    6 info.environment string Y 촬영 환경1    
    (실내외 여부)
    7 info.virtual_background string N 촬영 환경2    
    (가상배경 여부)
    8 info.image Object - 이미지 정보    
    9 info.image.id String Y 이미지 식별자    
    10 info.image.path String Y 이미지 경로    
    11 info.image.file_format String Y 이미지 포멧    
    12 info.image.imsize String Y 이미지 크기    
    13 info.image.width Integer Y 이미지 넓이    
    14 info.image.height Integer Y 이미지 높이    
    15 info.image.Aspect ratio Object Y 이미지 비율    
    16 info.image.resolution Object Y 이미지 해상도    
    17 info.camera Object - 카메라 정보    
    18 info.camera.device String N 카메라 장비    
    19 info.camera.position String Y 카메라 위치    
    20 info.camera.focal_length List Y 카메라 초점거리    
    21 info.camera.principal_point List Y 카메라 주점    
    22 info.camera.rotation List Y 카메라 회전 메트릭스    
    23 info.camera.translation List Y 카메라 이동 메트릭스     
    24 info.camera.intrinsic List Y 카메라 내부 파라미터    
    25 info.camera.extrinsic List Y 카메라 외부 파라미터    
    26 info.actor Object - 연기자 정보    
    27 info.actor.id String Y 촬영자 식별자    
    28 info.actor.gender String Y 촬영자 성별    
    29 info.actor.age Integer Y 촬영자 연령대    
    30 info.actor.height Integer Y 촬영자 키    
    31 info.actor.weight Integer Y 촬영자 몸무게    
    32 info.actor.height_of_shoes Integer N 촬영자 신발높이    
    33 info.actor.obj_path String Y 촬영자 포즈 동작 메쉬 경로    
    34 info.actor.ply_path String Y 촬영자 포즈 동작 point cloud 경로    
    35 info.actor.interaction String Y 사람-객체 상호작용    
    36 info.actor.rotation List Y 촬영자 회전 메트릭스    
    37 info.actor.translation List Y 촬영자 이동 메트릭스     
    38 info.actor.scale List Y 촬영자 비율    
    39 info.actor_object.obj_path String Y 촬영자 객체 포함 메쉬 경로    
    40 info.actor_object.ply_path String Y 촬영자 객체 포함 point cloud 경로    
    41 info.actor_object.mtl_path String Y 촬영자 객체 포함 mtl 경로    
    42 info.actor_object.texture_path String Y 촬영자 객체 포함 텍스쳐 경로    
    43 info.object List - 객체 정보    
    44 info.object.id String Y 객체 식별자    
    45 info.object.name String Y 객체 이름    
    46 info.object.size     객체 실제 크기    
    47 info.object.obj_path String Y 객체 메쉬 경로    
    48 info.object.ply_path String Y 객체 point cloud 경로    
    49 info.object.mtl_path String N 객체 mtl 경로    
    50 info.object.texture_path String N 객체 텍스쳐 경로    
    51 info.object.scale List Y 객체 비율    
    52 info.object.rotation List Y 객체 회전 메트릭스    
    53 info.object.translation List Y 객체 이동 메트릭스     
    54 annotation.actor_object Object Y 사람-사물 상호작용 관련    
    55 annotation.actor_object.keypoint.2d List Y 사람-사물 2D 키포인트    
    56 annotation.actor_object.hand_label Object Y 사람 손에 대한 상호작용 라벨 정보    
    57 annotation.actor_object.hand_label.righthand List Y 사람 손에 대한 상호작용정보(오른손)    
    58 annotation.actor_object.hand_label.lefthand List Y 사람 손에 대한 상호작용 정보(왼손)    
    59 annotation.actor_object.object_label String Y 상호작용 객체 명    
    60 annotation.actor Object Y 사람 라벨 정보    
    61 annotation.actor.segmentation List Y 사람 2D 세그먼테이션    
    62 annotation.actor.keypoint.2d List Y 2D 관절 위치    
    63 annotation.actor.keypoint.3d List Y 3D 관절 위치    
    64 annotation.actor.bbox.2d List Y 사람 2D 박스    
    65 annotation.actor.bbox.3d List Y 사람 3D 박스    
    66 annotation.actor.bbox.righthand List Y 사람 2D 손 정보(오른손)    
    67 annotation.actor.bbox.lefthand List Y 사람 2D 손 정보(왼손)    
    68 annotation.object List Y 객체 라벨 정보    
    69 annotation.object.segmentation List Y 객체 세그먼테이션    
    70 annotation.object.bbox.2D List Y 객체 2D 박스    
    71 annotation.object.bbox.3D List Y 객체 3D 박스    
    72 annotation.first_category String Y 상호작용 대분류    
    73 annotation.second_category String Y 상호작용 중분류    
    74 annotation.third_category String Y 상호작용 소분류  
     

     

    라벨링데이터 예시

    • 라벨링데이터(json)


     { 
      "info": {
        "description": "3D object interation data",
        "copyright": "Copyright 2022 이오시스 ALL rights reserved",
        "created_date": "2022-08-29",
        "region_name": "서울시 금천구",
        "images_location": "가산테라타워",
        "environment": "Internal",
        "virtual_background": "N",
        "image": {
          "id": "I_M022_T019-T01-00_T000-T00-00_B00031_L.JPG",
          "path": "1.Dataset/1.원천데이터/상호작용데이터/여가 시간/게임 및 놀이/I_M022_T019-T01-00_T000-T00-00_B00031_L.JPG",
          "file_format": "jpg",
          "imsize": "12.66MB",
          "width": 4000.0,
          "height": 6000.0,
          "Aspect ratio": {
            "x": 2.0,
            "y": 3.0
          },
          "resolution": {
            "x": 4000.0,
            "y": 6000.0
          }
        },
        "camera": {
          "device": "NIKON D5500",
          "position":  "L",
          "focal_length": [
            4944.280603,
            4944.280603
          ],
          "principal_point": [
            2024.827071,
            3002.016206
          ],
          "rotation": [
            [
               0.00396019869893477,
              -0.149914526889518,
              0.988691029317935
            ],
    { 생략 }
          ],
          "translation": [
            [
              -2346.4283309539796
            ],
    { 생략 }
          ],
          "intrinsic": [
            [
              4944.28060327515,
              0.0,
              2024.8270707662
            ],
    { 생략 }
          ],
          "extrinsic": [
            [
              0.00396019869893463,
              -0.00656409826283263,
              0.99997061428837,
              -75.9708703492727
            ],
    { 생략 }
          ]
        },
        "actor": {
           "id": "M022",
          "gender": "0",
          "age": 20,
          "height": 164.0,
          "weight": 60.0,
          "height_of_shoes": 2.0,
          "obj_path": ""1.Dataset/1.원천데이터/상호작용데이터/여가 시간/게임 및 놀이/I_M022_T019-T01-00_T000-T00-00_B00031.obj",
          "ply_path": "1.Dataset/1.원천데이터/상호작용데이터/여가 시간/게임 및 놀이/I_M022_T019-T01-00_T000-T00-00_B00031.ply",
          "interaction": "사람이 젠가에서 나무 블럭을 빼려고 하는 장면",
          "rotation": [
            [
               0.9991032481193542,
              -0.015215848572552204,
              -0.039512697607278824
            ],
    { 생략 }
          ],
          "translation": [
            0.13612505793571472,
            0.6094658374786377,
            -0.7525120973587036
          ],
          "scale": [
             1000.0,
             1000,0,
             1000.0
        },
        "actor_object": {
          "obj_path": "1.Dataset/1.원천데이터/상호작용데이터/여가 시간/게임 및 놀이/B00031.obj",
          "ply_path": "1.Dataset/1.원천데이터/상호작용데이터/여가 시간/게임 및 놀이/B00031.ply",
          "mtl_path": "1.Dataset/1.원천데이터/상호작용데이터/여가 시간/게임 및 놀이/B00031.mtl",
          "texture_path": "1.Dataset/1.원천데이터/상호작용데이터/여가 시간/게임 및 놀이/B00031.jpg"
        },
        "object": [
          {
            "id": "T019-T01-00",
            "name": "젠가1",
            "size": [
              8.0,
              11.0,
              26.0
            ],
            "obj_path": "1.Dataset/1.원천데이터/3D Object/젠가/T019-T01-00.ob“,
            "ply_path": "1.Dataset/1.원천데이터/3D Object/젠가/T019-T01-00.ply",
            "mtl_path": "1.Dataset/1.원천데이터/3D Object/젠가/T019-T01-00.mtl",
            "texture_path": "1.Dataset/1.원천데이터/3D Object/젠가/T019-T01-00.jpg",
            "scale": [
              0.9546455143013948,
              1.0030155240341476,
              0.943882043098822
            ],
            "rotation": [
              [
                -0.9872232796791166,
                -0.0016036790570643185,
                -0.006200339362221716
              ],
    ( 생략 )
            ],
            "translation": [
              18.47860809421319,
              871.9758671835308,
              24.99056868269422
            ]
          }
        ]
      },
      "annotation": {
        "actor_object": {
          "keypoint": {
            "2d": [
              [
                1853.0368914828464,
                3632.5568045528717,
                2
              ],
    { 생략 }
            ]
          },
          "hand_label": {
              "righthand": " 휴대용 물품 접촉",
              "lefthand": " 고정용 물품 접촉"
          },
          "object_label": "젠가"
        },
        "actor": {
          "segmentation": [
            [
              1256.3513877039204,
              2620.2351437752
            ],
    { 생략 }
          ],
          "keypoint": {
            "2d": [
              [
                304.593,
                3568.27,
                1
              ],
    { 생략 }
            ],
            "3d": [
              [
                129.70298474573823,
                777.4988645759622,
                -800.3620353643031
              ],
    { 생략 }
            ]
          },
          "bbox": {
            "2d": [
              0.0,
              2620.2351437752,
              2056.1865049689527,
              2619.878284574895
            ],
            "3d": [
              [
                -0.01682471816665443,
                -0.25648384045460293,
                0.3965613690332172
              ],
    { 생략 }
            ],
            "righthand": [
              1547.7863692793978,
              3238.3646340503947,
              265.30376830029036,
              254.33466646395482
            ],
            "lefthand": [
              1704.860843539989,
              3542.3427926651016,
              360.3274408132663,
              197.02577357896234
            ]
           }
          },
          "object": [
            {
              "segmentation": [
                [
                  2308.0,
                  3050.0
                ],
    { 생략 }
              ],
              "bbox": {
                "2d": [
                  2161.0,
                  3029.0,
                  270.0,
                  573.0
                ],
                "3d": [
                  [
                    -0.0038720000000000976,
                    -0.19960500000000003,
                    -0.0259915
                  ],
    { 생략 }
                ]
              }
            }
          ],
          "first_category": "I_L01",
          "second_category": "I_M03",
          "third_category": "I_S42"
      }
    }
     

  • 데이터셋 구축 담당자

    수행기관(주관) : ㈜스위트케이
    수행기관(주관)
    책임자명 전화번호 대표이메일 담당업무
    윤종현 02-6390-6220 planb@sweetk.co.kr 사업관리, 데이터 정제, 데이터 가공(3D), 데이터 검수
    수행기관(참여)
    수행기관(참여)
    기관명 담당업무
    ㈜이오이스 데이터 수집, 데이터 정제
    ㈜슈퍼브에이아이 데이터 가공(2D)
    ㈜씨유박스 AI학습모델 개발
    데이터 관련 문의처
    데이터 관련 문의처
    담당자명 전화번호 이메일
    윤종현 02-6390-6220 planb@sweetk.co.kr
보건의료 데이터 개방 안내

보건의료 데이터는 온라인 및 오프라인 안심존을 통해 개방됩니다.

안심존이란 안심존 이용메뉴얼 안심존 이용신청
  • 인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
    * 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
    * 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석

    1. AI 허브 접속
      신청자
    2. 안심존
      사용신청
      신청자신청서류 제출*
    3. 심사구축기관
    4. 승인구축기관
    5. 데이터 분석 활용신청자
    6. 분석모델반출신청자
  • 1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기]
    2. 기관생명윤리위원회(IRB) 승인된 연구계획서
    3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
    4. 안심존 이용 신청서 [다운로드]
    5. 보안서약서 [다운로드]
    ※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다.

  • 신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의

데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.

API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.

리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.

※ 파일 병합 리눅스 명령어

find -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"

※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.