콘텐츠로 건너뛰기 메뉴로 건너뛰기 푸터로 건너뛰기
데이터를 불러오고 있습니다
데이터를 저장하고 있습니다
#AI학습 # 사람 # 객체 # 상호작용 # 2D # 3D # 실외 # Multi-object # 3D Representation

NEW 다중 객체 3차원 표현 데이터(실외)

다중 객체 3차원 표현 데이터 실외 아이콘 이미지
  • 분야영상이미지
  • 유형 3D , 이미지
구축년도 : 2022 갱신년월 : 2023-12 조회수 : 1,477 다운로드 : 34 용량 :

※ 23년 신규 개방되는 데이터로 샘플데이터는 추후 업로드 예정입니다

※ 내국인만 데이터 신청이 가능합니다.

  • 데이터 변경이력

    데이터 변경이력
    버전 일자 변경내용 비고
    1.1 2023-12-14 데이터 최종 개방
    1.0 2023-07-05 데이터 개방(Beta Version)

    데이터 히스토리

    데이터 히스토리
    일자 변경내용 비고
    2023-12-27 산출물 전체 공개

    소개

    일상환경 실외 공간에서의 사람 및 다양한 객체의 상호작용 정보를 3D로 동시에 변환 및 표현하기 위한 AI 학습용 데이터(다중 객체 3차원 표현 데이터)로 사람과 객체 간의 상호작용에 대한 태그, 2D/3D 바운딩박스(사람, 객체, 손), 2D/3D 키포인트(사람), 2D/3D 폴리곤세그멘테이션(사람, 객체)을 구축

    구축목적

    일상 환경 실외 공간에서의 사람 및 다양한 객체의 상호작용(Interaction) 정보를 3D로 동시에 변환 및 표현한 다중 객체 3차원 표현 인공지능 학습용 데이터를 구축. 사람과 객체 간 상호작용 3D 데이터 셋 구축을 통해 다양한 분야에 활용될 수 있는 3D 학습데이터의 기반을 마련함
  • 데이터 구축 규모
     1) 원천 데이터

    1차 경로  2차 경로 3차 경로 파일 포맷 제출 수량
    최종
    상호작용 데이터 여가 시간 게임 및 놀이 .JPG(2D) 885
    .OBJ(3D) 295
    .PLY(3D) 295
    교제 및 참여 .JPG(2D) 900
    .OBJ(3D) 300
    .PLY(3D) 300
    기타 .JPG(2D) 663
    .OBJ(3D) 221
    .PLY(3D) 221
    문화 및 관광 .JPG(2D) 135
    .OBJ(3D) 45
    .PLY(3D) 45
    미디어 이용 .JPG(2D) 117
    .OBJ(3D) 39
    .PLY(3D) 39
    스포츠 및 레포츠 .JPG(2D) 9,639
    .OBJ(3D) 3,213
    .PLY(3D) 3,213
    의무 시간 가사 노동 .JPG(2D) 3,720
    .OBJ(3D) 1,240
    .PLY(3D) 1,240
    이동 .JPG(2D) 4,875
    .OBJ(3D) 1,625
    .PLY(3D) 1,625
    .JPG(2D) 8,259
    .OBJ(3D) 2,753
    .PLY(3D) 2,753
    학습 .JPG(2D) 15
    .OBJ(3D) 5
    .PLY(3D) 5
    필수 시간 개인 유지 .JPG(2D) 183
    .OBJ(3D) 61
    .PLY(3D) 61
    기타 개인 유지 .JPG(2D) 2,115
    .OBJ(3D) 705
    .PLY(3D) 705
    식사 및 간식 .JPG(2D) 4,518
    .OBJ(3D) 1,506
    .PLY(3D) 1,506
    3D Object 객체별   .OBJ 401
    .JPG 401
    .MTL 401
    .PLY 401
    총 수량 61,644

     

     2) 라벨링데이터

    1차 경로  2차 경로 3차 경로 파일 포맷 제출 수량
    최종
    상호작용 데이터 여가 시간 게임 및 놀이 .JSON 885
    교제 및 참여 .JSON 900
    기타 .JSON 663
    문화 및 관광 .JSON 135
    미디어 이용 .JSON 117
    스포츠 및 레포츠 .JSON 9,639
    의무 시간 가사 노동 .JSON 3,720
    이동 .JSON 4,875
    .JSON 8,259
    학습 .JSON 15
    필수 시간 개인 유지 .JSON 183
    기타 개인 유지 .JSON 2,115
    식사 및 간식 .JSON 4,518
    총 수량 36,024

     

    데이터 분포
    - 객체의 수

    구분 개 수
    객체(다중,변형포함) 401

     

    - 상호작용 카테고리

    구분 개 수
    카테고리 75

     

    - 성별 분포

    성별구분 비율
    남자 55.80%
    여자 44.20%
    총계 100%

     

    - 연령대별 분포

    성별 인원 비율
    ~9세 22 7.70%
    10대 29 9.80%
    20대 34 11.00%
    30대 33 12.10%
    40대 44 15.80%
    50대 55 23.20%
    60대이상 66 20.30%
    총계 283 100.00%

     

    - 대분류

    구분 필수 시간 의무 시간 여가 시간 합계
    실외 19% 47% 34% 100%

     

    - 상호작용 중분류

    대분류 범주 중분류
    필수 시간 15~25% 개인 유지 기타 개인 유지 식사 및 간식      
    의무 시간 40~60% 가사노동 이동 학습    
    여가 시간 25~35% 게임 및 놀이 교제 및 참여 기타 문화 및 관광 미디어 이용 스포츠 및 레포츠
  • 저작도구 설명서 및 저작도구 다운로드

    저작도구 설명서 다운로드 저작도구 다운로드
  • AI 모델 상세 설명서 다운로드

    AI 모델 상세 설명서 다운로드 AI 모델 다운로드

    활용모델

    ① 인공지능 기반 다중객체 데이터에서의 3차원 사람 포즈 추론 모델

     - (개발 목표) 다중객체 데이터에서의 3차원 사람 관절 키포인트를 추정

     - (개발 내용) 구축되는 학습데이터를 활용 SPIN 모델을 학습해 주어진 컬러 이미지에서 SMPL human body 모델의 파라미터를 추정하고 이를 바탕으로 3차원 사람 관절 키포인트의 위치를 추정하는 모델을 개발 

    3차원 사람 포즈 추론 모델 학습 알고리즘

     

    ② 인공지능 기반 다중객체 데이터에서의 객체 탐지 모델

     - (개발 목표) 다중객체 데이터에서의 객체의 위치를 탐지

     - (개발 내용) 구축되는 학습데이터를 활용 YoloR 모델을 학습해 주어진 컬러 이미지에서 객체의 위치를 탐지하는 모델을 개발 

    객체 탐지 모델 학습 알고리즘

     

    ③ 인공지능 기반 다중객체 데이터에서의 객체 분할 모델  

     - (개발 목표) 다중객체 데이터에서의 객체의 영역을 분할

     - (개발 내용) 구축되는 학습데이터를 활용 SpineNet 모델을 학습해 주어진 컬러 이미지에서 객체의 영역을 분할하는 모델을 개발 

    객체 분할 모델 학습 알고리즘

  • 데이터 성능 점수

    측정값 (%)
    기준값 (%)

    데이터 성능 지표

    데이터 성능 지표
    번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수
    1 객체 탐지 성능 Object Detection YOLOR mAP 45 % 72.2 %
    2 객체 분할 성능 Object Detection Spinenet mAP 30 % 52.6 %
    3 3차원 사람 포즈 추론 성능 3D Pose Estimation SPIN MPJPE 110 mm 84.52 mm
    4 3차원 사람 포즈 추론 성능 3D Pose Estimation SPIN PA-MPJPE 70 mm 22.36 mm

    ※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.

    ※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)

  • 설명서 및 활용가이드 다운로드

    데이터 설명서 다운로드 구축활용가이드 다운로드

    데이터 구성

    데이터 종류 원천데이터 라벨링데이터
    실외 3D Object .obj -
    .ply
    .mtl
    .jpg
    상호작용데이터 .obj .json
    .ply
    .jpg

     

    어노테이션 포맷

    구분 속성명 타입 필수여부 설명 범위 비고
    1 info.description String Y 데이터 이름    
    2 info.copyright String Y 데이터 저작권    
    3 info.created_date String Y 데이터 생성 날짜    
    4 info.region_name String N 촬영 지역    
    5 info.images_location String N 촬영 장소    
    6 info.environment string Y 촬영 환경1    
    (실내외 여부)
    7 info.virtual_background string N 촬영 환경2    
    (가상배경 여부)
    8 info.image Object - 이미지 정보    
    9 info.image.id String Y 이미지 식별자    
    10 info.image.path String Y 이미지 경로    
    11 info.image.file_format String Y 이미지 포멧    
    12 info.image.imsize String Y 이미지 크기    
    13 info.image.width Integer Y 이미지 넓이    
    14 info.image.height Integer Y 이미지 높이    
    15 info.image.Aspect ratio Object Y 이미지 비율    
    16 info.image.resolution Object Y 이미지 해상도    
    17 info.camera Object - 카메라 정보    
    18 info.camera.device String N 카메라 장비    
    19 info.camera.position String Y 카메라 위치    
    20 info.camera.focal_length List Y 카메라 초점거리    
    21 info.camera.principal_point List Y 카메라 주점    
    22 info.camera.rotation List Y 카메라 회전 메트릭스    
    23 info.camera.translation List Y 카메라 이동 메트릭스     
    24 info.camera.intrinsic List Y 카메라 내부 파라미터    
    25 info.camera.extrinsic List Y 카메라 외부 파라미터    
    26 info.actor Object - 연기자 정보    
    27 info.actor.id String Y 촬영자 식별자    
    28 info.actor.gender String Y 촬영자 성별    
    29 info.actor.age Integer Y 촬영자 연령대    
    30 info.actor.height Integer Y 촬영자 키    
    31 info.actor.weight Integer Y 촬영자 몸무게    
    32 info.actor.height_of_shoes Integer N 촬영자 신발높이    
    33 info.actor.obj_path String Y 촬영자 포즈 동작 메쉬 경로    
    34 info.actor.ply_path String Y 촬영자 포즈 동작 point cloud 경로    
    35 info.actor.interaction String - 사람-객체 상호작용    
    36 info.actor.rotation List Y 촬영자 회전 메트릭스    
    37 info.actor.translation List Y 촬영자 이동 메트릭스     
    38 info.actor.scale List Y 촬영자 비율    
    39 info.object List - 객체 정보    
    40 info.object.id String Y 객체 식별자    
    41 info.object.name String Y 객체 이름    
    42 info.object.size     객체 실제 크기    
    43 info.object.obj_path String Y 객체 메쉬 경로    
    44 info.object.ply_path String Y 객체 point cloud 경로    
    45 info.object.mtl_path String N 객체 mtl 경로    
    46 info.object.texture_path String N 객체 텍스쳐 경로    
    47 info.object.scale List Y 객체 비율    
    48 info.object.rotation List Y 객체 회전 메트릭스    
    49 info.object.translation List Y 객체 이동 메트릭스     
    50 annotation.actor_object Object Y 사람-사물 상호작용 관련    
    51 annotation.actor_object.keypoint.2d List Y 사람-사물 2D 키포인트    
    52 annotation.actor_object.hand_label Object Y 사람 손에 대한 상호작용 라벨 정보    
    53 annotation.actor_object.hand_label.righthand List Y 사람 손에 대한 상호작용 정보(오른손)    
    54 annotation.actor_object.hand_label.lefthand List Y 사람 손에 대한 상호작용 정보(왼손)    
    55 annotation.actor_object.object_label String Y 상호작용 객체 명    
    56 annotation.actor Object Y 사람 라벨 정보    
    57 annotation.actor.segmentation List Y 사람 2D 세그먼테이션    
    58 annotation.actor.keypoint.2d List Y 2D 관절 위치    
    59 annotation.actor.keypoint.3d List Y 3D 관절 위치    
    60 annotation.actor.bbox.2d List Y 사람 2D 박스    
    61 annotation.actor.bbox.3d List Y 사람 3D 박스    
    62 annotation.actor.bbox.righthand List Y 사람 2D 손 정보(오른손)    
    63 annotation.actor.bbox.lefthand List Y 사람 2D 손 정보(왼손)    
    64 annotation.object List Y 객체 라벨 정보    
    65 annotation.object.segmentation List Y 객체 세그먼테이션    
    66 annotation.object.bbox.2D List Y 객체 2D 박스    
    67 annotation.object.bbox.3D List Y 객체 3D 박스    
    68 annotation.first_category String Y 상호작용 대분류    
    69 annotation.second_category String Y 상호작용 중분류    
    70 annotation.third_category String Y 상호작용 소분류  
     

     

    라벨링데이터 예시

    • 라벨링데이터(json)



      "info": {
        "description": "3D object interation data",
        "copyright": "Copyright 2022 이오시스 ALL rights reserved",
        "created_date": "2022-09-20",
        "region_name": "서울시 금천구",
        "images_location": "공원",
        "environment": "External",
        "virtual_background": "N",
        "image": {
          "id": "E_F053_T101-T01-00_T000-T00-00_B00067_C.JPG",
          "path": "1.원천데이터/상호작용데이터/의무 시간/가사노동/E_F053_T101-T01-00_T000-T00-00_B00067_C.JPG",
          "file_format": "jpg",
          "imsize": "12.34MB",
          "width": 4000.0,
          "height": 6000.0,
          "Aspect ratio": {
            "x": 2.0,
            "y": 3.0
          },
          "resolution": {
            "x": 4000.0,
            "y": 6000.0
          }
        },
        "camera": {
          "device": "NIKON D5500",
          "position": "C",
          "focal_length": [
            8851.33870301534,
            8850.38217636392
          ],
          "principal_point": [
            2017.82656249018,
            3028.08148673727
          ],
          "rotation": [
            [
              1.0,
              0.0,
              0.0
            ],
    { 생략 }
          ],
          "translation": [
            [
              0.0
            ],
    { 생략 }
          ],
          "intrinsic": [
            [
              8851.33870301534,
              0.0,
              2017.82656249018
            ],
    { 생략 }
          ],
          "extrinsic": [
            [
              1.0,
              0.0,
              0.0,
              0.0
            ],
    { 생략 }
          ]
        },
        "actor": {
          "id": "F053",
          "gender": "F",
          "age": 40,
          "height": 163.0,
          "weight": 45.0,
          "height_of_shoes": 2.0,
          "obj_path": "1.원천데이터/상호작용데이터/의무 시간/가사노동/E_F053_T101-T01-00_T000-T00-00_B00067.obj",
          "ply_path": "1.원천데이터/상호작용데이터/의무 시간/가사노동/E_F053_T101-T01-00_T000-T00-00_B00067.ply",
          "interaction": "사람이 플라스틱음식통 뚜껑을 열려고 하는 장면",
          "rotation": [
            [
              1.0,
              0.0,
              0.0
            ],
    { 생략 }
          ],
          "translation": [
            0,
            0,
            0
          ],
          "scale": [
            1000.0,
            1000.0,
            1000.0
          ]
        },
        "object": [
          {
            "id": "T101-T01-00",
            "name": "플라스틱음식통1",
            "size": [
              16.0,
              10.0,
              5.0
            ],
            "obj_path": "01.원천데이터/3D 객체/플라스틱음식통1 T101-T01-00/T101-T01-00.obj",
            "ply_path": "01.원천데이터/3D 객체/플라스틱음식통1 T101-T01-00/T101-T01-00.ply",
            "mtl_path": "1.원천데이터/3D Object/플라스틱음식통/T101-T01-00.mtl",
            "texture_path": "1.원천데이터/3D Object/플라스틱음식통/T101-T01-00.jpg",
            "scale": [
              100.0,
              100.0,
              100.0
            ],
            "rotation": [
              [
                0.7039755292446519,
                -0.3784812352755489,
                -0.6009745491857429
              ],
    { 생략 }
            ],
            "translation": [
              110.33307773752254,
              77.92130495818564,
              4097.295058633964
            ]
          }
        ]
      },
      "annotation": {
        "actor_object": {
          "keypoint": {
            "2d": [
              [
                2257.364577330757,
                3241.4376207141163,
                2
              ],
    { 생략 }
            ]
          },
          "hand_label": {
            "righthand": " 휴대용 물품 접촉",
            "lefthand": " 휴대용 물품 접촉"
          },
          "object_label": "플라스틱음식통"
        },
        "actor": {
          "segmentation": [
            [
              1288.8307649084618,
              2704.952510556263
            ],
    { 생략 }
          ],
          "keypoint": {
            "2d": [
              [
                1777.42,
                3390.65,
                1
              ],
    { 생략 }
            ],
            "3d": [
              [
                -119.30497121716166,
                180.1844868807976,
                4295.6757240393745
              ],
    { 생략 }
            ]
          },
          "bbox": {
            "2d": [
              1288.8307649084618,
              1911.3791604819562,
              1301.0983873402383,
              3393.4300744686216
            ],
            "3d": [
              [
                -0.01917603611946106,
                0.28126049041748047,
                4.234604835510254
              ],
    { 생략 }
            ],
            "righthand": [
              1932.699167894436,
              3145.983518007107,
              300.60032955450015,
              203.09015710191352
            ],
            "lefthand": [
              2196.9853651647945,
              3201.1272023141046,
              156.01630487170132,
              113.64978005464036
            ]
           }
          },
          "object": [
            {
              "segmentation": [
                [
                  2386.0,
                  3098.0
                ],
    { 생략 }
              ],
              "bbox": {
                "2d": [
                  2074.0,
                  3085.0,
                  356.0,
                  224.0
                ],
                "3d": [
                  [
                    0.0008205000000000018,
                    -0.03157150000000003,
                    -0.0032649999999999624
                  ],
    { 생략 }
                ]
              }
            }
          ],
          "first_category": "E_L02",
          "second_category": "E_M01",
          "third_category": "E_S47"
      }
    }
     

  • 데이터셋 구축 담당자

    수행기관(주관) : ㈜스위트케이
    수행기관(주관)
    책임자명 전화번호 대표이메일 담당업무
    윤종현 02-6390-6220 planb@sweetk.co.kr 사업관리, 데이터 정제, 데이터 가공(3D), 데이터 검수
    수행기관(참여)
    수행기관(참여)
    기관명 담당업무
    ㈜이오이스 데이터 수집, 데이터 정제
    ㈜슈퍼브에이아이 데이터 가공(2D)
    ㈜씨유박스 AI학습모델 개발
    데이터 관련 문의처
    데이터 관련 문의처
    담당자명 전화번호 이메일
    윤종현 02-6390-6220 planb@sweetk.co.kr
보건의료 데이터 개방 안내

보건의료 데이터는 온라인 및 오프라인 안심존을 통해 개방됩니다.

안심존이란 안심존 이용메뉴얼 안심존 이용신청
  • 인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
    * 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
    * 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석

    1. AI 허브 접속
      신청자
    2. 안심존
      사용신청
      신청자신청서류 제출*
    3. 심사구축기관
    4. 승인구축기관
    5. 데이터 분석 활용신청자
    6. 분석모델반출신청자
  • 1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기]
    2. 기관생명윤리위원회(IRB) 승인된 연구계획서
    3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
    4. 안심존 이용 신청서 [다운로드]
    5. 보안서약서 [다운로드]
    ※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다.

  • 신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의

데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.

API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.

리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.

※ 파일 병합 리눅스 명령어

find -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"

※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.