고해상도 Lightfield 카메라 이미지

고해상도 Lightfield 카메라 이미지

데이터셋명 고해상도 Lightfield 카메라 이미지
데이터 분야 비전 데이터 유형 이미지
구축기관 ㈜위지윅스튜디오 데이터 관련 문의처 담당자명 박기주
가공기관 (주)위지윅스튜디오, (주)엘렉시, (주)데브박스 전화번호 02-749-0507
검수기관 (주)위지윅스튜디오, (주)엘렉시, (주)데브박스 이메일 kpark@wswgstudios.com
구축 데이터량 14.4만 구축년도 2020년
버전 1.1 최종수정일자 2021.09.14
소개 영상처리 및 이해기술 개발과 4D Interactive 입체 기술 개발을 위한 고해상도 Lightfield 카메라 데이터를 구축하여 대용량 자료에 대한 초점 변경, 디포커싱 등 영상처리 데이터
주요 키워드 Lightfield, 다시점, 다초점, 자유 시점, 재초점, 깊이 정보, 객체 인식, LF 카메라
저작권 및 이용정책 본 데이터는 과학기술정보통신부가 주관하고 한국지능정보사회진흥원이 지원하는 '인공지능 학습용 데이터 구축사업'으로 구축된 데이터입니다. [데이터 이용정책 상세보기]
데이터설명서 자료보기 구축활용가이드 자료보기
샘플데이터 다운로드 교육활용동영상 영상보기
저작도구 다운로드 AI모델 다운로드
데이터 변경이력
버전 일자 변경내용 비고
1.1 2021.09.14 데이터 품질 보완  
1.0 2021.06.18 데이터 최초 개방  
구축 목적
  • 본 사업은 영상처리 및 이해 기술개발과 4D Interactive 입체 기술개발을 위해 고해상도 Lightfield 카메라로부터 취득되는 고해상도 Lightfield(LF) 데이터를 AI 학습용 데이터로 정제하여 구축 및 공개하는 것을 목표로 함
활용 분야
  • 객체추적, 객체 인식과도 같은 영상 해석과 이해 분야
  • 영상기반 콘텐츠 제작에 필수적인 영상합성을 위한 깊이 정보 추출
  • 4D 인터렉티브 콘텐츠 제작에 필수적인 다시점 객체 복원 및 생성
  • 동작 추정 분야의 품질 향상
소개
  • LF 데이터는 공간의 모든 지점을 통해 모든 방향으로 흐르는 빛의 양을 담고 있음
  • LF 데이터를 획득하기 위하여 카메라 시점, 렌즈, 셔터 스피드 등 LF 카메라 세트 내에서 다양한 configuration 셋업이 가능한 고해상도 LF 카메라를 설계, 제작함
     
소개이미지

 

  • 고해상도 LF 카메라를 구성하는 개별 고해상도 카메라들은 피사체의 빛, 색상정보들과 사진에 대한 메타정보를 취득하며 개별 이미지 간에서는 시차(disparity)를 취득할 수 있음
  • 고해상도 LF 카메라를 활용하여 동기화되어 취득되는 개별 영상을 분석, 통합하여 고해상도 LF 데이터로 구축함
  • 구축된 고해상도 LF 데이터와 개별 이미지 시퀀스들을 AI 학습용 데이터로 정제하여 구축함으로써 영상처리 및 이해 기술과 4D interactive 입체 기술개발 및 활용에 사용될 수 있도록 함
  • 본 제안 컨소시엄은 국내 학계, 국책연구기관 및 산업계의 연구/개발자들이 마음껏 사용할 수 있도록 지재권이 확보된 고품질 LF 원천데이터를 구축하여 이를 정교하게 가공 후 공개할 것임
구축 내용 및 제공 데이터량
  • LF 영상데이터를 활용하여 png 이미지 75만장을 대상으로 데이터를 구축함
  • 다양한 객체 및 17군데 이상의 장소 컨셉으로 일상을 촬영하여 바운딩 박스와 일부 세그멘테이션 라벨링을 수행함
  • 또한 32가지 종류의 동작을 클립별로 분류하여 제공함
     
구축 내용 및 제공 데이터량
데이터 종류 데이터 형태 목표 수량
영상 이미지 PNG 75만장
대표도면

대표도면

[ 그림 2] LF Editor로 확인할 수 있는 LF 이미지 데이터셋

필요성
  • (1) 다시점⋅다초점 영상 활용 AI 학습데이터의 부재
    - 인공지능(AI), 컴퓨터 비전, 컴퓨터 그래픽스의 주제 중 하나인 다시점⋅다초점 영상으로 얻어진 Lightfield(LF) 데이터로부터의 자유 시점 복원 및 재초점, 객체 인식 및 추정에 관한 연구가 전 세계적으로 활발하게 이루어지고 있으나 이에 대한 국내 공개데이터는 전무한 상황임
     
  • (2) 부적합한 해상도, Disparity를 가진 기존 AI 학습데이터
    - 국외에 공개되고 있는 본 과제의 선행 연구개발에 해당하는 LF 데이터의 경우 렌즈 어레이로부터 추출된 LF 데이터들이 대부분임
    - 소형의 렌즈 어레이 방식의 LF 취득 장비를 통해 얻은 LF 데이터들 역시 영상 이미지 간의 disparity와 해상도가 매우 적어 이를 활용한 자유 시점의 결과 영상이 범위가 제한적일 수밖에 없었음
     
  • (3) 다시점⋅다초점 영상의 레이블링과 동기화 이슈
    - 다양한 카메라 대수, 카메라 간격, 카메라 렌즈와 바디의 세팅 등을 가변적으로 조절할 수 있는 고해상도 가변형 Lightfield camera rig를 개발하여 이를 활용하여 다양한 형태의 다시점⋅다초점 Lightfield 데이터를 취득하여 이를 AI 학습용 데이터로 정체, 구축한다면 이에 대한 데이터 이용자들의 선택지 또한 높아져서 활용도가 더욱 높아질 것으로 기대함
데이터 구조
  • 데이터 구성
      1) 이미지 파일 구성
           - 이미지 파일 명 : source+‘/’+장소명+‘/’+클립명+’/‘+클립명+‘_’+프레임넘버+’/‘+클립명+‘_’+프레임넘버+‘_’+카메라넘버+‘.png’
             ├── source/
             │ ├── {location}/
             │ │ ├── {clip-name}/
             │ │ │ ├── {clip-name}_{frame-no}/
             │ │ │ │ ├── {clip-name}_{frame-no}_{camera-no}.png
             │ │ │ │ └── ...

     2) 어노테이션 파일 구조
          - 클립레벨 파일 명 : label+‘/’+장소명+’/‘+클립명+‘.json
          - 프레임레벨 파일 명 : label+‘/’+장소명+‘/’+클립명+’/‘+클립명+’_‘+프레임넘버+‘.json
              ├── label/
              │ ├── {location}/
              │ │ ├── {clip-name}/
              │ │ │ ├── {clip-name}_{frame-no}.json
              // LFFrame Label (camera level annotation)
              │ │ │ └── ...
              │ │ ├── {clip-name}.json 
              // LFClip Label(clip level annotation)

 

  • 어노테이션 포맷
     
    어노테이션 포맷 표1
    No 항목 길이 타입 필수여부 비고
    한글명 영문명
    1 객체 objects   List    
      1-1 아이디 objects[].id 100 String Y  
      1-2 어노테이션 아이디 objects[].trackingId 10 Number Y  
      1-3 클립의 매칭아이디 objects[].matchinId 10 Number N  
      1-4 클래스 아이디 objects[].classId 100 String Y  
      1-5 대분류 object[].section_category 100 String N 객체 클래스
      1-6 중분류 object[].division_category 100 String N 객체 클래스
      1-7 소분류 objects[].group_category 100 String N 객체 클래스
      1-8 클래스 이름 objects[].className 100 String Y  
      1-9 클래스 한글이름 objects[].classNameKr 100 String Y  
      1-10 속성 objects[].properties   List    
      1-10-1 속성 아이디 objects[].properties[].propertyId 100 String Y  
      1-10-2 속성 이름 objects[].properties[].propertyName 100 String Y  
      1-10-3 속성 값 objects[].properties[].value 10 String N  
      1-11 모양 objects[].shape   List Y  
      1-11-1 카메라 넘버 objects[].shape[].camera-no 10 Number N  
      1-11-2 바운딩 박스 objects[].shape[].box   Object N  
      1-11-2-1 x objects[].shape[].box.x 10 Number N  
      1-11-2-2 y objects[].shape[].box.y 10 Number N  
      1-11-2-3 넓이 objects[].shape[].box.width 10 Number N  
      1-11-2-4 높이 objects[].shape[].box.height 10 Number N  
      1-11-3 세그멘테이션 마스크 objects[].shape[].segment_mask   Object N  
      1-11-3-1 폴리곤 objects[].shape[].segment_mask.polygon   List N  
      1-11-3-1-1 x objects[].shape[].segment_mask.polygon.x 10 Number N  
      1-11-3-1-2 y objects[].shape[].segment_mask.polygon.y 10 Number N  
      1-11-4 메타 objects[].shape[].meta   Object N  
      1-11-4-1 깊이 번호 objects[].shape[].meta.zIndex 10 Number N  
      1-11-5 속성 objects[].shape[].properties   Object N  
데이터셋 구축 담당자
수행기관(주관) : (주)위지윅스튜디오
데이터셋 구축 담당자
책임자명 전화번호 대표이메일 담당업무
박기주 02-749-0507 kpark@wswgstudios.com · 데이터 구축 총괄
· 원시데이터 확보 및 정제, 가공, 검수
수행기관(참여)
수행기관 (참여)
기관명 담당업무 기관명 담당업무
(주)엘렉시 · AI 모델 개발
· 응용서비스 개발
(주)데브박스 · LF 이미지 데이터 저작도구 개발
· AI 모델을 활용한 응용서비스 개발

 

※ 이 데이터에 포함된 인물의 얼굴 등에 대해서는 개인정보 및 초상권의 이용 동의를 받아 제공합니다.