AI Hub

고해상도 Lightfield 카메라 이미지 소개

고해상도 Lightfield 카메라 이미지 소개

데이터셋명 고해상도 Lightfield 카메라 이미지
데이터 분야 비전 데이터 유형 이미지
구축기관 위지윅스튜디오 데이터 관련 문의처 담당자명 하회석(위지윅스튜디오)
가공기관 위지윅스튜디오, 엘렉시, 데브박스 전화번호 02-749-0507
검수기관 위지윅스튜디오, 엘렉시, 데브박스 이메일 hhsuk@wswgstudios.com
구축 데이터량 14.4만 구축년도 2020년
버전 1.1 최종수정일자 2021.09.14
소개 영상처리 및 이해기술 개발과 4D Interactive 입체 기술 개발을 위한 고해상도 Lightfield 카메라 데이터를 구축하여 대용량 자료에 대한 초점 변경, 디포커싱 등 영상처리 데이터
주요 키워드 Lightfield, 다시점, 다초점, 자유 시점, 재초점, 깊이 정보, 객체 인식, LF 카메라
저작권 및 이용정책 본 데이터는 과학기술정보통신부가 주관하고 한국지능정보사회진흥원이 지원하는 '인공지능 학습용 데이터 구축사업'으로 구축된 데이터입니다. [데이터 이용정책 상세보기]
데이터설명서 자료보기 구축활용가이드 자료보기
샘플데이터 다운로드 교육활용동영상 영상보기
저작도구 다운로드 AI모델 다운로드
데이터 변경이력
데이터 변경이력
버전 일자 변경내용 비고
1.1 2021.09.14 데이터 품질 보완  
1.0 2021.06.18 데이터 최초 개방  
구축 목적
  • 본 사업은 영상처리 및 이해 기술개발과 4D Interactive 입체 기술개발을 위해 고해상도 Lightfield 카메라로부터 취득되는 고해상도 Lightfield(LF) 데이터를 AI 학습용 데이터로 정제하여 구축 및 공개하는 것을 목표로 함
활용 분야
  • 객체추적, 객체 인식과도 같은 영상 해석과 이해 분야
  • 영상기반 콘텐츠 제작에 필수적인 영상합성을 위한 깊이 정보 추출
  • 4D 인터렉티브 콘텐츠 제작에 필수적인 다시점 객체 복원 및 생성
  • 동작 추정 분야의 품질 향상
소개
  • LF 데이터는 공간의 모든 지점을 통해 모든 방향으로 흐르는 빛의 양을 담고 있음
  • LF 데이터를 획득하기 위하여 카메라 시점, 렌즈, 셔터 스피드 등 LF 카메라 세트 내에서 다양한 configuration 셋업이 가능한 고해상도 LF 카메라를 설계, 제작함
     
소개이미지

 

  • 고해상도 LF 카메라를 구성하는 개별 고해상도 카메라들은 피사체의 빛, 색상정보들과 사진에 대한 메타정보를 취득하며 개별 이미지 간에서는 시차(disparity)를 취득할 수 있음
  • 고해상도 LF 카메라를 활용하여 동기화되어 취득되는 개별 영상을 분석, 통합하여 고해상도 LF 데이터로 구축함
  • 구축된 고해상도 LF 데이터와 개별 이미지 시퀀스들을 AI 학습용 데이터로 정제하여 구축함으로써 영상처리 및 이해 기술과 4D interactive 입체 기술개발 및 활용에 사용될 수 있도록 함
  • 본 제안 컨소시엄은 국내 학계, 국책연구기관 및 산업계의 연구/개발자들이 마음껏 사용할 수 있도록 지재권이 확보된 고품질 LF 원천데이터를 구축하여 이를 정교하게 가공 후 공개할 것임
구축 내용 및 제공 데이터량
  • LF 영상데이터를 활용하여 png 이미지 75만장을 대상으로 데이터를 구축함
  • 다양한 객체 및 17군데 이상의 장소 컨셉으로 일상을 촬영하여 바운딩 박스와 일부 세그멘테이션 라벨링을 수행함
  • 또한 32가지 종류의 동작을 클립별로 분류하여 제공함
     
구축 내용 및 제공 데이터량
데이터 종류 데이터 형태 목표 수량
영상 이미지 PNG 75만장
대표도면

대표도면

[ 그림 2] LF Editor로 확인할 수 있는 LF 이미지 데이터셋

필요성
  • (1) 다시점⋅다초점 영상 활용 AI 학습데이터의 부재
    - 인공지능(AI), 컴퓨터 비전, 컴퓨터 그래픽스의 주제 중 하나인 다시점⋅다초점 영상으로 얻어진 Lightfield(LF) 데이터로부터의 자유 시점 복원 및 재초점, 객체 인식 및 추정에 관한 연구가 전 세계적으로 활발하게 이루어지고 있으나 이에 대한 국내 공개데이터는 전무한 상황임
     
  • (2) 부적합한 해상도, Disparity를 가진 기존 AI 학습데이터
    - 국외에 공개되고 있는 본 과제의 선행 연구개발에 해당하는 LF 데이터의 경우 렌즈 어레이로부터 추출된 LF 데이터들이 대부분임
    - 소형의 렌즈 어레이 방식의 LF 취득 장비를 통해 얻은 LF 데이터들 역시 영상 이미지 간의 disparity와 해상도가 매우 적어 이를 활용한 자유 시점의 결과 영상이 범위가 제한적일 수밖에 없었음
     
  • (3) 다시점⋅다초점 영상의 레이블링과 동기화 이슈
    - 다양한 카메라 대수, 카메라 간격, 카메라 렌즈와 바디의 세팅 등을 가변적으로 조절할 수 있는 고해상도 가변형 Lightfield camera rig를 개발하여 이를 활용하여 다양한 형태의 다시점⋅다초점 Lightfield 데이터를 취득하여 이를 AI 학습용 데이터로 정체, 구축한다면 이에 대한 데이터 이용자들의 선택지 또한 높아져서 활용도가 더욱 높아질 것으로 기대함
데이터 구조
  • 데이터 구성
      1) 이미지 파일 구성
           - 이미지 파일 명 : source+‘/’+장소명+‘/’+클립명+’/‘+클립명+‘_’+프레임넘버+’/‘+클립명+‘_’+프레임넘버+‘_’+카메라넘버+‘.png’
             ├── source/
             │ ├── {location}/
             │ │ ├── {clip-name}/
             │ │ │ ├── {clip-name}_{frame-no}/
             │ │ │ │ ├── {clip-name}_{frame-no}_{camera-no}.png
             │ │ │ │ └── ...

     2) 어노테이션 파일 구조
          - 클립레벨 파일 명 : label+‘/’+장소명+’/‘+클립명+‘.json
          - 프레임레벨 파일 명 : label+‘/’+장소명+‘/’+클립명+’/‘+클립명+’_‘+프레임넘버+‘.json
              ├── label/
              │ ├── {location}/
              │ │ ├── {clip-name}/
              │ │ │ ├── {clip-name}_{frame-no}.json
              // LFFrame Label (camera level annotation)
              │ │ │ └── ...
              │ │ ├── {clip-name}.json 
              // LFClip Label(clip level annotation)

 

  • 어노테이션 포맷
     
    어노테이션 포맷 표1
    No 항목 길이 타입 필수여부 비고
    한글명 영문명
    1 객체 objects   List    
      1-1 아이디 objects[].id 100 String Y  
      1-2 어노테이션 아이디 objects[].trackingId 10 Number Y  
      1-3 클립의 매칭아이디 objects[].matchinId 10 Number N  
      1-4 클래스 아이디 objects[].classId 100 String Y  
      1-5 대분류 object[].section_category 100 String N 객체 클래스
      1-6 중분류 object[].division_category 100 String N 객체 클래스
      1-7 소분류 objects[].group_category 100 String N 객체 클래스
      1-8 클래스 이름 objects[].className 100 String Y  
      1-9 클래스 한글이름 objects[].classNameKr 100 String Y  
      1-10 속성 objects[].properties   List    
      1-10-1 속성 아이디 objects[].properties[].propertyId 100 String Y  
      1-10-2 속성 이름 objects[].properties[].propertyName 100 String Y  
      1-10-3 속성 값 objects[].properties[].value 10 String N  
      1-11 모양 objects[].shape   List Y  
      1-11-1 카메라 넘버 objects[].shape[].camera-no 10 Number N  
      1-11-2 바운딩 박스 objects[].shape[].box   Object N  
      1-11-2-1 x objects[].shape[].box.x 10 Number N  
      1-11-2-2 y objects[].shape[].box.y 10 Number N  
      1-11-2-3 넓이 objects[].shape[].box.width 10 Number N  
      1-11-2-4 높이 objects[].shape[].box.height 10 Number N  
      1-11-3 세그멘테이션 마스크 objects[].shape[].segment_mask   Object N  
      1-11-3-1 폴리곤 objects[].shape[].segment_mask.polygon   List N  
      1-11-3-1-1 x objects[].shape[].segment_mask.polygon.x 10 Number N  
      1-11-3-1-2 y objects[].shape[].segment_mask.polygon.y 10 Number N  
      1-11-4 메타 objects[].shape[].meta   Object N  
      1-11-4-1 깊이 번호 objects[].shape[].meta.zIndex 10 Number N  
      1-11-5 속성 objects[].shape[].properties   Object N  
데이터셋 구축 담당자
수행기관(주관) : 위지윅스튜디오
데이터셋 구축 담당자
책임자명 전화번호 대표이메일 담당업무
박기주 02-749-0507 kpark@wswgstudios.com · 데이터 구축 총괄
· 원시데이터 확보 및 정제, 가공, 검수
수행기관(참여)
수행기관 (참여)
기관명 담당업무 기관명 담당업무
(주)엘렉시 · AI 모델 개발
· 응용서비스 개발
(주)데브박스 · LF 이미지 데이터 저작도구 개발
· AI 모델을 활용한 응용서비스 개발

 

※ 이 데이터에 포함된 인물의 얼굴 등에 대해서는 개인정보 및 초상권의 이용 동의를 받아 제공합니다.