AI-Hub

#컴퓨터 비전

Inpainting 자동화를 위한 영상 데이터

분야영상이미지
유형 이미지

구축년도 : 2021 갱신년월 : 2022-07 조회수 : 3,908 다운로드 : 118 용량 :

샘플 데이터

※샘플데이터는 데이터의 이해를 돕기 위해 별도로 가공하여 제공하는 정보로써 원본 데이터와 차이가 있을 수 있으며,
데이터에 따라서 민감한 정보는 일부 마스킹(*) 처리가 되어 있을 수 있습니다.

소개 파일 목록 (API 다운로드)

※ 내국인만 데이터 신청이 가능합니다.

데이터 토론 문의하기 목록

데이터 변경이력

데이터 변경이력
버전	일자	변경내용	비고
1.0	2022-07-14	데이터 최초 개방

데이터 히스토리

데이터 히스토리
일자	변경내용	비고
2022-10-13	신규 샘플데이터 개방
2022-07-14	콘텐츠 최초 등록

소개

연속적인 시퀀스 정보를 가지고 있는 영상에서 자동으로 전,배경 분리가 수행될 수 있도록 영상 기반의 전,배경 분리 가공 및 구축

구축목적

이미지에서 가려진 부분을 복원하는 Image restoration과 영상의 불필요한 객체를 제거하는 object removal 같은 기본적인 이미지 편집 기술 등의 발전 및 상용화

메타데이터 구조표
데이터 영역	영상이미지	데이터 유형	이미지
데이터 형식	jpg, png	데이터 출처	㈜미디어그룹사람과숲
라벨링 유형	세그멘테이션	라벨링 형식	JSON
데이터 활용 서비스	Inpainting 자동화 AI 응용 모델 개발, 방송 영상과 같은 전문가 영역에서도 기존 고가의 외산 S.W 및 전문인력 없이 쉽고 빠르게 인공지능 모델을 통해 동일 수준의 영상편집, 일반 사용자는 스마트폰/개인 카메라의 영상 내 불필요한 개체를 지우고 자연스러운 영상을 얻는 것과 같은 새로운 사용자 경험 서비스 제공	데이터 구축년도/ 데이터 구축량	2021년/516,303장(frame)

데이터 통계

구축 데이터 전체 수량 : 전경, 배경 : 516,705 frame / GT : 3,447 frame

전경크기별 분포

크기
크기	~10%	10~20%	20~30%	30%~
비율(%)	23	24	20	33

Inpainting 자동화를 위한 영상-데이터 통계_1_전경크기별 분포

렌즈 분포

렌즈	광각	망원
비율(%)	46	54

Inpainting 자동화를 위한 영상-데이터 통계_2_렌즈 분포

촬영 대상 분포

실외
분류	운동	업무	여행	여가	애완용	야생	자동차	비행기	배	이륜차	기타	사물
비율(%)	14.3	6.2	8.6	6.6	2.7	1.3	3.4	1.5	0.8	2.9	3.7	12.5

Inpainting 자동화를 위한 영상-데이터 통계_3_촬영 대상 분포

Class 분포

분류	실외	실내	전경
비율(%)	66	21	13

저작도구 설명서 및 저작도구 다운로드
저작도구 설명서 다운로드 저작도구 다운로드

AI 모델 상세 설명서 다운로드

AI 모델 상세 설명서 다운로드 AI 모델 다운로드

활용 모델

학습모델

항목
항목	내용
사용 모델	· PEPSI 알고리즘 사용
사용 모델	· PEPSI 알고리즘 사용
전처리 코드	make_data.py
학습 코드	train.py
테스트(추론)코드	result.py
평가 수행 로그	./result/eval.csv
Pre-trained	./model/PEPSI.pth
파라미터	./model/PEPSI.pth

서비스 활용 시나리오

2D 영상을 입체 영상으로 변환하기 위한 방면에서의 활용
연속된 영상 프레임 간에 영상 정보의 차이를 통하여 움직임 있는 영역 분리 활용
Image Inpainting 인공지능 모델 인식률 향상

데이터 성능 점수

측정값 (%)

기준값 (%)

데이터 성능 지표

데이터 성능 지표
번호	측정항목	AI TASK	학습모델	지표명	기준값 점수	측정값 점수
1	Inpainting(전경객체 0~10%)	Image Synthesis	PEPSI	PSNR	31 dB	33.2 dB
2	Inpainting(전경객체 10~20%)	Image Synthesis	PEPSI	PSNR	28 dB	28.02 dB
3	Inpainting(전경객체 20~30%)	Image Synthesis	PEPSI	PSNR	25 dB	25.38 dB

※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.

※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)

설명서 및 활용가이드 다운로드

데이터 설명서 다운로드 구축활용가이드 다운로드

데이터 포맷

데이터 명
데이터 명	Inpainting 자동화를 위한 영상 데이터
데이터 포맷	원시데이터 : mp4 (x264, xvid codec기준) 원천데이터 : jpg 학습용 데이터 : json, png
활용 분야	■ Image Inpainting 인공지능 모델 인식률 향상 ■ 스마트폰, 태블릿과 같은 상업 영상 기기에 적용하여 더 나은 성능의 모델 적용 ■ AI, 데이터 Science 등 관련 분야 일자리 창출
데이터 요약	연속적인 시퀀스 정보를 가지고 있는 영상에서 자동으로 전,배경 분리가 수행될 수 있도록 영상 기반의 전,배경 분리 가공 및 구축

데이터 예시


Ground Truth	라벨링 데이터(배경)

원천 데이터(전경)	라벨링 데이터(전경)

json 형식

{
   "Raw_Data_Info.": {
      "Raw_Data_ID": "I-210501_O01001_W01",
      "Location": "O01001",
      "Copyrighter": "(주)미디어그룹사람과숲",
      "Resolution": "1920, 1080",
      "Date": "2021-05-01",
      "Start_Time": "00:00:00",
      "End_Time": "00:01:00",
      "Length": "60",
      "GPS": "37.48928201444317, 126.98666291768929",
      "FPS": "30",
      "F-Stop": "F2.4",
      "Exposure_Time": "1/80",
      "Lens": "W",
      "File_Extension": "mp4"
      },
   "Source_Data_Info.": {
      "Source_Data_ID": "I-210501_O01001_W01_G0001",
      "Classification_ID": "O01001",
      "File_Extension": "jpg"
      },
   "Learning_Data_Info.": {
      "Path": "/infiniq_admin/I-210501_O01001_W01",
      "File_Extension": "json",
      "Json_Data_ID": "I-210501_O01001_W01_G0001",
      "Annotation": [
        {
        "Class_ID": "BO02",
        "segmentation": []
        "type": "segmentation"

이하 생략

학습데이터 공통 항목

작업 대상	작업 방식	작업 방법	결과값	예시
Ground Truth(정답지)	segmentation	객체 외곽을 포인트로 가공	[x,y,x,y]	[456, 567, 891, 234 ...]
배경	segmentation	객체 외곽을 포인트로 가공	[x,y,x,y]	[456, 567, 891, 234 ...]
전경	segmentation	객체 외곽을 포인트로 가공	[x,y,x,y]	[456, 567, 891, 234 ...]

마스킹 데이터 항목

대분류	대분류 ID	중분류 ID	Class ID	기준	비고
M	마스킹	42	마스킹	그림자를 포함한 동적객체 외곽

데이터 구조 (데이터 구성)

폴더구조	파일명 구조

	①	세부과제별 ID	[40].Inpainting 자동화를 위한 영상데이터
	②	촬영날짜	원시데이터 촬영 일 (예 : 210504)
	③	분류 ID	실외 55곳, 실내 32곳 (_O01, _I02)
	③-1	장소 ID	001(축구), 002(농구)
	④	Type/촬영개수	W(광각, 렌즈번호:2), T(망원,렌즈번호:1)
	④-1	정제 이미지 번호	G(Ground Truth), F(전경)
	④-2	마스킹	_M
	⑤	파일 확장자	mp4, jpg, png, json

JSON 포맷 형식 (어노테이션 포맷)

분류	항목	내용	데이터 타입	필수 여부	값 범위(예시)
Raw_Data_Info.	Raw_data_ID	원시 파일명	string	Y	"I-210614_O01001_W01"~"I-220228_I09032_T20"
	Location	촬영장소 ID	string	Y	"O01001"~"I09032"
	Copyrighter	㈜미디어그룹사람과숲	string	Y	"㈜미디어그룹사람과숲"
	Resolution	1920*1080 이상	string	Y	"1920, 1080"
	Date	촬영일자(yyyy-mm-dd)	string	Y	"2021-06-01"~"2022-02-28"
	Start_Time	촬영 시작시간	string	Y	"00:00:00"
	End_Time	촬영 종료시간	string	Y	“00:01:00"~"00:05:00”
	Length	영상길이 초(sec)	string	Y	"60"~"300"
	GPS	GPS 정보(위도, 경도)	string	Y	"37.48928201444317, 126.98666291768929"
	FPS	30fps	string	Y	"30","60"
	F-Stop	조리개 수치	string	Y	"F1.8"~"F11"
	Exposure_Time	노출시간	string	Y	"1/1043"~"1/40"
	Lens	광각/망원	string	Y	광각: "W", 망원: "T"
	File_Extension	원시 파일 확장자	string	Y	"mp4"
Source_Data_Info.	Source_Data_ID	이미지 파일명	string	Y	"I-210614_O01001_W01_F0001"~"I-220228_I09032_T20_F0001"
	Classification_ID	분류ID	string	Y	"O01001"~"I09032"
	File_Extension	이미지 확장자	string	Y	“jpg”
Learning_Data_Info.	Path	이미지 폴더명	string	Y	“//I-210501/”
	File_Extension	Json 폴더 경로	string	Y	"json"
	Json_Data_ID	Json 파일명	string	Y	"I-210614_O01001_W01_F0001"~"I-220228_I09032_T20_F0001"
	Annotation	어노테이션 값	array	Y	[]
	Class_ID	class Id	string	Y	"B000“~”F41"
	segmentation	[x,y,x,y]	array	Y	[1,0,0,903,574,634,576,0]
	type	어노테이션 종류	string	Y	“segmentation”

학습데이터 (실제 예시)

{
   "Raw_Data_Info.": {
      "Raw_data_ID": "I-210501_O01001_W01",
      "Location": "O01001",
      "Copyrighter": "(주)미디어그룹사람과숲",
      "Resolution": “1920, 1080”,
      "Date": "2021-05-01",
      "Start_Time": "00:00:00",
      "End_Time": "00:01:00",
      "Length": "60",
      "GPS": “37.48928201444317, 126.98666291768929”,
      "FPS": "30",
      "F-Stop": "F2.4",
      "Exposure_Time": "1/80",
      "Lens": "W",
      "File_Extension": "mp4"
      },
   "Source_Data_Info.": {
      "Source_Data_ID": "I-210501_O01001_W01_F0001",
      "Classification_ID: "O01001",
      "File_Extension": "jpg"
      },
   "Learning_Data_Info": {
      "Path": "/infiniq_admin/I-210501_O01001_W01",
      "File_Extension": “json”
      "Json_Data_ID": "I-210501_O1001_W01_F0001",
      "Annotation": [
        {
        "Class_ID: "BO02",
        "segmentation": []
        "type": "segmentation
        },
       ]
      },
}

마스킹 데이터 (실제 예시)

{
   "Learning_Data_Info": {
      "Path": "/infiniq_admin/I-210501_O01001_W01",
      "File_Extension": “json”
      "Json_Data_ID": "I-210501_O1001_W01_F0001_M",
      "Annotation": [
        {
        "Class_ID: "M42",
        "segmentation": []
        "type": "segmentation
        },
       ]
      },
}

데이터셋 구축 담당자

수행기관(주관) : ㈜미디어그룹사람과숲

수행기관(주관)
책임자명	전화번호	대표이메일	담당업무
한윤기	02-6959-6632	hanykee@humanf.co.kr	과제 총괄 책임

수행기관(참여)

수행기관(참여)
기관명	담당업무
넥스터 주식회사(舊 센스비전)	39. 외부환경 노이즈 제거를 위한 영상 데이터 수집/정제
링크플로우 주식회사	40. Inpainting 자동화를 위한 영상 데이터 수집/정제
주식회사 인피닉	39. 외부환경 노이즈 제거를 위한 영상 데이터 가공 40. Inpainting 자동화를 위한 영상 데이터 가공
아이브스㈜	39. 외부환경 노이즈 제거를 위한 영상 데이터 알고리즘 개발 40. Inpainting 자동화를 위한 영상 데이터 알고리즘 개발

보건의료 데이터 개방 안내

보건의료 데이터는 온라인 및 오프라인 안심존을 통해 개방됩니다.

안심존이란 안심존 이용메뉴얼 안심존 이용신청

인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석
1. AI 허브 접속
  신청자
2. 안심존
  사용신청신청자신청서류 제출*
3. 심사구축기관
4. 승인구축기관
5. 데이터 분석 활용신청자
6. 분석모델반출신청자
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다.
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의