AI-Hub

• YOLACT Architecture
  < Backbone – ResNet >

파란색/노란색은 프로토타입ㅇ에서 낮은/큰 값을 나타내고, 회색 노드는 기능을 나타냄
출처:“YOLACT Real-time Instance Segmentation”, Daniel Bolya, Chong Zhou, Fanyl Xiao, Yong Jae Lee, University of Californaia, Davis.

• YOLACT Architecture의 주요과정
1) 먼저 입력 이미지를 feature map으로 변형시켜주는 부분인 Backbone은 ResNet-101을 기반으로 구현한다.
2) 이미지에서 residual neuiral network를 통해 C1,...,C5까지 5개의 feature map을 먼저 구성한다.
3) 그 후, Feature Pyramid Network(FPN)를 통해 P3,...,P7까지 5개의 feature map을 새롭게 생성한다.
• YOLACT의 장점
  - 인스턴스 분할(instance segmentation)을 이용하여 성능 향상: 인스턴스 분할을 두 개의 병렬작업으로 나누어 처리함으로써 성능을 향상1) 이미지에 대한 Prototype 마스크 생성 (Protonet branch)2) 인스턴스 별 마스크 개수 예측(Prediction Head branch)
  - 병렬 구조로 인해 매우 가벼운 조립 공정으로 ᄈᆞ른 연산 속도(30fps 이상):· YOLACT는 1단계 백본 검춝기(one-stage backbone detector)에 대해 약간의 계산 오버헤드만 추가· 전체 mask branch를 평가하는데 5ms 정도 소요
  - 마스크 고품질: 마스크는 repooling 기법으로 인해 품질의 손상 없이 이미지 공간의 전체 범위를 사용하기 떄문에 고해상도 feature map일수록 작은 object에 대해 좋은 성능을 보임
  - 일반성: 프로토타입 및 마스크 계수를 거의 모든 최신 물체 감지기에 추가할 수 있다.
  - Fast NMS 기법 사용으로 속도 개선: YOLACT에서는 동일 instance를 focus하는 anchor box 중 confidence가 가장 높은 anchor box만 남기고 다른 중복 anchor box는 제거하는 NMS(Non-maximum suppression) 대신 Fast NMS라는 새로운 기법을 제시하는데 이는 NMS보다 성능은 거의 떨어뜨리지 않으면서 더 높은 속도를 보인다.

구축 목적

• 화재 발생 전에 발생되는 연기를 촬영한 동영상으로부터 화재 발생을 사전 예측하여 알림하는 AI 기술 개발을 위한 화재 발생 예측 AI학습용데이터 구축

활용 분야

• 자동 화재예측 인공지능 AI 알고리즘 개발연구

소개

• 공개된 양질의 화재 발생 예측 데이터(연기 동영상)를 관련 기업, 대학/연구소 등이 활용하여 AI 알고리즘 수준 향상, 플랫폼 서비스 기술 등 원천 기술 확보
• 화재 발생 예측 데이터(연기동영상) 구축

  대표도면

필요성

• 화재 발생 예측 데이터(연기 동영상)
  - 산업시설, 일반가정, 자연환경 등 화재위험이 높은 곳에 선제적인 화재감지 솔루션이 필요
  - 화재위험지역에서 연기발생을 감지하고 화재신호를 신속히 전파하는 기술이 필요
  - 다양한 환경의 연기영상을 활용해 수준 높은 AI응용서비스 개발이 필요

데이터 구조

• 데이터 구조

  데이터 구조

  No.		항목명	설명	필수여부
  1	1-1	date	촬영일자	Y
  	1-2	path	Path정보	Y
  	1-3	filename	파일이름(*jpg)	Y
  	1-4	copyrighter	저작권소유자	Y
  	1-5	H_DPI	수평 해상도 값	Y
  	1-6	location	촬영 장소	Y
  	1-7	bit	비트 수준	Y
  	1-8	V_DPI	수직 해상도 값	Y
  	1-9	resolution	이미지 해상도	Y
  2	2-1	대분류	대분류 정보
  	2-2	중분류	중분류 정보	Y
  	2-3	flags	겹침 및 잘림 여부
  	2-4	box	Bounding Box 좌표	Y
  	2-5	class	Class 정보	Y

   

   

• 데이터 셋(JSON 구조)

  데이터 셋(JSON)구조

  분류	항목	내용	값 범위	입력 방법
  {
  “image”: {		이미지 정보
  	“filename”:  “sample.JPG”,	파일명		파일명 입력
  	“copyrighter”: ”미디어그룹사람과숲 (컨 )”,	저작권 소유자		고정값 입력
  	“date”: ”2020.10.15”,	촬영 일시		폴더명 입력
  	“location” : “01”	촬영 장소	01~16	파일명에서 추출
  				S3-N 01 01_MS00001.JPG
  	“H DPI”: ”72”,	수평 해상도		이미지 속성에서 추출
  				수평 해상도
  	“V DPI”: “72”,	수직 해상도		이미지 속성에서 추출
  				수직 해상도
  	“bit”: “24”,	비트 수준		이미지 속성에서 추출
  				비트 수준
  	“resolution”: [1920,1280]},	이미지 해상도		이미지 속성에서 추출
  				사진 크기
  {
  “annotations”: {[		어노테이션 정보
  	“bbox ”: [x,y ,x,y ],	드로잉 타입 / 좌표값		어노테이션 입력
  	또는 “polygon”: [[x1,y1],[x2,y2], …]			파일명에서 추출
  				S3 -N 01 01M00001.JPG
  	“data ID” : “S 3 ”,	세부 과제 번호		어노테이션 입력
  	“middle classification” : “01”,	중분류	01~02	어노테이션 입력
  	“class” : “01”	클래스 정보	01~10	어노테이션 입력
  	“flags” : {	추가 정보
  	“not occluded”,	객체 가림		어노테이션 입력
  	“not truncated”	객체 잘림		어노테이션 입력
  	}
  ] }

• 어노테이션 포맷

  어노테이션 포맷

  항목	가공단위	가공방식	값	Tag name	표현방식
  화재씬	객체	Bounding box	x,y 의 2개 point	Bbox	json array 형식
  		객체외곽을 Box로 가공			예)
  		크라우드가 정의
  					[200,100],[500,800]
  유사씬	객체	Bounding box	x,y 의 2개 point	Bbox	json array 형식
  		객체외곽을 Box로 가공			예)
  		크라우드가 정의
  					[200,100],[500,800]
  무관씬	객체	Bounding box	x,y 의 2개 point	Bbox	json array 형식
  		객체외곽을 Box로 가공			예)
  		크라우드가 정의
  					[200,100],[500,800]
  연기발생시간	영상	연기 시작 시간정보를 입력	time 정보	smog start	영상 meta 에 기입
  		크라우드가 정의
  					10:05.0
  화재발생시간	영상	화재 시작 시간정보를 입력	time 정보	fire start	영상 meta 에 기입
  		크라우드가 정의
  					10:05.0