BETA 어린이 보호구역 내 등하교 및 시설물 영상 데이터
- 분야재난안전환경
- 유형 텍스트 , 이미지 , 비디오
-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.0 2024-08-27 데이터 개방 Beta Version 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2024-08-30 산출물 수정 AI모델 2024-08-27 산출물 공개 Beta Version 소개
- 어린이 보호구역 내 특정 객체 구분 및 위험 보행 패턴 학습용 데이터셋 구축 - 다양한 어린이 보행 유형 및 패턴과 이동 정보(위치, 시간) 데이터를 구축하여 학습외에도 서비스/알고리즘 검증, 어린이 보호구역 환경 및 보행 유형 분석/연구가 가능한 데이터셋 설계 및 구축
구축목적
- 어린이 보호구역 내 등하교 어린이의 사고 예방 - 어린이 보호구역 시설물 관리 및 안전성 증대
-
메타데이터 구조표 데이터 영역 재난안전환경 데이터 유형 텍스트 , 이미지 , 비디오 데이터 형식 .jpg 데이터 출처 직접 수집 라벨링 유형 바운딩박스(이미지/동영상)/세그멘테이션(이미지/동영상) 라벨링 형식 .json 데이터 활용 서비스 1) 기 운영 중인 스마트 스쿨존 안전 서비스 고도화 2) 어린이 행동 패턴 기반 신규 서비스 확보 3) 상황 및 환경별 어린이 행동 패턴 분석/연구 및 서비스 검증 데이터 구축년도/
데이터 구축량2023년/2,103,741 건 -
- 데이터 통계
데이터 종류 데이터 형태 어노테이션
규모 (개)캡셔닝 규모
(개)결과물 규모
(개)CCTV json 842,901 1,161,847 2,003,748 블랙박스 json 1,099 108,866 109,965 - 어노테이션 수량
Depth 1 Depth 2 Depth 3 Depth 4 Depth 5 (개) 1.어노테이션 1.CCTV 1.맑음 1.등교 90,996 1.어노테이션 1.CCTV 1.맑음 2.하교 90,312 1.어노테이션 1.CCTV 1.맑음 3.사고다발 80,799 1.어노테이션 1.CCTV 1.맑음 4.야간 46,895 1.어노테이션 1.CCTV 2.흐림 1.등교 113,123 1.어노테이션 1.CCTV 2.흐림 2.하교 217,876 1.어노테이션 1.CCTV 2.흐림 3.사고다발 117,879 1.어노테이션 1.CCTV 2.흐림 4.야간 84,021 1.어노테이션 2.블랙박스 1.맑음 1.등교 550 1.어노테이션 2.블랙박스 1.맑음 2.하교 50 1.어노테이션 2.블랙박스 1.맑음 3.사고다발 499 1.어노테이션 2.블랙박스 1.맑음 4.야간 0 1.어노테이션 2.블랙박스 2.흐림 1.등교 0 1.어노테이션 2.블랙박스 2.흐림 2.하교 0 1.어노테이션 2.블랙박스 2.흐림 3.사고다발 0 1.어노테이션 2.블랙박스 2.흐림 4.야간 0 - 캡셔닝 수량
Depth 1 Depth 2 Depth 3 Depth 4 Depth 5 (개) 2.캡셔닝 1.CCTV 1.맑음 1.등교 81,169 2.캡셔닝 1.CCTV 1.맑음 2.하교 104,213 2.캡셔닝 1.CCTV 1.맑음 3.사고다발 173,360 2.캡셔닝 1.CCTV 1.맑음 4.야간 136,978 2.캡셔닝 1.CCTV 2.흐림 1.등교 225,832 2.캡셔닝 1.CCTV 2.흐림 2.하교 239,144 2.캡셔닝 1.CCTV 2.흐림 3.사고다발 56,439 2.캡셔닝 1.CCTV 2.흐림 4.야간 144,712 2.캡셔닝 2.블랙박스 1.맑음 1.등교 13,332 2.캡셔닝 2.블랙박스 1.맑음 2.하교 29,142 2.캡셔닝 2.블랙박스 1.맑음 3.사고다발 34,634 2.캡셔닝 2.블랙박스 1.맑음 4.야간 11,589 2.캡셔닝 2.블랙박스 2.흐림 1.등교 927 2.캡셔닝 2.블랙박스 2.흐림 2.하교 9,293 2.캡셔닝 2.블랙박스 2.흐림 3.사고다발 1,440 2.캡셔닝 2.블랙박스 2.흐림 4.야간 8,509 - 어노테이션 분포
- 캡셔닝 분포
-
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드- 모델 소개
- 해당 모델은 CCTV 및 블랙박스 환경에서 촬영된 이미지로부터 바운딩박스, 폴리곤 객체 탐지를 하는 모델이다. 바운딩박스 탐지 모델은 CCTV 촬영 환경에서 흔히 발견되는 사람, 다양한 종류의 차량, 신호등, 신호 표지판과 같은 객체를 탐지하는 데 특화되어 있으며, 폴리곤 탐지 모델은 펜스, 신호등, 정지선 영역 등을 잘 식별할 수 있다.
- 활용 알고리즘 및 모델 구조
- 해당 모델은 Ultralytics에서 개발한 YOLOv5 모델을 기반으로 한다. 바운딩박스 탐지모델은 YOLOv5m 아키텍처를 기반으로 개발되었습니다. 또한, 폴리곤 탐지 모델은 YOLOv5m-seg 모델을 기반으로 한다.
- YOLOv5 모델은 객체 감지, 인스턴스 세그멘테이션 또는 이미지 분류와 같은 다양한 작업을 수행하는 데 사용될 수 있지만, 이 프로젝트에서는 객체 감지 및 인스턴스 세그멘테이션 작업만을 고려한다.
< Yolov5 모델 구조 >
- 학습과정
- Train, Validation, Test 데이터를 각각 8:1:1로 분할했으며, Resize and Mosaic, Horizontal flip 과 같은 image augmentation 기법을 적용한 후 tensor로 변환하여 각각 바운딩박스, 폴리곤 탐지모델 학습에 활용하였다.
- 학습 조건개발언어 Python 3.7 프레임워크 PyTorch 1.10.1 학습 조건 -batch_size: 8 -batch_type: image - annotation pairs -train_epochs: 30 -learing rate scheduler: cosine -optimizer: SGD -learning_rate: 0.01 -weight decay: 0.0005 파일 형식 Train set : jpg (images), txt(annotation) Test set: jpg (images), txt (annotation) 데이터셋 분할 비율 -Training Set: 80% -Validation Set: 10% -Test Set: 10% 최종 모델 성능: mAP 80% 이상
- 서비스 활용 시나리오
- 어린이 보호 및 안전 감시
모델은 어린이 보호구역에서 어린이들의 동선을 모니터링하고, 필요한 경우 부모 또는 담당자에게 알림을 보내어 어린이의 안전을 감시할 수 있다.
- 교통 안전 및 교통 흐름 관리
어린이 보호구역에서 교통 흐름을 모니터링하여 교통사고 예방과 교통 효율성 향상에 기여할 수 있습니다. 교통 신호와 표지판 준수 여부를 감지하여 교통 안전을 유지하는 데 도움을 줄 수 있다.
- 모델 소개
- 해당 이미지 캡셔닝 모델은 한국어로 이미지를 설명하는 캡션을 생성하는 모델이다. 특히, 해당 모델은 CCTV 영상의 각 도로 영역과 차량 및 보행자 이미지들을 학습하였으며, 이를 통해 입력 이미지 내에서 주요 보행자 객체를 식별한 후, 해당 객체의 행동패턴을 설명하는 한국어 캡션을 생성한다.
- 활용 알고리즘 및 모델 구조
- 해당 모델은 “Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation (BLIP)” 알고리즘을 기반으로 한다. BLIP 이미지 캡션 모델은 이미지에 대한 설명적인 캡션을 생성하도록 설계되었으며, 크게 입력 이미지를 패치로 나누는 비전 트랜스포머 (ViT) 인코더와 텍스트 디코더 트랜스포머로 파트로 구성되어 있다.
- 기존 BLIP알고리즘에서 한국어 Tokenizing을 위해 “snunlp/KR-BERT-char16424”를 사용하였다. 해당 토크나이저는 한국어 텍스트의 대규모 말뭉치에서 훈련되어 언어의 고유한 언어적 특성을 식별한다. 한국어 텍스트를 개별 문자와 서브워드 단위로 분해하여 언어의 형태론적 복잡성을 효과적으로 처리할 수 있도록 하여 한국어 캡션의 고유한 특성과 문법을 반영할 수 있다.< BLIP 모델 구조 >
- 학습과정
- Train, Validation, Test 데이터를 각각 8:1:1로 분할했으며, Resize Normalization과 같은 image augmentation 기법을 적용한 후 tensor로 변환하여 이미지 캡셔닝 모델을 학습에 활용하였다.
- 모델 학습 과정에서 Fine Tuning을 위해 COCO와 Flickr 이미지 캡션 데이터셋을 활용하여 모델 초기 가중치를 설정하였다.
- 학습환경개발언어 Python 3.7 프레임워크 PyTorch 1.10.1 학습 조건 -batch_size: 8 -batch_type: image - text pair -train_epochs: 1 -learing rate scheduler: cosine -optimizer: AdamW -learning_rate: 1e-5 -weight decay: 1e-6 파일 형식 Train set : jpg (images), json (caption) Test set: jpg (images), json (caption) 데이터셋 분할 비율 -training Set: 80% -Validation Set: 10% -Test Set: 10% 최종 모델 성능: METEOR ~34
- 서비스 활용 시나리오
- 시각장애인을 위한 이미지 설명 서비스 모델은 CCTV 영상에서 감지된 도로 영역과 보행자, 차량 등을 설명하는 캡션을 생성할 수 있다. 이를 활용하여 시각장애인들에게 주변 환경을 음성으로 설명하는 서비스를 제공할 수 있다.- 교통 안전 및 교통 상황 모니터링 모델은 도로 영역에서의 차량 및 보행자의 행동을 설명하는 캡션을 생성한다. 이를 통해 교통 상황을 실시간으로 모니터링하고, 교통 관련 서비스에 활용할 수 있다.- 도로 상태 및 보행자 흐름 예측모델이 생성한 캡션을 기반으로 도로 상태와 보행자의 행동 패턴을 예측하여, 도로 및 보행자 관리에 도움을 주는 서비스를 제공할 수 있다. -
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드- 데이터 포맷
항목 타입 설명 비고 filename string 파일명 blur_학교이름_카메라이름_
날짜_시간_일련번호width number 너비 height number 높이 format string 포맷 device string 기기유형 date string 촬영일자 "YYMMDD" time string 촬영시간 "HH:MM:SS" weather string 날씨 source string 출처 blur_학교이름_카메라이름_날짜_
시작시간_끝시간_카메라 방향구분
(일부에만 적용).avipattern array 행동패턴 signal string 보행신호 breach array 차량법규위반 "정지선위반", "중앙선침범",
"불법주정차", "NONE"- 어노테이션 포맷
항목 타입 설명 비고 index number 순번 object super
classstring 객체 대분류 object sub
classstring 객체 소분류 bbox array Bbox 좌표 ploygon array Point 좌표쌍 - 캡셔닝 포맷
항목 타입 설명 비고 caption string 캡션문구 빨간옷을 입은 아이가 우산을 들고 횡단보도를 건넌다. - 어노테이션 json 예시
{
"annotations" :
[
{
"bbox" :
[
372.45999999999998,
5.4000000000000004,
297.97000000000003,
138.05000000000001
],
"index" : 1,
"object sub class" : "02",
"object super class" : "vehicle"
},
{
"bbox" :
[
1718.0799999999999,
357.45999999999998,
76.219999999999999,
173.58000000000001- 캡셔닝 json 예시
{
"caption": "검은색 상의와 검은색 바지를 입은 여성이 생활도로 중앙을 걷고 있다.",
"file": {
"filename": "blur_sh13_ss018area2_230823_080010_50034.jpg"
},
"info": {
"breach": [
"불법 주정차"
],
"date": "230823",
"device": "CCTV",
"format": "jpg",
"height": 864,
"pattern": [
"차도 보행(인도가 구분된 도로)"
],
"signal": "NONE",
"source": "blur_sh13_ss018area2_230823_080000_085116.avi",
"time": "08:00:10",
"weather": "흐림",
"width": 1682
}
} -
데이터셋 구축 담당자
수행기관(주관) : 주식회사 핀텔
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 황유동 02-6493-6012 ydhwang@pintel.co.kr 원시 영상 데이터 수집 및 원천영상데이터 정제, AI 모델 개발/품질관리 수행기관(참여)
수행기관(참여) 기관명 담당업무 ㈜유아이네트웍스 데이터 라벨링, 라벨링 데이터 검수, 신호 데이터 가공 ㈜엠티데이타 데이터 품질 관리 경남대학교 산학협력단 AI 모델 설계/학습 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 황유동 (데이터 개방 담당자) 010-3030-4448 ydhwang@pintel.co.kr 박상인 (데이터 개방 담당자) 010-4223-2820 sipark@pintel.co.kr 황유동 (라벨링 데이터 담당자) 010-3030-4448 ydhwang@pintel.co.kr 박대용 (라벨링 데이터 담당자) 010-2370-5423 tkctmhkb@gmail.com 구균모 (라벨링 데이터 담당자) 053-591-1901 bigdata@mtdata.co.kr AI모델 관련 문의처
AI모델 관련 문의처 담당자명 전화번호 이메일 황유동 010-3030-4448 ydhwang@pintel.co.kr 김범모 010-7273-2251 bbeomdev@gmail.com 저작도구 관련 문의처
저작도구 관련 문의처 담당자명 전화번호 이메일 황유동 010-3030-4448 ydhwang@pintel.co.kr 박대용 010-2370-5423 tkctmhkb@gmail.com 정재연 053-591-1901 bigdata@mtdata.co.kr
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.