BETA 놀이기구 및 시설 이용자 위험 상황 인식 데이터
- 분야재난안전환경
- 유형 텍스트 , 이미지
-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.0 2024-06-28 데이터 개방 Beta Version 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2024-06-28 산출물 공개 Beta Version 소개
- 놀이기구 및 시설에서 발생할 수 있는 위험 상황과 정상 상황 또는 기구의 위험 상태를 분석하고 데이터셋을 구축함
구축목적
- 놀이기구 및 시설과 관련한 안전사고 예방을 위해 영상과 이미지를 확보하고 분석하여, 각종 기구에 대한 데이터를 구축하고 AI 학습을 통해 사고가 발생하는 것을 사전 예방하고자 함
-
메타데이터 구조표 데이터 영역 재난안전환경 데이터 유형 텍스트 , 이미지 데이터 형식 jpg 데이터 출처 직접 수집 및 정제 라벨링 유형 바운딩박스(이미지)/키포인트(이미지)/세그멘테이션(이미지) 라벨링 형식 json 데이터 활용 서비스 영상분석 알고리즘 데이터 구축년도/
데이터 구축량2023년/6,644,258 건 -
- 데이터 구축 규모
데이터 구축 규모 항목 RFP 요구사항 구축계획서 내용 요약 구축계획서
목차/페이지데이터
수량• 원시데이터 동영상을 600시간 이상 확보 필요
(3fps 이하로 추출)
• 라벨링된 데이터 650만 장 이상• 원시데이터 영상 300~645시간
• 원천데이터 6,590,000장 이미지
300~645시간 영상클립
• 가공데이터 6,590,000장 이미지
300~645시간 영상클립 라벨링데이터(json파일)
• 학습데이터 6,590,000셋 mp4, jpeg, json2.3/14P
4.1/41P데이터
형태• MP4 (1920 x 1080 해상도)
• 1920 x 1080 해상도 이미지
• JSON 파일• 원시데이터 : MP4(1920 x 1080 해상도)
• 원천데이터 : 1920 x 1080 해상도 이미지
• 가공데이터 : JSON 파일
이미지캡션 json 파일에 포함2.3/14P
4.1/41P -
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드- 활용된 AI 모델 설명
본 과제에서 사용된 모델은 이미지 modality를 활용한 ‘놀이시설 객체 탐지 모델’과 비디오 및 키포인트 modality를 활용한 ‘이용자 위험상황 분류 모델’로 총 2가지이다.• 놀이시설 객체 탐지 모델
이미지 관련 다양한 벤치마크에서 SOTA를 달성했고 객체 인식에도 뛰어난 성능을 보이는 오픈소스 이미지 Foundation 모델인 InternImage를 기반으로 학습을 진행하였다. InternImage는 DCNv3를 핵심 연산자로 하는 CNN 모델로서, 그 아키텍처는 다음과 같다.
본 과제에서는 InternImage-L 모델을 과제 특정적 이미지들로 fine-tuning하였고, 12 epoch동안 모델을 학습시켜 mAP 79.9%를 달성하였다.
• 이용자 위험상황 분류 모델
각기 다른 모달리티를 사용하는 두 모델을 조합하여 사용하였다. 첫째 모델은 Vision Transformer 계열의 오픈소스 비디오 Foundation 모델인 VideoMAEv2를 기반으로 하였다. VideoMAEv2의 아키텍처는 다음과 같다.
여기에 PCT(Human Pose as Compositional Tokens) 모델을 이용하여 사람의 동작을 기반으로 결과를 보정하였다. PCT는 자세 코드북(codebook)을 활용한다는 점이 특징적인 모델이며 그 아키텍처는 다음과 같다.
본 과제에서는 VideoMAEv2-base 모델에 과제 특정적 비디오들로 fine-tuning을 진행 및 PCT-swin-large 모델에 과제 특정적 키포인트들로 fine-tuning을 진행시킨 뒤 두 모델을 앙상블하였다. 그리고 그 결과 Acc@5 91.72%를 달성하였다.
- 모델 활용 방안
• 놀이시설 객체 탐지 모델
- 해당 모델은 영유아 시설(어린이집, 놀이터 등)의 안전 서비스에 활용될 수 있을 것으로 기대된다.
- 해당 모델을 활용하여 놀이기구의 이상 등을 사전에 발견하고 어린이 안전사고를 사전에 예방할 수 있다.• 이용자 위험상황 분류 모델
- 해당 모델은 어린이집이나 놀이터 등 시설을 이용하는 사람들의 안전사고를 탐지 및 예방하는 스마트 CCTV 개발에 활용될 수 있을 것으로 기대된다. 이러한 CCTV는 제품화 및 사업화의 여지도 있어 가치 창출 측면에서도 시사되는 바가 크다. -
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드- 메타 정보 포맷
메타 정보 포맷 No 속성명 항목 설명 Type 필수여부 예시 1 info 영상 정보 1.1 location_created 놀이시설 위치 정보 string 필수 [37.48928201444317, 126.98666291768929] 1.2 date_created 영상 촬영 시간 정보 string 필수 2023-05-16 2 Device - 2.1 Device_type 촬영 장비 number 필수 0 : 캠코더, 1 : CCTV 2.2 Device_model 카메라 모델명 string Optional 3 place 장소 정보 3.1 plac_ID 장소 아이디 string 필수 02, 031, 043, 033, 053, 051, 061 3.2 plac_name 장소 이름 string 필수 서울, 경기, 강원, 충청, 전남, 경남 4 Play Facility 놀이시설 정보 4.1 Division1 놀이시설의 위치별 구분 string 필수 주택단지, 도시공원, 학교, 유치원, 실내시설 4.2 Division2 놀이시설 종류 string 필수 그네, 건너는기구, 오르는기구,
흔들놀이기구, 미끄럼틀, 기타
4.3 PF condition 놀이시설의 상태 string 필수 정상, 파손 4.4 Accident 위험 상황 string 필수 놀이시설의 위험 상황 4.5 Accident2 위험 상황 대분류 string 필수 놀이시설의 위험 상황 대분류
(추락, 넘어짐, 충돌, 끼임, 기타)4.6 Situation 정상과 위험 상황 String 필수 상황코드
GT(정상상황)
SI(위험상황)
ST(위험상태)5 images 이미지 5.1 images_id 이미지 아이디 string 필수 IMAGE_R0001 5.2 images_width 이미지 넓이 int 필수 1920 5.3 images_heigh 이미지 높이 int 필수 1080 5.4 images_file_name 이미지 파일 이름 string 필수 P-230516_은마_그네_넘어짐_0001_001 - 어노테이션 포맷
어노테이션 포맷 No 속성명 항목 설명 Type 필수여부 예시 1 info 데이터 정보 1.1 info_name 데이터셋 이름 string 필수 66. 놀이기구 및 시설 이용자 위험상황 인식데이터 1.2 info_description 데이터셋 상세 설명 string 필수 놀이기구 분류 데이터, 위험상황 데이터, 놀이시설 외관점검 데이터 1.3 info_path 데이터셋 위치 string 필수 Play Facility/230516/은마/그네/넘어짐/0001/IMAGE_R0001/ 1.4 info_date_created 데이터셋 생성일 string 필수 2023-05-16 T00:00:00.00000 2 source 원천데이터 정보 2.1 mov 원천데이터 기본정보(mov) 2.1.1 mov_id 이미지 식별자 string 필수 MOV_R0001 2.1.2 mov_name 이미지 파일명 string 필수 P-230516_은마_그네_넘어짐_0001_001 2.1.3 mov_format 파일 확장자 string 필수 mp4 2.1.4 mov_width 이미지 가로크기 int 필수 1920 2.1.5 mov_height 이미지 세로크기 int 필수 1080 2.1.6 mov_date_created 이미지 획득일 string 필수 2023-05-16 T00:00:00.00000 2.1.7 mov_data_storage 데이터 저장 유형 string 필수 binary 3 annotation 어노테이션 구조 3.2.2 duration 영상 라벨링 시간 string 필수 3:15'~3:20’ 3.2.3 Sub Description 위험 상황 설명 String 필수 액터1 놀이터에서 뛰다 넘어짐 3.2.4 object_id 인식 객체 ID String 필수 - 실제 예시
실제 예시 { "info": {
"locationCreated": [
"37.61790721568209",
"126.9339483090327"
],
"dateCreated": "2023-10-04 12:39:47",
"path": "원천 데이터\\위험상황\\주택단지\\건너는기구\\북한산 힐스테이트 3차_건너는기구_CCTV_정상_위험상황_11909_152791_0018.jpg"
},
"device": {
"deviceType": "1",
"deviceModel": "HDR-CX405"
},
"place": {
"dataFacilityUID": "45",
"playFacility": "북한산 힐스테이트 3차",
"placeName": "서울특별시",
"division1": "주택단지",
"division2": "건너는기구",
"pfCondition": "정상",
"situation": "SI",
"accident1": "조합놀이시설을 비 정상적인 방법으로 오르는 행동",
"accident2": "넘어짐"
},
"actor": [
{
"actorUID": 28,
"actorType": 1,
"gender": "FEMALE",
"age": 32
}
],
"weather": "흐림",
"splitInfo": {
"startSeconds": 65,
"endSeconds": 70
},
"images": {
"image_id": "북한산 힐스테이트 3차_건너는기구_CCTV_정상_위험상황_11909_152791_0018",
"image_format": ".jpg",
"image_width": 1920,
"image_height": 1080,
"image_file_name": "북한산 힐스테이트 3차_건너는기구_CCTV_정상_위험상황_11909_152791_0018.jpg",
"image_date_created": "2023-12-10 03:28:22",
"image_data_storage": "SSD"
},
"labels": {
"b_box": [
{
"image_id": 6,
"coord": {
"x": 321,
"y": 651,
"width": 385,
"height": 429
}
},
{
"image_id": 3,
"coord": {
"x": 775,
"y": 386,
"width": 243,
"height": 199
}
},
{
"image_id": 4,
"coord": {
"x": 994,
"y": 548,
"width": 126,
"height": 185
}
},
{
"image_id": 6,
"coord": {
"x": 1274,
"y": 406,
"width": 575,
"height": 494
}
}
],
"keypoint": [
{
"image_id": 0,
"points": [
{
"x": 949,
"y": 543,
"name": "head"
},
{
"x": 987,
"y": 563,
"name": "left_shoulder"
},
{
"x": 975,
"y": 554,
"name": "right_shoulder"
},
{
"x": 972,
"y": 608,
"name": "left_elbow"
},
{
"x": 965,
"y": 590,
"name": "right_elbow"
},
{
"x": 931,
"y": 621,
"name": "left_wrist"
},
{
"x": 938,
"y": 577,
"name": "right_wrist"
},
{
"x": 988,
"y": 642,
"name": "left_hip"
},
{
"x": 978,
"y": 638,
"name": "right_hip"
},
{
"x": 935,
"y": 672,
"name": "left_knee"
},
{
"x": 952,
"y": 691,
"name": "right_knee"
},
{
"x": 926,
"y": 728,
"name": "left_ankle"
},
{
"x": 955,
"y": 738,
"name": "right_ankle"
}
]
}
]
},
"duration": "2023-12-10 03:28:22",
"SubDescription": "조합놀이시설을 비 정상적인 방법으로 오르는 행동"
} -
데이터셋 구축 담당자
수행기관(주관) : 선도소프트
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 조성호 070-5097-0963 chosh@sundosoft.co.kr 총괄책임 수행기관(참여)
수행기관(참여) 기관명 담당업무 엔트위즈소프트 데이터 수집 및 정제 크랜베리 데이터 가공 카이랩 데이터 학습 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 유철웅 02-6926-0740 admin@entwiz.com 조민국 02-6926-0740 minkook@entwiz.com AI모델 관련 문의처
AI모델 관련 문의처 담당자명 전화번호 이메일 배인호 070-4909-4448 inobae@kailife.co.kr 권승환 070-4909-4448 ksh@kailife.co.kr 저작도구 관련 문의처
저작도구 관련 문의처 담당자명 전화번호 이메일 이영래 070-4165-6659 yrlee@cberry.co.kr 최민기 070-4165-6658 joe@cberry.co.kr
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.