-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.1 2022-09-26 원천데이터 수정 Validation > 원천데이터_0923_add 개방 1.0 2022-07-14 데이터 최초 개방 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2022-07-14 콘텐츠 최초 등록 소개
위험기상을 예측하는 인공지능 모델 학습에 활용될 기상위성, 기상레이더, 자동기상관측장비(AWS)의 관측 데이터와 기상특보 분석 데이터
구축목적
기상청 기상특보가 발령된 시점의 기상 상황을 인공지능 모델로 학습시킴으로써 태풍, 폭우, 폭염, 폭설, 가뭄 등 사회경제적 피해가 큰 위험기상을 사전에 예측하고 그 피해를 저감시킴
-
메타데이터 구조표 데이터 영역 재난안전환경 데이터 유형 이미지 데이터 형식 png, nc, uf, bin, csv 데이터 출처 기상청 라벨링 유형 어노테이션(이미지) 라벨링 형식 JSON, GeoJSON 데이터 활용 서비스 위험기상 예측 서비스 데이터 구축년도/
데이터 구축량2021년/61,344시간 셋, 43,090,677개 파일, 37.5TB -
1. 데이터 구축 규모
1. 데이터 구축 규모 대분류 중분류 포맷 기간 규모(용량) obs aws csv 2014.07.01.~2021.06.30 3GB amos csv 2014.07.01.~2021.06.30 112MB 레이더 합성 png 2014.07.01.~2021.06.30 2GB 지역 uf 2014.07.01.~2021.06.30 3.5TB 위성 천리안1호 이미지 png 2014.07.01~ 2019.06.30 788GB 천리안1호 원시 nc 2014.07.01~ 2019.06.30 2TB 천리안2호 이미지 png 2019.07.01~ 2021.06.30 6TB 천리안2호 원시 nc 2019.07.01~ 2021.06.30 23TB
2. 데이터 분포
2.1 어노테이션별 분포순서 어노테이션영문명 어노테이션 한글명 파일수 비율(%) 1 LLJ 하층제트분석 5,854 1.85% 2 W-SNOW 서해폭설분석 4,080 1.29% 3 E-SNOW 동해폭설분석 4,080 1.29% 4 WET-SN 습설분석 9,934 3.13% 5 CUM-SN 적설지역분석 4,080 1.29% 6 COLD-FRONT 한랭전선분석 10,135 3.20% 7 WARM-FRONT 온난전선분석 10,135 3.20% 8 OCC-FRONT 정체/폐색전선분석 10,135 3.20% 9 H-POINT 고기압중심 75,159 23.70% 10 L-POINT 저기압중심 75,159 23.70% 11 HLJ 상층제트분석 6,754 17.89% 12 TYPOON 태풍중심분석 747 0.24% 13 R-START 강수전단선분석 9,934 3.13% 14 R-STOP 강수후단선분석 9,934 3.13% 15 RA-SN 눈비경계라인분석 5,854 1.85% 16 HAIL 우박분석 5,854 1.85% 17 NSW 특보없음 19,341 6.10% 합계 317,169 100.00%
2.2 지역별 분포(기상특보 발령)지역 비율(%) 개수 서울·인천·경기도 11.82% 25,820 부산·울산·경상남도 12.02% 26,276 대구·경상북도 17.99% 39,307 광주·전라남도 13.45% 29,380 전라북도 6.15% 13,434 대전·세종·충청남도 5.93% 12,955 충청북도 5.04% 11,003 강원도 16.76% 36,629 제주도 10.85% 23,713 합계 100.00% 218,517
2.3 위험기상별 분포순서 기상요소 비율(%) 시간(파일 수) 1 강풍 14.90% 14,124 2 풍랑 21.00% 19,892 3 호우 6.20% 5,854 4 대설 4.30% 4,080 5 건조 20.30% 19,187 6 폭풍해일 0.20% 201 7 한파 4.90% 4,661 8 태풍 0.80% 747 9 황사 0.20% 142 10 폭염 6.60% 6,271 11 NSW 20.50% 19,341 합계(시간) 94,500 -
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드1.위험기상 예측모델
- 모델의 입력으로 1시간 간격으로 주어진 위성영상, 레이더영상, AWS 센서값을 사용
- Multimodal learning을 위해 이미지 feature extraction 모델(오토 인코더)를 전처리과정에 추가하여 AWS 센서 데이터와 통합하여 데이터셋 구성
- 통합된 데이터셋을 학습하여 향후 24시간동안 위험기상 발생 여부를 각 시간별로 예측하는 모델
- 총 학습용 데이터 수집기간 7년 (2014년 7월 1일 00시 ~ 2021년 6월 30일 23시)
√ 학습용 데이터셋 5년(2014년 7월 1일 00시 ~ 2019년 6월 30일 23시)
√ 평가용 데이터셋 1년(2019년 7월 1일 00시 ~ 2020년 6월 30일 23시)
√ 테스트용 데이터셋 1년(2020년 7월 1일 00시 ~ 2021년 6월 30일 23시)
2. 특보분석 어노테이션 탐지 모델
- 수작업 어노테이션 geojson의 좌표를 기반으로 어노테이션 mask를 생성
- 전처리된 위성, 레이더 이미지에서 Mask R-CNN모델을 학습해 어노테이션 mask의 위치를 탐지
- 총 학습용 데이터 수집기간 7년 (2014년 7월 1일 00시 ~ 2021년 6월 30일 23시, 해당 기간 중어노테이션이 있었던 시간대에 대해서만 데이터 셋 생성)
√ 학습용 데이터셋 5년(2014년 7월 1일 00시 ~ 2019년 6월 30일 23시)
√ 평가용 데이터셋 1년(2019년 7월 1일 00시 ~ 2020년 6월 30일 23시)
√ 테스트용 데이터셋 1년(2020년 7월 1일 00시 ~ 2021년 6월 30일 23시)
-
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 폭설 예측 Prediction Auto-Encoder, LSTM, Mask R-CNN Accuracy 70 % 91.73 % 2 폭우 예측 Prediction Auto-Encoder, LSTM, Mask R-CNN Accuracy 80 % 88.98 % 3 폭염 예측 Prediction Auto-Encoder, LSTM, Mask R-CNN Accuracy 70 % 90.05 % 4 어노테이션 예측 Prediction Auto-Encoder, LSTM, Mask R-CNN Accuracy 50 % 97.47 %
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드1. 원천데이터 구성
1.1 기상위성 이미지
1.2 기상레이더 이미지
1.3 자동기상관측데이터
지점번호,시각,평균 기온,최고 기온,최저 기온,평균 풍속,합성 풍속,합성 풍향,최대 순간 풍속,최대 순간 풍속 풍향,평균 전운량,합계 강수량,평균 현지기압,평균 해면기압,이슬점온도,10분 평균 시정,운고
0,90,2020-06-01 01:00:00,17.7,18.0,17.3,1.5,0.6,328.8,5.0,355.3,5.7,0.0,1005.3,1007.3,15.4,11296.0,1438.0
1,90,2020-06-01 02:00:00,18.1,18.9,17.5,1.2,0.7,167.6,3.5,200.2,7.8,0.0,1005.0,1007.0,15.4,8634.0,1414.0
2,90,2020-06-01 03:00:00,18.4,19.3,17.5,1.2,0.6,80.4,4.5,59.2,7.9,0.0,1004.5,1006.5,14.6,13042.0,1450.0
3,90,2020-06-01 04:00:00,20.4,20.8,19.2,1.5,1.2,324.6,5.0,0.0,7.1,0.0,1004.0,1006.0,14.2,20000.0,1490.0
2. 라벨링데이터 구성 스키마
2.1 기상 특보데이터 스키마1. 원천데이터 구성 구분 항목명 타입 필수여부 설명 범위 비고 1 name String Y 위험기상명 "강풍","풍랑","호우","대설","건조","폭풍해일","한파","태풍","황사", "폭염", “NSW” 2 datetime String Y 날짜 yyyyMMddhhmm 3 sat Object 위성 3-1 sat.ea Object 동아시아 3-1-1 sat.ea.png String 이미지 파일 경로 3-1-2 sat.ea.nc String 원시데이터 파일 경로 3-2 sat.ko Object 한반도 3-2-1 sat.ko.png String 이미지 파일 경로 3-2-2 sat.ko.nc String 원시데이터 파일 경로 4 rad Object 레이더 4-1 rad.comp String 레이더 합성장 파일 경로 4-2 rad.uf Object 레이더 원시 파일 경로 4-2-1 rad.uf.kwk String 관악산 레이더 원시 경로 4-2-2 rad.uf.bir String 백령도 레이더 원시 경로 4-2-3 rad.uf.gdk String 광덕산 레이더 원시 경로 4-2-4 rad.uf.gng String 강릉 레이더 원시 경로 4-2-5 rad.uf.ksn String 군산(오성산) 레이더 원시 경로 4-2-6 rad.uf.jni String 진도 레이더 원시 경로 4-2-7 rad.uf.myn String 명봉산 레이더 원시 경로 4-2-8 rad.uf.psn String 부산 레이더 원시 경로 4-2-9 rad.uf.gsn String 구덕산 레이더 원시 경로 4-2-10 rad.uf.ssp String 성산 레이더 원시 경로 4-2-11 rad.uf.iia String 인천공항 레이더 원시 경로 5 obs Object 관측자료 5-1 obs.aws String aws 파일 경로 5-2 obs.amos_folder String amos 폴더 경로 6 geojson_folder String geojson 폴더 경로 7 risk_region Object Y 7-1 risk_region.서울·인천·경기도 Number Y 특보발령 상태 0,1,2 0:특보없음 1: 경보 2: 주의보 7-2 risk_region.부산·울산·경상남도 Number Y 특보발령 상태 0,1,2 0:특보없음 1: 경보 2: 주의보 7-3 risk_region.대구·경상북도 Number Y 특보발령 상태 0,1,2 0:특보없음 1: 경보 2: 주의보 7-4 risk_region.광주·전라남도 Number Y 특보발령 상태 0,1,2 0:특보없음 1: 경보 2: 주의보 7-5 risk_region.전라북도 Number Y 특보발령 상태 0,1,2 0:특보없음 1: 경보 2: 주의보 7-6 risk_region.대전·세종·충청남도 Number Y 특보발령 상태 0,1,2 0:특보없음 1: 경보 2: 주의보 7-7 risk_region.충청북도_건조 Number Y 특보발령 상태 0,1,2 0:특보없음 1: 경보 2: 주의보 7-8 risk_region.강원도 Number Y 특보발령 상태 0,1,2 0:특보없음 1: 경보 2: 주의보 7-9 risk_region.제주도 Number Y 특보발령 상태 0,1,2 0:특보없음 1: 경보 2: 주의보 7-10 risk_region.특보상태 Number Y 특보발령 상태 0,1,2 0:특보없음 1: 경보 2: 주의보 2.2 기상 분석데이터 스키마
구분 항목명 타입 필수여부 설명 범위 1 type String Y FeatureCollection 2 features Array Y 2-1 features[].type String Y Feature 판단 2-2 features[].geometry String Y 방식 및 좌표 2-2-1 features[].geometry.type String Y 어노테이션 방식 Polygon, LineString, Point, None 2-2-2 features[].geometry.coordinates Number[] Y Feature의 좌표 [[경도, 위도], [경도, 위도], ...] 2-3 features[].properties Object Y Feature 설명 2-3-1 features[].properties.name String Y 어노테이션 이름 LLJ,W_SNOW,E_SNOW, WET_SNOW, CUM_SN, COLD_FRONT, WARM_FRONT, OCC_FRONT, H_POINT, L_POINT, HLJ, TYPOON, R_START, R_STOP, RA_SN, HAIL, NSW 3. 라벨링데이터 실제예시
3.1 기상특보데이터(Json) 실제 예시
3.2 기상분석데이터(GeoJson) 실제 예시
-
데이터셋 구축 담당자
수행기관(주관) : ㈜미래기후
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 김현기 02-878-0135 hyun@miraeclimate.com · 사업 총괄 수행기관(참여)
수행기관(참여) 기관명 담당업무 한국기상산업기술원 · 원천데이터 수집 지원 케이웨더(주) · 원천데이터 수집 정제 가공 미래아이티(주) · 품질 관리 한국기상산업협회 · 라벨링 및 1차 QC ㈜한국해양기상기술 · 활용 모델 구축
· 어노테이션 도구 개발
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.