-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.1 2023-11-21 데이터 최종 개방 1.0 2023-04-30 데이터 개방(Beta Version) 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2024-04-03 데이터설명서 수정 다중분광/초분광 녹조 이미지 데이터 확인 매뉴얼 내용 추가 2023-11-21 산출물 전체 공개 소개
상수원-취수원 통합 수질 및 녹조 데이터
구축목적
상수원-취수원 통합 수질 및 녹조 데이터 상수원-취수원에서 수돗물 원수 수질 예측, 상수원 유역 오염원의 효율적인 관리를 위한 수집 체계 구현
-
메타데이터 구조표 데이터 영역 재난안전환경 데이터 유형 텍스트 데이터 형식 CSV 데이터 출처 자체 수집 라벨링 유형 Text 라벨링 형식 CSV, JSON 데이터 활용 서비스 상수원-취수원 통합 수질 및 녹조 데이터 전국 주요 하천, 호소 및 취수원의 수질/수량 통합데이터를 구성하여 상수원 수질관리 기초연구에 활용하며, 원수 수질 예측 AI 시스템을 기반으로 정수장의 오염발생에 선제적으로 대응, 깨끗하고 안전한 수돗물 서비스 제공 데이터 구축년도/
데이터 구축량2022년/상수원-취수원 통합 수질 및 녹조 데이터 : 학습용 데이터 496,691,071건 구축 -
1. 데이터 구축 규모
상수원-취수원 통합 수질 및 녹조 데이터
가. 상수원-취수원 통합 수질 데이터 수집 명세RFP
목표
건수CLASS1 CLASS2 CLASS3 CLASS4 CLASS5 CLASS5 수집 수량 대분류 중분류 소분류 지점 공통항목 선택항목 (*)건수산정시 항목 1억건 수리 수문 다목적 댐 수계 (5개) 다목적댐
(28개)
지점저수위 저수량 저수율 유입량 총방류량 발전방류량 취수량(*) 수문방류량(*) 142,000,000건 (8항목) 용수전 용댐 수도 (7개) 용수전용 댐 (14개) 지점 저수위 저수량 저수율 유입량
총방류량취수량(*)
공용량(*)64,000,000건 (7항목) 1억건 수질 상수원 호소 본류 수질 (81개 지점) 수온,
pH,
DO,
전기전도도,
탁도수위(*) 측정수심(*) 116,000,000건
(7항목)호소 지류 수질수량 통합관측 소
(39개 지점)수온 pH DO
전기전도도
탁도T-P,
T-N, TOC
수위(*)17,000,000건
(6항목)하천 수질 물환경정
보시스템-
자동측정망
(70개 지점)수온 pH,
DO
전기전도도
TOC탁도
Chl-a 등1,500,000건
(5항목)
(최근 3년치
기준)취수원 광역 취수원 계측 광역취수 원 (31개 지점)
1분단위전기전도도 pH 탁도 96,000,000건
(3항목)광역취수 원 (31개 지점) 1시간 단위 전기전도도
pH 탁도(팔당2취만 해당)
수온, 조류, 알카리도, TOC, 전기전도도, 잔류염소,녹조류, 남조류,규조류,
갈편모조류,
2-MIB, Geosmin,
시네드라,
T-N, T-P8,000,000건
(31개
3개항목)
1,200,000건
(팔당2취)광역 취수원 실측 주요 취수원 (11개 지점) 지오스민
2-MIB
망간 용존망간 Chl-a
조류개체수(총조
류) 남조류
시네드라24,000건 나. 녹조 이미지 데이터 수집 명세
항목 수집 내용 건수 수집 기관 기존 데이터 한국 수자원 공사
• (20~21년) 댐-보 무인항공 녹조모니터링 사업에서 수집한 녹조 이미지 데이터 및 현장조사 데이터
• 다중분광 이미지와 현장조사 자료가 모두 수집된 지역
- 학습데이터 활용가능 여부 판단 후 수집 예정
- 다중분광 이미지 규모는 밴드 별 이미지 파일 수로 정의• 원천데이터 90장 선영 신규 데이 터 녹조 이미지 데이터 • 다중분광 드론으로 수집한 녹조 이미지 데이터
- 이미지 보정을 위한 DLS, CLP 데이터 포함
- 1개소당1회1,000장이상의촬영이미지 데이터 신규 취득
- 1개소 당 10회 취득(총 8개소)
• 초분광 드론으로 수집한 녹조 이미지 데이터
- 대청호(서화천), 대청호(문의), 장계(가덕교)
- 1회, 1개소당 1장(정사영상)의 스캐닝 데이터 취득
- 1개소 당 10회 취득(총 3개소)• 80,000장 이상
• 30장 이상선영 지오 현장 조사 데이터 • 다중수질항목측정기(YSI)로 취득한 수질 데이터
- 수온, 용존산소량(DO),전기전도도(EC),클로로필,피코시아닌
- 1개소 당 1회 300건 이상의 수질 데이터 취득
- 1개소 당 11회 취득(총 8개소)
• 클로로필 측정을 위한 채수 데이터(보조자료)
- 수질측정대행업 등록기관에 클로로필 분석의뢰
- 1개소 당 1회 9건 이상의 채수 데이터 취득
- 1개소 당 11회 취득(총 8개소)
• 휴대용 기상측정 장비로 취득한 기상데이터
- 기온, 습도, 풍향, 풍속 데이터
- 1개소 당 1회 1건 기상데이터 취득
- 1개소 당 11회 취득(총 8개소)
• 지상기준점 측량• 26,400건
<추가수집>
• 792건
<추가수집>
• 88건
<추가수집>
• 192점선영 지오 기상 데이터 • 기상청 날씨누리에 기록된 관측자료
- 날씨, 기온, 습도, 평균온도, 평균강우량 데이터
- 이미지수집장소에서가장 인접한 관측소 데이터 수집
- 1개소 당 1회 1건 기상데이터 취득
- 1개소 당 11회 취득(총 8개소)
- 촬영일 이후 7일까지의 기상데이터 수집• 704건
<추가수집>지오
2. 데이터 분포상수원-취수원 통합 수질 및 녹조 데이터
가. 상수원-취수원 통합 수질 데이터
1) 원천데이터1차 경로 2차 경로 3차 경로 4차 경로 파일 포맷 제출 수량 제출 수량 (건수) (파일 수) 1. 상수원-취수원 통합수질 데이터 1.광역취수원(1분) csv, 479,655,992 31 2.광역취수원(1시간) 12,537,530 31 3.주요취수원(1시간) 4,798,919 7 총 수량 496,992,441 69 1차 경로 2차 경로 3차 경로 4차 경로 파일 포맷 제출 수량 (파일 수) 2 녹조 데이터 1
다중분광1.가덕교(GDK) 회차별
(01~10)tiff 3310 2.서화천(SHC) 3288 3.회남면(HNM) 3124 4.섬진강붕어섬(BES) 3564 5.영주댐(YJD) 3188 6.주암댐(JAD) 3311 7.창녕함안보(CNH) 3151 8.칠서취수장(CSC) 3463 2
초분광1.가덕교(GDK) 3347 2.서화천(SHC) 3298 3.회남면(HNM) 3148 총 수량 36,192 2) 라벨링 데이터
1차 경로 2차 경로 3차 경로 4차 경로 파일 포맷 제출 수량(건수) 제출 수량 (파일 수) 1. 상수원-취수원 통합수질 데이터 1.광역취수원(1분) json, 479,655,992 31 2.광역취수원(1시간) 12,537,530 31 3.주요취수원(1시간) 4,798,919 7 총 수량 496,992,441 69 1차 경로 2차 경로 3차 경로 4차 경로 파일 포맷 제출 수량 (파일 수) 2
녹조 데이터
1
다중분광
1.가덕교(GDK) 회차별
(01~10)
geojson 3310 2.서화천(SHC) 3288 3.회남면(HNM) 3124 4.섬진강붕어섬(BES) 3564 5.영주댐(YJD) 3188 6.주암댐(JAD) 3311 7.창녕함안보(CNH) 3151 8.칠서취수장(CSC) 3463 2
초분광
1.가덕교(GDK) 3347 2.서화천(SHC) 3298 3.회남면(HNM) 3148 총 수량 36,192 -
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드녹조 이미지 스펙트럼 데이터
- 다중분광(5채널) 및 초분광(150채널) 녹조 이미지와 기상정보 라벨링 데이터는 비시계열성 데이터임
- 비시계열 데이터를 기반으로 예측(prediction, regression) 모델을 개발함
- 녹조 이미지는 TIF 형태로 저장되며 기상정보 등 기타 라벨링 정보는 JSON으로 저장됨
- 비시계열 데이터 기반 예측 모델: 녹조 다중분광 또는 초분광 스펙트럼 데이터와 기타 수리·수문 정보를 이용하여 클로로필A 예측
> MLP(Multi Layer Perceptron) 모델
> CNN(Convolutional Neural Networks) 모델
> XGBoost 모델
등 3종 모델을 개발하여 성능 기준 1-Cycle 최적모델을 선정
- 성능 비교를 통해 XGBoost 모델을 최종모델로 결정 -
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 수질값 예측 성능 (상수원-취수원 수질 센서) Prediction Dlinear MAPE 20 % 1.23 % 2 녹조값 예측 성능 (녹조 이미지) Prediction XGBoost MAPE 20 % 14.81 %
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드수원-취수원 통합 수질 및 녹조 데이터
가. 상수원-취수원 통합 수질 데이터 수집 명세RFP
목표
건수CLASS1 CLASS2 CLASS3 CLASS4 CLASS5 CLASS5 수집 수량 대분류 중분류 소분류 지점 공통항목 선택항목 (*)건수산정시 항목 1억건 수리 수문 다목적 댐 수계 (5개) 다목적댐
(28개)
지점저수위 저수량 저수율 유입량 총방류량 발전방류량 취수량(*) 수문방류량(*) 142,000,000건 (8항목) 용수전 용댐 수도 (7개) 용수전용 댐 (14개) 지점 저수위 저수량 저수율 유입량
총방류량취수량(*)
공용량(*)64,000,000건 (7항목) 1억건 수질 상수원 호소 본류 수질 (81개 지점) 수온,
pH,
DO,
전기전도도,
탁도수위(*) 측정수심(*) 116,000,000건
(7항목)호소 지류 수질수량 통합관측 소
(39개 지점)수온 pH DO
전기전도도
탁도T-P,
T-N, TOC
수위(*)17,000,000건
(6항목)하천 수질 물환경정
보시스템-
자동측정망
(70개 지점)수온 pH,
DO
전기전도도
TOC탁도
Chl-a 등1,500,000건
(5항목)
(최근 3년치
기준)취수원 광역 취수원 계측 광역취수 원 (31개 지점)
1분단위전기전도도 pH 탁도 96,000,000건
(3항목)광역취수 원 (31개 지점) 1시간 단위 전기전도도
pH 탁도(팔당2취만 해당)
수온, 조류, 알카리도, TOC, 전기전도도, 잔류염소,녹조류, 남조류,규조류,
갈편모조류,
2-MIB, Geosmin,
시네드라,
T-N, T-P8,000,000건
(31개
3개항목)
1,200,000건
(팔당2취)광역 취수원 실측 주요 취수원 (11개 지점) 지오스민
2-MIB
망간 용존망간 Chl-a
조류개체수(총조
류) 남조류
시네드라24,000건 나. 녹조 이미지 데이터 수집 명세
항목 수집 내용 건수 수집 기관 기존 데이터 한국 수자원 공사
• (20~21년) 댐-보 무인항공 녹조모니터링 사업에서 수집한 녹조 이미지 데이터 및 현장조사 데이터
• 다중분광 이미지와 현장조사 자료가 모두 수집된 지역
- 학습데이터 활용가능 여부 판단 후 수집 예정
- 다중분광 이미지 규모는 밴드 별 이미지 파일 수로 정의• 원천데이터 90장 선영 신규 데이 터 녹조 이미지 데이터 • 다중분광 드론으로 수집한 녹조 이미지 데이터
- 이미지 보정을 위한 DLS, CLP 데이터 포함
- 1개소당1회1,000장이상의촬영이미지 데이터 신규 취득
- 1개소 당 10회 취득(총 8개소)
• 초분광 드론으로 수집한 녹조 이미지 데이터
- 대청호(서화천), 대청호(문의), 장계(가덕교)
- 1회, 1개소당 1장(정사영상)의 스캐닝 데이터 취득
- 1개소 당 10회 취득(총 3개소)• 80,000장 이상
• 30장 이상선영 지오 현장 조사 데이터 • 다중수질항목측정기(YSI)로 취득한 수질 데이터
- 수온, 용존산소량(DO),전기전도도(EC),클로로필,피코시아닌
- 1개소 당 1회 300건 이상의 수질 데이터 취득
- 1개소 당 11회 취득(총 8개소)
• 클로로필 측정을 위한 채수 데이터(보조자료)
- 수질측정대행업 등록기관에 클로로필 분석의뢰
- 1개소 당 1회 9건 이상의 채수 데이터 취득
- 1개소 당 11회 취득(총 8개소)
• 휴대용 기상측정 장비로 취득한 기상데이터
- 기온, 습도, 풍향, 풍속 데이터
- 1개소 당 1회 1건 기상데이터 취득
- 1개소 당 11회 취득(총 8개소)
• 지상기준점 측량• 26,400건
<추가수집>
• 792건
<추가수집>
• 88건
<추가수집>
• 192점선영 지오 기상 데이터 • 기상청 날씨누리에 기록된 관측자료
- 날씨, 기온, 습도, 평균온도, 평균강우량 데이터
- 이미지수집장소에서가장 인접한 관측소 데이터 수집
- 1개소 당 1회 1건 기상데이터 취득
- 1개소 당 11회 취득(총 8개소)
- 촬영일 이후 7일까지의 기상데이터 수집• 704건
<추가수집>지오 -
데이터셋 구축 담당자
수행기관(주관) : 경상북도
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 이근호 054-880-2288 soyiumul@korea.kr 빅데이터 팀장 수행기관(참여)
수행기관(참여) 기관명 담당업무 ㈜한국융합아이티 상수원-취수원 통합 수질 데이터 수집 및 정제 한국상하수도협회 전문가 자문위원회 구성 ㈜아이덴티파이 AI학습 모델 개발 한국자원경제연구소 지하수 수량 수질 데이터 수집 및 정제 ㈜지오스토리 녹조 데이터 수집, 정제, 가공 ㈜선영종합엔지니어링 녹조 데이터 수집, 정제, 가공 한국정보평가원㈜ 상수원-취수원 및 지하수 수질 데이터 검사 ㈜비전21테크 상수원-취수원 통합 수질 데이터 가공 전남대학교 산학협력단 여수산학협력본부 상수원-취수원 및 지하수 수질 데이터 검사 ㈜우경정보기술 지하수 수량 수질 데이터 가공 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 이근호 054-880-2288 soyiumul@korea.kr
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.