-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.0 2024-07-05 데이터 개방 Beta Version 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2024-08-01 활용가이드라인,구축업체정보 수정 2024-07-05 산출물 공개 Beta Version 소개
- 김치에 대해 원료(배추, 절임배추) 품질 등급에 대한 데이터 확보, AI 기술을 접목하여 원부재료의 이미지를 디지털화하고, 비파괴 품질검사 예측 서비스 활용
구축목적
- 김치 생산공정별 품질 등급 분류 이미지 및 분석용 데이터베이스 구축 - 생산공정별 데이터 셋 및 비파괴 품질검사용 데이터셋 구축 - 정성적 생산공정을 보완하는 단계별 정량적 데이터베이스 구축
-
메타데이터 구조표 데이터 영역 제조 데이터 유형 이미지 데이터 형식 jpg, hsi+hdr or img+hdr, npz 데이터 출처 직접 수집 라벨링 유형 세그멘테이션(이미지) 라벨링 형식 json 데이터 활용 서비스 김치 제조/생산공정 비파괴적 품질등급 예측 AI모델 개발 및 서비스 데이터 구축년도/
데이터 구축량2023년/원천데이터 (배추원물 이미지 : RGB 30,300장, 초분광 60,600장 / 절임배추 이미지 : RGB 30,238장, 초분광 60,476장 / 종균김치 이미지 : RGB 30,190장, 초분광 60,380장), 라벨링 데이터 (배추원물 : 30,300건 / 절임배추 : 30,238건 / 종균김치 : 30,190건 ) -
- 학습용 데이터 구성(원천데이터 이미지 기준)
학습용 데이터 구성(원천데이터 이미지 기준) 데이터 구축 총량
(100%)학습 데이터
(83.3%)테스트 데이터
(6.7%)검증 데이터
(10%)272,184 226,851 18,114 27,219 - 원천데이터 대비 가공(라벨링) 데이터 분포
원천데이터 대비 가공(라벨링) 데이터 분포 원천 데이터 가공(라벨링) 데이터 대분류 소분류 포맷 수량 단위 대분류 소분류 포맷 수량 단위 RGB Baechu jpg 30,300 장 폴리곤
가공데이터Baechu json 30,300 개 Kimchi jpg 30,190 장 Kimchi json 30,190 개 Salted baechu jpg 30,238 장 Salted baechu json 30,238 개 초분광 Baechu his+hdr
or
img+hdr30,300 장 Kimchi his+hdr
or
img+hdr30,190 장 Salted baechu his+hdr
or
img+hdr30,238 장 AI초분광 Baechu npz 30,300 장 Kimchi npz 30,190 장 Salted baechu npz 30,238 장 합계 272,184 합계 90,728 -
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드- 원물 배추의 품질 데이터
- 원물 배추가 포함되어 있는 초분광 이미지와 RGB 이미지에서 세그멘테이션으로 추론하여 원물 배추의 크기와 무게를 추정할 수 있는 AI 모델을 구현함
- 초분광 이미지 정보 및 세그멘테이션 정보를 활용하여 원물 배추의 수분과 당도 함량을 추정할 수 있는 AI 모델을 구현함
- 절임 배추의 품질 데이터
- 절임 배추가 포함되어 있는 초분광 이미지와 RGB 이미지에서 세그멘테이션으로 추론할 수 있는 AI 모델을 구현함
- 초분광 이미지 정보 및 세그멘테이션 정보를 활용하여 절임 배추의 절임 시간별 염도 함량을 추정할 수 있는 AI 모델을 구현함
- 종균 단계의 김치 품질 데이터
- 종균 단계의 김치가 포함되어 있는 초분광 이미지와 RGB 이미지에서 세그멘테이션으로 추론할 수 있는 AI 모델을 구현함.
- 초분광 이미지 정보 및 세그멘테이션 정보를 활용하여 종균이 첨가되기 전후의 김치의 품질 특징을 분류하는 AI 모델을 구현함- 인공지능 모델 종류별 선정 사유
배추 분할 알고리즘 모델
[이미지 분할 알고리즘]
- 본 과제에서 제시하는 UNET3+ 와 같은 이미지 분할 알고리즘은 크기 측정을 하는 직접적인 의미의 사용 및 품질 지표 모델에서 초분광 이미지와 매핑하여 실제 배추/김치가 있는 곳만을 관측하기 위한 용도로 사용됨
- 알고리즘의 경우에는 분할모델에서 많이 사용되는 UNET3+ 및 이미지 검출로 많이 알려져있는 Yolo v8 segementation 모델을 추가적으로 학습하여 성능 지표를 달성[품질 지표 분류 모델]
- 본 과제에서 제시하는 MultiTask EffieicnetNetV2 모델은 품질 지표를 평가하기 위하여 사용됨. 모두 상(0)/중(1)/하(2)로 나뉘어지고, 등급 외는 수집단계에서 제거되지만 남은 데이터가 있을 수 있어 3으로 출력되도록 한다. 품질 지표가 각각 나오는 multi-task 모델을 활용하
- 본 과제에서 제시하는 MultiTask EffieicnetNetV2 모델은 크기 측정을 하는 직접적인 의미의 사용 및 품질 지표 모델에서 초분광 이미지와 매핑하여 실제 배추/김치가 있는 곳만을 관측하기 위한 용도로 사용됨 (위의 그림에서 초분광 전처리에 해당) -
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드- 데이터 구성 및 어노테이션 포맷
1) 배추 원물 데이터배추 원물 데이터 구분 속성명 타입 필수여부 설명 1 index number 필수 배추 인덱스 2 status number 필수 상태 3 date string 필수 촬영일자 4-1 hsi fileURL string 필수 초분광 이미지 폴더 경로 4-2 image_type number 필수 이미지 종류 5-1 aihsi fileUrl string 필수 인공지능 초분광 이미지 파일 경로 5-2 image_type number 필수 이미지 종류 6-1 camera f_number string 필수 조리개값 6-2 shutter_speed number 필수 셔터속도 6-3 iso number 필수 민감도 7-1 image fileURL string 필수 RGB 이미지 파일 경로 7-2 image_type number 필수 이미지 종류 7-3 from string 필수 촬영장소 7-4 format string 필수 포맷 7-5 imgsize number 필수 이미지 파일 크기(MB) 7-6 width number 필수 이미지 가로길이 7-7 height number 필수 이미지 세로길이 7-8 device string 필수 촬영 기기 정보 8-1 process site string 필수 재배지역 8-2 kind string 필수 품종 8-3 harv_date string 필수 재배일자 9-1 metadata weight number 필수 중량(kg) 9-2 wid_hei array 필수 크기(cm) 9-3 water number 필수 수분함량(%) 9-4 sugar number 필수 당도(Brix) 10-1 polygon poly_coord number 필수 polygon 좌표 10-2 poly_center number 필수 polygon 중심 좌표 11-1 grade water_grade number 필수 0: 하, 1: 중, 2: 상 11-2 sugar_grade number 필수 0: 하, 1: 중, 2: 상 2) 절임 배추 데이터
절임 배추 데이터 구분 속성명 타입 필수여부 설명 1 index number 필수 배추 인덱스 2 status number 필수 상태 3 date string 필수 촬영일자 4-1 hsi fileURL string 필수 초분광 이미지 폴더 경로 4-2 image_type string 필수 이미지 종류 5-1 aihsi fileUrl string 필수 인공지능 초분광 이미지 파일 경로 5-2 image_type string 필수 이미지 종류 6-1 camera f_number string 필수 조리개값 6-2 shutter_speed number 필수 셔터속도 6-3 iso number 필수 민감도 7-1 image fileURL string 필수 RGB 이미지 파일 경로 7-2 image_type number 필수 이미지 종류 7-3 from string 필수 촬영장소 7-4 format string 필수 포맷 7-5 imgsize number 필수 이미지 파일 크기(MB) 7-6 width number 필수 이미지 가로길이 7-7 height number 필수 이미지 세로길이 7-8 device string 필수 촬영 기기 정보 8-1 process brine_concentration number 필수 염수농도(%) 8-2 temp number 필수 온도(℃) 8-3 pickled_time number 필수 절임시간(분) 9-1 metadata ph number 필수 수소 이온 농도 지수 9-2 salt number 필수 염도(%) 9-3 sugar number 필수 당도(Brix) 10-1 polygon poly_coord number 필수 polygon 좌표 10-2 poly_center number 필수 polygon 중심 좌표 11 grade salt_grade number 필수 0: 미절임, 1: 적절임, 2: 과절임 3) 종균 김치 데이터
종균 김치 데이터 구분 속성명 타입 필수여부 설명 1 index number 필수 배추 인덱스 2 status number 필수 상태 3 date string 필수 촬영일자 4-1 hsi fileURL string 필수 초분광 이미지 폴더 경로 4-2 image_type string 필수 이미지 종류 5-1 aihsi fileUrl string 필수 인공지능 초분광 이미지 파일 경로 5-2 image_type string 필수 이미지 종류 6-1 camera f_number string 필수 조리개값 6-2 shutter_speed number 필수 셔터속도 6-3 iso number 필수 민감도 7-1 image fileURL string 필수 RGB 이미지 파일 경로 7-2 image_type number 필수 이미지 종류 7-3 from string 필수 촬영장소 7-4 format string 필수 포맷 7-5 imgsize number 필수 이미지 파일 크기(MB) 7-6 width number 필수 이미지 가로길이 7-7 height number 필수 이미지 세로길이 7-8 device string 필수 촬영 기기 정보 8-1 process recipe string 필수 레시피 9-1 metadata fermentation_day number 필수 대상품목별 발효일수 9-2 total_cell_counts number 필수 총균수(CFU/g) 9-3 total_lactic acid_bacteria_counts number 필수 유산균수(CFU/g) 9-4 sugar number 필수 당도(Brix) 9-5 salt number 필수 염도(%) 9-6 acidity number 필수 산도(%) 9-7 pH number 필수 수소 이온 농도 지수 9-8 dominant_popultion number 필수 종균우점율(%) 10-1 polygon poly_coord number 필수 polygon 좌표 10-2 poly_center number 필수 polygon 중심 좌표 11-1 grade ph_grade number 필수 0: 미숙, 1: 적숙, 2: 과숙 11-2 lacto_grade number 필수 0: 미숙, 1: 적숙, 2: 과숙 - 데이터 포맷
1) JSON 형식
- 배추 원물 데이터배추 원물 데이터 { "index": 1,
"status": 0,
"date": "2023-08-01",
“hsi”:{
“fileURL”:“초분광_Baechu/Baechu_A_meta_00001_R_00001/”,
“image_type”:“1”
},
“aihsi”:{
“fileUrl”:”AI초분광-Baechu/Baechu_A_meta_00001_R_00001.npz“,
“image_type”:“1”
},
"camera": {
"f_number": "6",
"shutter_speed": "16.7s",
"iso": "805"
},
"image": {
"image_type": 0,
"from": "실험실 부스”,
"format": "jpg",
"imgsize": "1.0",
"width": 1088,
"height": 1440,
"device": "OMRON GigE vision camera 1.6M monochrome",
"fileURL": "RGB-Baechu/Baechu_A_meta_00001_R_00004.jpg"
},
"process": {
"site": "강원도",
"kind": "노랑여름배추",
"harv_date": "2023-10-30"
},
"metadata": {
"weight": 2.5,
"wid_hei": [
200,
300
],
"water": 95.4,
"sugar": 3.5
},
"polygon": {
"poly_coord": [[192, 21], [191, 22], [182, 22], [181, 23], [174, 23],
.
. [224, 33], [222, 31], [222, 30], [217, 25], [216, 25], [215, 24], [214, 24], [213, 23], [212, 23], [211, 22], [202, 22], [201, 21]
],
"poly_center": [
184.5,
117.0
]
},
"grade": {
“water_grade” : 1,
“sugar_grade” : 2
}
}품질정보 데이터(Baechu_A_meta_00001_R_00001) - 절임배추 데이터
절임배추 데이터 { "index": 1,
"status": 1,
"date": "2023-08-01",
“hsi”:{
“fileURL”:“초분광_Salted Baechu/Salted Baechu_A_meta_00001_R_00001/”,
“image_type”:“1”
},
“aihsi”:{
“fileUrl”: “AI초분광-Salted Baechu/Salted Baechu_A_meta_00001_R_00001.npz",
“image_type”:“1”
},
"camera": {
"f_number": "6",
"shutter_speed": "16.7s",
"iso": "805"
},
"image": {
"image_type": "0",
"from": "실험실 부스”,
"format": "jpg",
"imgsize": "1.0",
"width": 1088,
"height": 1440,
"device": "OMRON GigE vision camera 1.6M monochrome",
"fileURL": “RGB-Salted baechu/Salted Baechu_A_meta_00001_R_00001.jpg"
},
"process": {
"brine_concentration": 10,
"temp": 20,
"pickled_time": 950
},
"metadata": {
"ph": 5,
"salt": 2,
"sugar": 5
},
"polygon": {
"poly_coord": [[192, 21], [191, 22], [182, 22], [181, 23], [174, 23], [173, 24], [166, 24], [165, 25], [159, 25], [158, 24], [156, 24], [155, 25],
.
.
.
[216, 25], [215, 24], [214, 24], [213, 23], [212, 23], [211, 22], [202, 22], [201, 21]
],
"poly_center": [
184.5,
117.0
]
},
"grade": {
“salt_grade” : 2
}
}품질정보 데이터(Salted Baechu_A_meta_00001_R_00001) - 종균 김치 데이터
종균 김치 데이터 { "index": 1,
"status": 2,
"date": "2023-08-01",
“hsi”:{
“fileURL”:“초분광_Kimchi/Kimchi_A_d00_meta_00001_R_00001/”,
“image_type”:“1”
},
“aihsi”:{
“fileUrl”:”AI초분광-Kimchi/Kimchi_A_d00_meta_00001_R_00001.npz“,
“image_type”:“1”
},
"camera": {
"f_number": “6”,
"shutter_speed": "16.7s",
"iso": 805
},
"image": {
"image_type": 0,
"from": "실험실 부스",
"format": "jpg",
"img_size_MB": 1.0,
"width": 1088,
"height": 1440,
"device": "OMRON GigE vision camera 1.6M monochrome",
"fileURL": ”RGB-Kimchi/Kimchi_A_d00_meta_00001_R_00001.jpg“
},
"process": {
"recipe": "1"
},
"meta": {
"fermentation_day": "d00",
"total_cell_counts": 65000,
"total_lactic acid_bacteria_counts": 62000,
"sugar": 4.5,
"salt": 1.90,
"acidity": 0.25,
"pH": 5.85,
"dominant_population": 95.4
},
"polygon": {
"poly_coord": [[192, 21], [191, 22], [182, 22], [181, 23], [174, 23], [173, 24], [166, 24], [165, 25], [159, 25], [158, 24], [156, 24], [155, 25], [154, 25],
.
.
.
[215, 24], [214, 24], [213, 23], [212, 23], [211, 22], [202, 22], [201, 21]
],
"poly_center": [
184.5,
117.0
]
},
"grade": {
“ph_grade” : 1,
“lacto_grade” : 2
}
}품질정보 데이터(Kimchi_A_d00_meta_00001_R_00001) -
데이터셋 구축 담당자
수행기관(주관) : 세계김치연구소
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 장지윤 062-610-1765 jyjang@wikim.re.kr 사업총괄 수행기관(참여)
수행기관(참여) 기관명 담당업무 (주)에스엘아이평생교육원 데이터 어노데이션 및 이미지 데이터 가공 ㈜카탈로닉스 데이터 수집 및 관리, 데이터 품질관리, AI알고리즘, 데이터 검증 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 장지윤 062-610-1765 jyjang@wikim.re.kr 민승기 062-610-1806 skmin@wikim.re.kr AI모델 관련 문의처
AI모델 관련 문의처 담당자명 전화번호 이메일 석 민 070-4355-6042 m.suk@catalonix.com 공정식 070-4355-6042 jskong@catalonix.com 저작도구 관련 문의처
저작도구 관련 문의처 담당자명 전화번호 이메일 박진석 02-541-7158 vceo@sliedu.com 선문성 02-541-7158 moonstar@sliedu.com
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.