-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.1 2023-11-03 데이터 최종 개방 1.0 2023-06-28 데이터 개방(Beta Version) 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2023-11-03 산출물 전체 공개 소개
교육활동 과정에서 작성된 초중고 학생 손글씨 데이터를 이용하여 초중고 학생들의 교육활동을 지원하기 위한 에듀테크 산업에서 손글씨 문자 OCR 인식하는 AI 모델을 개발하기 위한 학습용 데이터
구축목적
초중고 학년별로 다양한 형태로 작성된 손글씨 데이터를 수집하여 학생들을 대상으로 하는 맞춤형 학습서비스 개발을 위한 손글씨 OCR 문자 인식 기술 개발
-
메타데이터 구조표 데이터 영역 교육 데이터 유형 텍스트 , 이미지 데이터 형식 PNG 데이터 출처 자체 수집 라벨링 유형 세그멘테이션(이미지) 라벨링 형식 JSON 데이터 활용 서비스 교육현장에서 발생되는 자료 문자 인식(OCR), 시험 답안지 자동 채점 서비스 데이터 구축년도/
데이터 구축량2022년/이미지 기준 128,771면 -
1. 데이터 구축 규모
■교육(원천데이터 이미지 128,771면)원천데이터 데이터 종류 데이터 형태 원문 규모 데이터 수집방법 데이터형식 교육 이미지 128,771면 원본문서(스캐닝)
디지털 파일이미지 : PNG 2. 데이터 분포
■수집기관별 분포
수집기관별 분포 과제명 학원기관 학교기관 자유공모 계 대규모OCR데이터
(교육)64,590 29,855 34,326 128,771 50.20% 23.20% 26.60% 100% ■작성자별 데이터 분포
작성자별 데이터 분포 학년별 카테고리 코드 이미지수 구성비 초등학교 1학년 E1 10,228 8% 2학년 E2 10,280 8% 3학년 E3 10,446 8% 4학년 E4 10,501 8% 5학년 E5 10,463 8% 6학년 E6 10,202 8% 중학교 1학년 M1 10,042 8% 2학년 M2 10,858 8% 3학년 M3 11,207 9% 고등학교 1학년 H1 11,608 9% 2학년 H2 11,261 9% 3학년 H3 11,675 9% 계 128,771 1 -
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드■모델 학습
모델 학습 과제명 구분 Training Validation Test Total 대규모OCR데이터
(교육)할당비율 80% 10% 10% 100% 원천데이터 102,969 12,892 12,910 128,771 라벨링데이터 102,969 12,892 12,910 128,771 [설명]
■교육 OCR 인공지능 모델 학습용 데이터는 작성자(학년)별로 구축되어야 하며, 원천데이터 이미지 기준으로 128,771면의 규모가 됨
■ 구축된 데이터는 훈련용(Training), 검증용(Validation), 시험용(Test)을 80% : 10% : 10% 비율로 분리하여 학습에 사용하며, 시험용 데이터는 학습이 완료될 때까지 개봉되어서는 안 됨[그림] 교육 인공지능 모델 학습
■서비스 활용 시나리오
■ 교육현장에서 발생되는 답안지 이미지와 교육 OCR 모델을 결합하여 정답영역을 인식하고, 결과표시를 표시하는 등 자동 채점 서비스 개발: (데이터화된)지능형 채점 서비스
■ 사전에 DB화된 정답지와 교육 OCR 모델을 결합하여, 제공된 결과로 학생 개개인의 수준에 적합한 맞춤형 교육과정 추천 서비스 개발 \ -
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 문자 인식 성능 Optical Character Recognition CRAFT F1-Score@IoU 0.5 0.8 점 0.8204 점
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드■데이터 포맷
○원시데이터 특성원시데이터 특성 종류 내용 자료형태 디지털 이미지 글자체 인쇄체, 타자체, 수기 등 원본형태 종이, 디지털파일 원본제작유형 전국의 초중고 학생이 여러 가지 교과목에 대하여 직접 손으로 필기한 데이터 (필기노트, 글짓기행사, 답안지 등을 통하여 작성되어 수집) 원본제작시기 2022 자료분류 초등학교 1학년부터 고등학교 3학년까지 학습과정에서 작성한 손글씨 데이터 파일포멧 PNG 이미지해상도 FHD 이상 이미지색상 컬러 규모 128,771면 중요성 학년별로 다양하게 나타나`는 학생들의 손글씨 문자 인식을 제고를 통하여 에듀테크 산업 및 지능형 학습서비스 연구개발에 필요한 OCR 인식기술 확보 법률문제 개인정보, 민감정보 등 ○JSON 형식
{ "Annotation": {
"object_recognition": 1,
"text_language": 0
},
"Dataset": {
"category": 0,
"identifier": "OCR(edu)",
"label_path": "OCR(edu)/M/G2",
"name": "대규모 OCR 데이터(교육)",
"src_path": "OCR(edu)/M/G2",
"type": 1
},
"Images": {
"acquisition_location": "국제신문",
"application_field": "자유형",
"area": 6,
"background": 0,
"class": 6,
"data_captured": "2022.10.07 09:56:08",
"dpi": 300,
"grade": 2,
"group": 3,
"height": 1865,
"identifier": "FRE_M2_020669",
"make_id": "F004",
"section": 2,
"type": "png",
"width": 2458
},
"Bbox": [
{
"data": "저의",
"id": 5,
"type": 1,
"x": [295, 295, 458, 458],
"y": [225, 321, 225, 321]
},
{
"data": "목표는",
"id": 6,
"type": 1,"x": [470, 470, 679, 679],
"y": [224, 342, 224, 342]
},
{
"data": "아주",
"id": 7,
"type": 1,
"x": [695, 695, 862, 862],
"y": [234, 358, 234, 358]
},
{
"data": "세상을",
"id": 8,
"type": 1,
"x": [1323, 1323, 1587, 1587],
"y": [228, 358, 228, 358]
},
이하생략■데이터 구성
데이터 구성 Key Description Type Child Type Dataset.identifier 데이터셋 식별자 string Dataset.name 데이터셋 이름 string Dataset.src_path 데이터셋 폴더 위치 string Dataset.label_path 데이터셋 레이블폴더 위치 string Dataset.category 데이터셋 카테고리 number Dataset.type 데이터셋 타입 number Images.identifier 이미지 식별자(파일명) string Images.group 그룹 number Images.area 지역 number Images.section 등급 number Images.grade 학년 number Images.class 교과목 number Images.type 이미지 파일 확장자 string Images.width 이미지 가로 크기(픽셀) number Images.height 이미지 세로 크기(픽셀) number Images.dpi 이미지 해상도 number Images.background 이미지 배경종류 number Images.acquisition_location 수집장소 string Images.application_field 작성의도 string Images.data_captured 이미지 생성 일자 string Images.make_id 작성자 id string Annotation.object_recognition 개체 인식 number Annotation.text_language 라벨링 텍스트 언어 number Bbox[].type 라벨링 텍스트 타입 number Bbox[].id 바운딩박스 식별자 string Bbox[].data 바운딩박스 내 텍스트 string Bbox[].x[] 바운딩박스 x 좌표 리스트 number Bbox[].y[] 바운딩박스 y 좌표 리스트 number ■어노테이션 포맷
어노테이션 포맷 속성명 항목 타입 필수여부 비고 Dataset 데이터셋(공통메타) Dataset.identifier 데이터셋 식별자 string ○ Dataset.name 데이터셋 이름 string ○ Dataset.src_path 데이터셋 폴더 위치 string ○ Dataset.label_path 데이터셋 레이블폴더 위치 string ○ Dataset.category 데이터셋 카테고리 number ○ Dataset.type 데이터셋 타입 number ○ Image 이미지정보 Images.identifier 이미지 식별자(파일명) string ○ Images.group 그룹 number ○ Images.area 지역 number ○ Images.section 등급 number ○ Images.grade 학년 number ○ Images.class 교과목 number ○ Images.type 이미지 파일 확장자 string ○ Images.width 이미지 가로 크기(픽셀) number ○ Images.height 이미지 세로 크기(픽셀) number ○ Images.dpi 이미지 해상도 number ○ Images.background 이미지 배경종류 number ○ Images.acquisition_location 수집장소 string ○ Images.application_field 작성의도 string ○ Images.data_captured 이미지 생성 일자 string ○ Images.make_id 작성자 id string ○ Annotation 어노테이션 방식 Annotation.object_recognition 개체 인식 number ○ Annotation.text_language 라벨링 텍스트 언어 number ○ Bbox 바운딩박스 어노테이션 구조 Bbox[].type 라벨링 텍스트 타입 number ○ Bbox[].id 바운딩박스 식별자 string ○ Bbox[].data 바운딩박스 내 텍스트 string ○ Bbox[].x[] 바운딩박스 x 좌표 리스트 number ○ Bbox[].y[] 바운딩박스 y 좌표 리스트 number ○ ■실제 예시
{ "Annotation": {
"object_recognition": 1,
"text_language": 0
},
"Dataset": {
"category": 0,
"identifier": "OCR(edu)",
"label_path": "OCR(edu)/M/G2",
"name": "대규모 OCR 데이터(교육)",
"src_path": "OCR(edu)/M/G2",
"type": 1
},
"Images": {
"acquisition_location": "국제신문",
"application_field": "자유형",
"area": 6,
"background": 0,
"class": 6,
"data_captured": "2022.10.07 09:56:08",
"dpi": 300,
"grade": 2,
"group": 3,
"height": 1865,
"identifier": "FRE_M2_020669","make_id": "F004",
"section": 2,
"type": "png",
"width": 2458
},
"Bbox": [
{
"data": "저의",
"id": 5,
"type": 1,
"x": [295, 295, 458, 458],
"y": [225, 321, 225, 321]
},
{
"data": "목표는",
"id": 6,
"type": 1,
"x": [470, 470, 679, 679],
"y": [224, 342, 224, 342]
},
{
"data": "아주",
"id": 7,
"type": 1,
"x": [695, 695, 862, 862],
"y": [234, 358, 234, 358]
},
{
"data": "세상을",
"id": 8,
"type": 1,
"x": [1323, 1323, 1587, 1587],
"y": [228, 358, 228, 358]
},
이하생략 -
데이터셋 구축 담당자
수행기관(주관) : ㈜엔에이치엔다이퀘스트
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 김경선 02-3470-4306 kksun@diquest.com 과제 총괄관리 수행기관(참여)
수행기관(참여) 기관명 담당업무 쇼우테크 데이터셋 구축 총괄관리, 원시데이터 수집/분석, 데이터 1차 검수/교정, 데이터 최종품질검수, 활용서비스 개발 타임교육C&P 원시데이터 수집/분석/제공 에프아이솔루션 데이터 가공 아이디노 데이터 2차 검수/교정 앙코르브라보노협동조합 데이터 3차 검수/교정 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 김경선 02-3470-4306 kksun@diquest.com
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.
오프라인 데이터 이용 안내
본 데이터는 K-ICT 빅데이터센터에서도 이용하실 수 있습니다.
다양한 데이터(미개방 데이터 포함)를 분석할 수 있는 오프라인 분석공간을 제공하고 있습니다.
데이터 안심구역 이용절차 및 신청은 K-ICT빅데이터센터 홈페이지를 참고하시기 바랍니다.