-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.0 2022-07-14 데이터 최초 개방 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2022-10-13 신규 샘플데이터 개방 2022-07-14 콘텐츠 최초 등록 소개
산업 및 실생활에서 사용되는 각종 신청서등에 포함된 다양한 한글 손글씨를 AI 기반의 OCR 기술을 통해 디지털 텍스트로 자동 확보하기 위하여, 다양한 손글씨 원문을 수집하고 작성된 손글씨에 대한 바운딩박스와 라벨링 정보로 구성된 JSON 파일과 해당 손글씨 원문이미지 파일의 쌍으로 구성된 OCR AI 학습용 데이터셋
구축목적
산업 및 실생활 전반에서 사용되는 다양한 형태의 손글씨 데이터를 확보하여 산업 및 실생활 전반에 적용될 수 있는 손글씨 OCR 데이터 구축
-
메타데이터 구조표 데이터 영역 영상이미지 데이터 유형 텍스트 , 이미지 데이터 형식 PNG 데이터 출처 일반 크라우드 워커를 대상으로 한 수기 작성 손글씨 수집 라벨링 유형 바운딩박스(이미지) 라벨링 형식 JSON 데이터 활용 서비스 종이문서, 태블릿 손글씨 문자 인식(OCR) 데이터 구축년도/
데이터 구축량2021년/이미지 기준 106,519장(1장당 단어수 40단어 이상) -
1. 수집 매체별 통계
1. 수집 매체별 통계 항목 데이터량 비율 종이 87,205 81.87% 태블릿 19,314 18.13% 합계 106,519 100.00% 2. 내용별 통계
항목 데이터량 비율 정보제공 61,695 57.92% 자유필사 44,824 42.08% 합계 106,519 100.00% 3. 작성자의 성별 통계
항목 데이터량 비율 여성 55,065 51.70% 남성 50,219 47.15% 불명 1,235 1.16% 합계 106,519 100.00% 4. 작성자의 연령 통계
항목 데이터량 비율 10대 미만 1,275 1.20% 10대 10,100 9.48% 20대 30,472 28.61% 30대 22,363 20.99% 40대 29,863 28.04% 50대 이상 12,446 11.68% 합계 106,519 100.00% -
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드1. 텍스트 검출 모델 (CRAFT 모델)
- 이미지로부터 텍스트 영역을 검출하기 위한 신경망 모델은, 현재 텍스트 검출 알고리즘으로 널리 사용되고, 우수한 성능을 내는 것으로 인정받는 CRAFT(Character Region Awareness for Text Detector) 모델을 채택함
- 데이터셋의 바운딩박스를 U-net 기반의 네트워크를 학습시킬 수 있는 픽셀(Pixel) 레벨의 Score map으로 변환함.
- Score map은 이미지에서 특정 위치에 있는 픽셀이 음절 영역의 중심일 확률을 나타내는 Region score와 특정 픽셀이 연결된 두 음절의 사이에 있을 확률을 나타내는 Affinity score로 구성됨
2. 텍스트 인식 모델 (Swim - Transformer 모델)
- 텍스트가 검출된 영역의 문자 내용을 인식하기 위한 신경망 모델은 최근 Vision 분야에서 탁월한 성능을 발휘하고 있는 Vision-Transformer 계열 모델 중, 가장 높은 성능을 내는 것으로 인정받는 Swin-Transformer모델을 채택함
- Swin-Transformer 모델은 특징(Feature) 추출을 위해 합성곱(Convolution) 연산을 사용하는 대신, 이미지를 그리드로 나누어 Multi-head self attention 블록 안에서 Shifted Window 알고리즘을 이용함
- Semantic 정보를 고려하기 위해 손글씨 이미지에서 추출된 특징을 시계열로 분리하고 Transformer Decoder Block에 입력하여 인식 결과를 구함
-
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 객체검출 정확도 Optical Character Recognition CRAFT F1-Score 0.7 점 0.8604 점
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드1. 데이터 포맷
- 원시데이터 특성
- 산업 및 일상생활에서 많이 사용하는 단어를 크라우드워커에게 제공하여 다양한 형태의 손글씨 데이터 수집
1. 데이터 포맷 구분 내용 성명 대법원 인명한자를 기준으로 대한민국 성씨와 인명용 글자를 조합하여 임의 생성 주소 전국의 법정동, 도로명 주소를 기준으로 영역별 무작위 조합으로 생성 전화번호 임의의 숫자를 무작위 조합으로 생성 주민등록번호 임의의 숫자를 무작위 조합으로 생성 신조어 인터넷 등에서 사용되고 있는 한글 신조어 수집 영어약어 정보통신분야, 일반상식분야에서 활용되는 영어 약어 수집 - 원시데이터 작성 크라우드워커 분포
구분 내용 성별 남성, 여성 비율 50:50 연령대 10대:20대:30대:40대:50대 비율 10:30:20:30:10 - 데이터 작성 대상 크라우드워커에게 데이터시트 배포 후 작성 데이터시트는 우편으로 회수하고 디지털화하여 원시데이터 확보함
- 샘플이미지
자유필사데이터 예시 시험답안지 데이터 예시 
- 산업 및 일상생활에서 많이 사용하는 단어를 크라우드워커에게 제공하여 다양한 형태의 손글씨 데이터 수집
- JSON 형식
2. 데이터 구성
Key Description Type Child Type object_recognition 데이터셋 개체 인식 정보 number text_language 라벨링 텍스트 언어 number category 데이터셋 카테고리 number identifier 데이터셋 식별자 string label_path 데이터셋 레이블 폴더위치 string name 데이터셋 이름 string src_path 데이터셋 폴더 위치 string type 데이터셋 타입 string acquisition_location 수집장소 string application_field 활용처 string background 이미지 배경종류 number data_captured 이미지 생성일자 string height 이미지 세로 크기 number identifier 이미지 식별자(파일명) string media_type 기록매체 유형 number pen_color 글자색 string pen_type 작성도구 number type 이미지 파일 확장자 string width 이미지 가로 크기 number writer_age 작성자 연령대 number writer_sex 작성자 성별 number written_content 작성내용 number bbox 바운딩 어노테이션 data 바운딩 내 텍스트 string id 바운딩박스 식별자 number x 바운딩박스 x 좌표 number y 바운딩박스 y 좌표 number 3. 어노테이션 포맷
No. 속성명 항목설명 Type 필수여부 1 Dataset 데이터셋 (공통메타) 1-1 Dataset.identifier 식별자 string 필수 1-2 Dataset.name 이름 string 필수 1-3 Dataset.src_path 폴더 위치 string 필수 1-4 Dataset.label_path 레이블폴더 위치 string 필수 1-5 Dataset.category 데이터셋 카테고리 number 필수 1-6 Dataset.type 데이터셋 타입 number 필수 2 Images 이미지 2-1 Images.identifier 이미지 식별자(파일명) string 필수 2-2 Images.type 이미지 파일 확장자 string 필수 2-3 Images.width 이미지 가로 크기(픽셀) number 필수 2-4 Images.height 이미지 세로 크기(픽셀) number 필수 2-5 Images.background 이미지 배경종류 number 필수 2-6 Images.pen_type 작성도구 number 필수 2-7 Images.pen_color 글자색 string 선택 2-8 Images.distortion 왜곡 number 선택 2-9 Images.clearness 선명도 number 선택 2-10 Images.noise 노이즈 number 선택 2-11 Images.acquisition_location 수집장소 string 필수 2-12 Images.media_type 기록매체 유형 number 필수 2-13 Images.application_field 활용처 string 선택 2-14 Images.writer_age 작성자 연령대 number 필수 2-15 Images.writer_sex 작성자 성별 number 필수 2-16 Images.data_captured 이미지 생성 일자 string 필수 2-17 images.written_content 작성내용 number 필수 3 Annotation 어노테이션방식 3-1 Annotation.object.recognition 개체 인식 number 필수 3-2 Annotation.text_language 라벨링 텍스트 언어 number 필수 4 BBox 바운딩박스 어노테이션 구조 4-1 BBox[].id 바운딩박스 식별자 number 필수 4-2 BBox[].data 바운딩박스 내 텍스트 string 필수 4-3 BBox[].x[] 바운딩박스 x 좌표 리스트 number 필수 4-4 BBox[].y[] 바운딩박스 y 좌표 리스트 number 필수 4. 실제 예시
- 원시데이터 특성
-
데이터셋 구축 담당자
수행기관(주관) : 동양시스템즈
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 김현 02-405-7700 hyunkim@tysystems.com · 총괄책임 수행기관(참여)
수행기관(참여) 기관명 담당업무 ㈜쇼우테크 · 손글씨 구축 총괄관리
· 원시데이터 수집/분석
· 데이터 정제 및 가공
· 1차 검수/교정
· 2차 검수/교정
· 최종품질검수㈜유니닥스 · 태블릿 데이터 수집, 정제 및 가공
· 1차 검수/교정
· 2차 검수/교정앙코르브라보노사회적기업 · 데이터 3차 검수 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 김현 02-405-7700 hyunkim@tysystems.com
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.