-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.1 2023-11-03 데이터 최종 개방 1.0 2023-06-28 데이터 개방(Beta Version) 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2023-11-27 산출물 전체 공개 소개
옛한글을 자동으로 인식 및 판독하는, 인공지능 모델 개발에 필요한 대규모 OCR 데이터. 고문헌 및 고문서의 옛한글 이미지와 해당 이미지 내 개별 글자들을 바운딩 박스로 그리고 해당 영역 내 라벨링 정보로 구성된 JSON 파일을 쌍으로 구성하여 글자 수 기준 1천만 자 이상의 규모로 구축.
구축목적
한글로 생산된 고문서 및 고문헌은 우리 민족의 역사와 지식, 그리고 인류의 문화재를 담고 있는 중요한 기록 유산이다. 그러나 옛한글 자료 판독은 현재 극소수의 인력이 수작업으로 진행하고 있으며, 물리적 시간이 엄청나게 소요된다. 이를 극복하기 위해서는 옛한글 자료를 자동으로 인식하고 읽을 수 있는 시스템 개발이 요구되며, 인공지능을 학습시키기 위한 데이터셋 구축이 필요하다.
-
메타데이터 구조표 데이터 영역 영상이미지 데이터 유형 텍스트 , 이미지 데이터 형식 PNG/JPG 데이터 출처 국립중앙도서관, 국립한글박물관, 한국학중앙연구원 등의 공공기관 기공개 데이터 라벨링 유형 바운딩박스(이미지) 라벨링 형식 JSON 데이터 활용 서비스 옛한글 자료 글자 인식 모바일 앱 데이터 구축년도/
데이터 구축량2022년/한글 10,090,489 글자 -
데이터 구축 규모
- 옛한글 자료 이미지 45,872장과 이에 대응하는 JSON 파일 45,872개
- 이미지에 포함된 글자 수는 아래와 같음자료 글자수 비율 목판본 2,195,925 22% 활자본 1,134,359 11% 필사본 6,760,205 67% 합계 10,090,489 100% 데이터 분포
- 생산 유형 분포생산 유형 글자수 비율 목판본 2,195,925 22% 활자본 1,134,359 11% 필사본 6,760,205 67% 합계 10,090,489 100% - 주제 분포
주제별 분포 글자수 비율 교화서류 162,526 1.60% 기술 및 전문서류 646,867 6.40% 언해류 464,300 4.60% 문학류 7,055,265 69.90% 신문류 229,939 2.30% 언간류 78,237 0.80% 음식조리서 10,427 0.10% 종교서류 1,253,981 12.40% 기타 188,947 1.90% 합계 10,090,489 100% -
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드모델학습
• 구축된 옛한글 OCR 데이터는 학습용(Training), 검증용(Validation), 테스트용(Test)으로 80% : 10% : 10% 비율로 분리하여 제공하고 학습용 80% 데이터로 학습을 진행, 검증용 10%로 학습 도중 모델 성과 평가 등을 진행한다. 학습용 데이터 10%는 학습이 완료될 때까지 개봉되어서는 안 됨.
학습 (Training) 검증 (Validation) 테스트 (Test) 학습용 학습 도중 모델
성과 평가 및 비교모델 학습 완료 후,
모델 테스트
80% 10% 10% 서비스 활용 시나리오
• 구축한 모델은 옛한글 자료를 검색하거나 실시간 텍스트로 제공할 수 있다.
• 옛한글 자료 검색
- 옛한글 이미지 자료에 대한 OCR 작업의 전산화를 통해서 검색 엔진과 연계하여 옛한글 자료 이미지 내 본문 검색을 이미지와 함께 제공
• 옛한글 텍스트 인식 및 현대어 번역
- 일반인들의 손에 들고 있는 스마트폰으로 어려운 옛한글 자료를 촬영하면 읽기 쉬운 텍스트로 제공하거나 현대어로 번역하는 실시간 서비스 제공 가능 -
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 문자 인식 성능 Optical Character Recognition YOLO v5 + CNN F1-Score@IoU 0.5 0.75 점 0.925 점
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드데이터 포맷
• 원천 데이터 특성종류 내용 자료형태 디지털 이미지 원본형태 고문헌 / 고문서 생산 유형 목판본, 필사본, 활자본 원본제작시기 조선시대(15세기 중반~20세기 초반) 파일포멧 PNG/JPG 이미지색상 흑백, 컬러 규모 45,872개 (한면 또는 일부는 펼쳐진 양면 페이지 포함) 법률문제 저작권, 초상권, 개인정보, 민감정보 등 없음 예시이미지 
• JSON 형식{
"Image_char_count" : 183,
"Image_data_captured" : "2022-11-20",
"Image_filename" : "목판본_004_상례초언해_002",
"Image_height" : 3508,
"Image_id" : 2,
"Image_resoltion_dpi" : 96,
"Image_width" : 2480,
"Label_data_created" : "2022-09-15",
"Licensor" : "디지털장서각",
"Publication_author" : "미상",
"Publication_category" : "기술 및 전문서류",
"Publication_difficulty" : "B",
"Publication_format" : "목판본",
"Publication_id" : 4,
"Publication_name" : "상례초언해",
"Publication_period" : "미상",
"Publication_place" : "미상",
"Text_Coord" : [
{
"Bbox" : [ 1903, 545, 176, 140, 0, 0 ],
"annotate" : "부"
},
{
"Bbox" : [ 1912, 702, 158, 116, 0, 1 ],
"annotate" : "모"
},
{
"Bbox" : [ 1997, 857, 87, 100, 0, 2 ],
"annotate" : "오"
},
{
"Bbox" : [ 1978, 1001, 103, 117, 0, 3 ],
"annotate" : "촌"
},
(하략)
}데이터 구성
구분 No 속성명 속성 및 내용 필수 1 Image_char_count 이미지 내 글자 수 필수 2 Image_data_captured 이미지 날짜 필수 3 Image_filename 이미지 파일명 필수 4 Image_height 이미지 세로 크기 (픽셀) 필수 5 Image_id 이미지 번호 필수 6 Image_resolution_dpi 이미지 해상도 필수 7 Image_width 이미지 가로 크기 (픽셀) 필수 8 Label_data_created 라벨링 정보 생성일 필수 9 Licensor 라이선스 제공처 필수 10 Publication_author 저자 필수 11 Publication_category 문헌 주제 필수 12 Publication_difficulty 난이도 필수 13 Publication_format 자료 유형 필수 14 Publication_id 문헌 고유 번호 필수 15 Publication_name 문헌명 필수 16 Publication_period 시기 필수 17 Publication_place 장소 어노테이션 포맷
No. 항목 타입 필수여부 비고 속성명 설명 1 Dataset 데이터셋 정보 1 Image_char_count 이미지 내 글자 수 Integer ○ 예시: 111 2 Image_data_captured 이미지 날짜 String ○ 예시: “2022-07-29” 3 Image_filename 이미지 파일명 String ○ 예시: "목판본_002_고산유고6_001" 4 Image_height 이미지 세로 크기 (픽셀) Integer ○ 예시: 1515 5 Image_id 이미지 번호 Integer ○ 예시: 1 6 Image_resolution_dpi 이미지 해상도 Integer ○ 예시: 1350 7 Image_width 이미지 가로 크기 (픽셀) Integer ○ 예시: 800 8 Label_data_created 라벨링 정보 생성일 String ○ 예시: "2022-06-09" 9 Licensor 라이선스 제공처 String ○ 예시: "디지털한글박물관" 10 Publication_author 저자 String ○ 예시: "윤선도" 11 Publication_category 문헌 주제 String ○ 예시: "문학류" 12 Publication_difficulty 난이도 String ○ 예시: "A" 13 Publication_format 자료 유형 String ○ 예시: “목판본” 14 Publication_id 문헌 고유 번호 Integer ○ 예시: 2 15 Publication_name 문헌명 String ○ 예시: “고산유고6” 16 Publication_period 시기 String ○ 예시: ‘17~19세기“ 17 Publication_place 장소 String ○ 예시: “미상” 2 Text_Coord[] 라벨링 정보 1 Bbox[] 바운딩 박스의 x 좌표, y 좌표, 너비, 높이, 문자열, 문자행의 6개 정보 Integer ○ 예시: [ 592, 640, 37, 36, 0, 2 ] 2 annotate 의미 태그 String ○ 예시: "" 실제 예시
"Image_char_count" : 183,
"Image_data_captured" : "2022-11-20",
"Image_filename" : "목판본_004_상례초언해_002",
"Image_height" : 3508,
"Image_id" : 2,"Image_resoltion_dpi" : 96,
"Image_width" : 2480,
"Label_data_created" : "2022-09-15",
"Licensor" : "디지털장서각",
"Publication_author" : "미상",
"Publication_category" : "기술 및 전문서류",
"Publication_difficulty" : "B",
"Publication_format" : "목판본",
"Publication_id" : 4,
"Publication_name" : "상례초언해",
"Publication_period" : "미상",
"Publication_place" : "미상",
"Text_Coord" : [
{
"Bbox" : [ 1903, 545, 176, 140, 0, 0 ],
"annotate" : "부"
},
{
"Bbox" : [ 1912, 702, 158, 116, 0, 1 ],
"annotate" : "모"
},
{
"Bbox" : [ 1997, 857, 87, 100, 0, 2 ],
"annotate" : "오"
},
{
"Bbox" : [ 1978, 1001, 103, 117, 0, 3 ],
"annotate" : "촌"
},
(하략)
} -
데이터셋 구축 담당자
수행기관(주관) : ㈜엔에이치엔다이퀘스트
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 김경선 02-3470-4306 kksun@diquest.com 과제 총괄관리 수행기관(참여)
수행기관(참여) 기관명 담당업무 안동대학교산학협력단 데이터셋 구축 총괄 관리, 원시데이터 수집/분석, 데이터 정제 및 가공데이터 1차 검수/교정, 데이터 2차 검수/교정, 데이터 최종 품질 검수 포항공과대학교 산학협력단 학습모델 구현, 유효성 자가점검 유니닥스주식회사 데이터 정제, 데이터 가공 저작도구 개발, 라벨링 데이터 생성 (JSON), 활용 서비스 개발 한국국학진흥원 데이터 수집 한국학중앙연구원 데이터 수집 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 김경선 02-3470-4306 kksun@diquest.com
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.