콘텐츠로 건너뛰기 메뉴로 건너뛰기 푸터로 건너뛰기
데이터를 불러오고 있습니다
데이터를 저장하고 있습니다
#컴퓨터 비전 #문화

NEW OCR 데이터(고서한자)

OCR 데이터(고서한자) 아이콘 이미지
  • 분야영상이미지
  • 유형 텍스트 , 이미지
구축년도 : 2022 갱신년월 : 2023-12 조회수 : 4,259 다운로드 : 568 용량 :
샘플 데이터 ?

샘플데이터는 데이터의 이해를 돕기 위해 별도로 가공하여 제공하는 정보로써 원본 데이터와 차이가 있을 수 있으며,
데이터에 따라서 민감한 정보는 일부 마스킹(*) 처리가 되어 있을 수 있습니다.

※ 내국인만 데이터 신청이 가능합니다.

  • 데이터 변경이력

    데이터 변경이력
    버전 일자 변경내용 비고
    1.1 2023-12-08 데이터 최종 개방
    1.0 2023-04-30 데이터 개방(Beta Verison)

    데이터 히스토리

    데이터 히스토리
    일자 변경내용 비고
    2024-06-19 샘플데이터 수정
    2023-12-08 산출물 전체 공개

    소개

    현존 고문헌의 대부분을 차지하고 있는 조선시대 고서의 원문 한자를 AI 기반의 OCR 기술을 통해 디지털 텍스트로 자동 확보하기 위하여, 고서 원문 내의 각 낱자 한자들에 대한 바운딩박스와 라벨링(유니코드 한자) 정보로 구성된 JSON 파일과 해당 고서 원문이미지 파일의 쌍으로 구성된 한자 글자수 기준 1천만 자 규모의 고서 한자 인식(OCR) AI 학습용 데이터셋

    구축목적

    한자로 기록된 국가기록유산(고서, 고문헌 등)의 활용성과 접근성 향상을 위해 고서 이미지 속 한자의 디지털 텍스트를 자동으로 확보하기 위한 인공지능 기반 OCR 기술 개발용 학습 데이터
  • 1. 데이터 구축 규모

    ■고서한자 10,366,176자 (원천데이터 이미지 53,776면)

    데이터 종류 데이터 형태 원문 규모 어노테이션 규모 결과물 규모
    고서 이미지 53,776면 10,366,176자 10,366,176자

     

    2. 데이터 분포

    ■서체별 분포

    서체 글자수 비율
    해서 6,731,557 64.94%
    행서 3,045,911 29.38%
    초서 546,757 5.27%
    전서 17,121 0.17%
    예서 24,830 0.24%
    10,366,176 100.00%

     

    서체별 글자수 분포 차트

     

    ■주제별 분포

    주제 글자수 비율
    경부(經部) 4,237,642 40.90%
    사부(史部) 2,617,791 25.30%
    자부(子部) 500,376 4.80%
    집부(集部) 3,010,367 29.00%
    10,366,176 100.00%

     

    주제별 글자수 분포 차트

    [그림] 주제별 글자수

     

    ■판본별 분포

     
    판본 글자수 비율
    인출본 2,463,555 23.80%
    활자본 4,693,653 45.30%
    필사본 3,208,968 31.00%
    10,366,176 100.00%

     

    판본별 글자수 분포 차트

  • 저작도구 설명서 및 저작도구 다운로드

    저작도구 설명서 다운로드 저작도구 다운로드
  • AI 모델 상세 설명서 다운로드

    AI 모델 상세 설명서 다운로드 AI 모델 다운로드

    ■모델 학습
    ■ 고서한자 OCR 인공지능 모델 학습용 데이터는 서체별로 구축되어야 하며, 서체별 한자 글자수 기준으로 최소 100만자 이상을 제안함
    ­ 구축된 데이터는 훈련용(Training), 검증용(Validation), 시험용(Test)을 80% : 10% : 10% 비율로 분리하여 학습에 사용하며, 시험용 데이터는 학습이 완료될 때까지 개봉되어서는 안됨

    학습 전 고서한자 ocr 인공지능 모델, 학습 중 고서한자 ocr 인공지능 모델, 학습 완료 고서한자 ocr 인공지능 모델 고서한자 서체별 Training Data 80%, 고서한자 서체별 Validation 10%, 고서한자 서체별 Test Data 10%

    [그림] 고서한자 인공지능 모델 학습

     

    ■서비스 활용 시나리오
    ■ 고서한자가 포함된 이미지와 고서한자 OCR 모델을 결합하여 한자 디지털 텍스트를 실시간으로 제공해주는 새로운 서비스 개발 : New Viewer
    ■ 검색엔진과 고서한자 OCR 모델을 활용하여 텍스트 키워드로 고서한자 이미지 DB 내에서의 본문 검색 솔루션 개발 : Text to Image DB
    ■ 고서한자 OCR 모델과 고서한문 자동번역 모델을 결합하여 한문 원문이미지 자동번역 솔루션 개발 : Image to Translation

     

  • 데이터 성능 점수

    측정값 (%)
    기준값 (%)

    데이터 성능 지표

    데이터 성능 지표
    번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수
    1 문자 인식 성능(평균) Optical Character Recognition HRCenterNet F1-Score 0.8 0.9031
    2 문자 인식 성능(해서) Optical Character Recognition HRCenterNet F1-Score 0.82 0.952
    3 문자 인식 성능(행서) Optical Character Recognition HRCenterNet F1-Score 0.82 0.8526
    4 문자 인식 성능(초서) Optical Character Recognition HRCenterNet F1-Score 0.7 0.7254

    ※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.

    ※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)

  • 설명서 및 활용가이드 다운로드

    데이터 설명서 다운로드 구축활용가이드 다운로드

    데이터 포맷
    ○원시데이터 특성

    종류 내용
    자료형태 디지털 이미지
    글자체 해서, 행서, 초서, 전서, 예서
    원본형태 고서(고도서)
    원본제작유형 인출본(목판본, 석인본), 활자본(목활자본, 연활자본, 금속활자본), 필사본
    원본제작시기 조선시대
    자료분류 문집류, 경전류
    파일포멧 JPG
    이미지해상도 기구축 이미지 100dpi 이상, 신규 이미지 획득 시 300dpi 이상
    이미지색상 흑백, 컬러
    규모 53,776면
    중요성 다양한 서체로 인쇄 및 필사된 한자 고문헌(고서) 자료들로서 한자 인식 학습데이터 구축에 최적의 자료
    법률문제 저작권, 초상권, 개인정보, 민감정보 등 없음
     

     

    고서한자 예시 이미지

     

    [그림] 고서한자 예시 이미지


    ○JSON 형식

     

    {"Info_Name": "강고선생문집07 OCR DATA",    
     "Info_Description": "한국국학진흥원에서 보유한 강고선생 문집07의 면단위 이미지에 면에 나타난 글자의 위치와 크기, 유니코드 값을 부여한 OCR용 AI 데이터", 
     "Info_Data_created": "20220630", 
     "Info_Original_Title": "강고선생문집(江皐先生文集)_07", 
     "Info_Original_Author": "류심춘(柳尋春)", 
     "Info_Original_Publication": "1894", 
     "Info_Original_Categorize": "집부(集部)", 
     "Info_Block": "목판본", 
     "Info_Style": "해서체", 
     "Info_Text_Color": "Gray", 
     "Info_Distorion": "None", 
     "Info_Visibility": "Middle", 
     "Info_Noise": "Middle", 
     "Info_Intervention": "Middle", 
     "Info_Image_License": "CC-BY-SA",
     "Info_Licenced_Institution": "한국국학진흥원", 
     "Info_Institution_URL": "www.koreastudy.or.kr", 
     "Image_ID": "ef137d41-6969-49ae-b9df-3af1a12d5342", 
     "Image_File_name": "OKSAC_I_A01000020_007_003",
     "Image_Data_captured": "20210118",
     "Image_Width": 2539,
     "Image_Height": 3366,
     "Image_dpi": 300,
     "Image_color": "N",
     "Image_Char_col_no": 11, 
     "Image_Char_row_no": 18, 
     "Image_Text_Coord": 
      [
      [

    {"bbox": [1986.6666666666667, 641.6666666666667, 148.33333333333326, 80.0, 0, 0], "label": "江"}, 
      {"bbox": [1975.0, 730.0, 165.0, 131.66666666666674, 0, 1], "label": "皋"}, 
      {"bbox": [1978.3333333333335, 870.0, 161.66666666666652, 120.0, 0, 2], "label": "先"}, 
      {"bbox": [1982, 993.5, 142, 105.5, 0, 3], "label": "生"}, 
                (하략)
    }

    ■데이터 구성

     
    Key Description Type Child Type
    Info_Name 데이터셋명 String  
    Info_Description 데이터셋설명 String  
    Info_Data_created 데이터셋생성일자 String  
    Info_Original_Title 서명 String  
    Info_Original_Author 저자 String  
    Info_Original_Publication 간행시기 String  
    Info_Original_Categorize 주제 String  
    Info_Block 판본 정보 String  
    Info_Style 글자체 정보 String  
    Info_Text_Color 글자색 정보 String  
    Info_Distortion 왜곡 정보 String  
    Info_Visibility 선명도 정보 String  
    Info_Noise 노이즈 정보 String  
    Info_Intervention 글자 간섭 정보 String  
    Info_Image_License 이미지라이선스 String  
    Info_Licenced_Institution 라이선스소유기관 String  
    Info_Institution_URL 라이선스소유기관URL String  
    Image_ID 이미지식별자 String  
    Image_File_name 이미지파일명 String  
    Image_Data_captured 이미지생성일자 String  
    Image_Width 이미지너비 Number  
    Image_Height 이미지높이 Number  
    Image_dpi 해상도  Number  
    Image_color 컬러이미지 String  
    Image_Char_col_no 문자 열 최고 갯수 Number  
    Image_Char_row_no 문자 행 최고 갯수 Number  
    Image_Text_Coord 문자위치BOX리스트(페이지/행) List JsonAray
    [ 페이지 JsonAray JsonObject
    [ JsonAray JsonObject
    bbox 바운딩박스정보    
    [     JsonObject
    X BOX좌상단 X좌표 Number  
    Y BOX좌상단 Y좌표 Number  
    Width BOX 너비 Number  
    Height BOX 높이 Number  
    col_no 문자 열 정보 Number  
    row_no 문자 행 정보 Number  
    ]     JsonObject
    label 라벨정보    
    Unicode 인식문자 String  
    ]   JsonObject
    ] 페이지   JsonObject
     

    ■어노테이션 포맷

     
    No. 항목 길이 타입 필수여부 비고
    한글명 영문명
    1 데이터셋정보 Info        
      1 데이터셋명 Info_Name 128 String  
      2 데이터셋설명 Info_Description 1024 String    
      3 데이터셋생성일자 Info_Data_created 16 String  
      4 서명 Info_Original_Title 128 String 원시데이터 서명
      5 저자 Info_Original_Author 128 String 원시데이터 저자
      6 간행시기 Info_Original_Publication 16 String 원시데이터 제작 시기
      7 주제 Info_Original_Categorize 128 String 경부(經部), 사부(史部), 자부(子部), 집부(集部)
      8 판본 정보 Info_Block 128 String 인출본(목판본, 석인본), 활자본(목활자본, 연활자본, 금속활자본, 구리활자본, 기타활자본), 필사본
      9 글자체 정보 Info_Style 128 String 해서, 행서, 초서, 전서, 예서
      10 글자색 정보 Info_Text_Color 128 String   Gray, Color
      11 왜곡 정보 Info_Distortion 128 String   None, horizontality, Verticality, Mixed
      12 선명도 정보 Info_Visibility 128 String   Best, Middle, Worst
      13 노이즈 정보 Info_Noise 128 String   Best, Middle, Worst
      14 글자 간섭 정보 Info_Intervention 128 String   Best, Middle, Worst
      15 이미지라이선스 Info_Image_License 128 String  
      16 라이선스소유기관 Info_Licenced_Institution 128 String  
      17 라이선스소유기관URL Info_Institution_URL 128 String    
    2 이미지정보 Image        
      18 이미지식별자 Image_ID 128 String  
      19 이미지파일명 Image_File_name 128 String  
      20 이미지생성일자 Image_Data_captured 16 String  
      21 이미지너비 Image_Width 9999 Number  
      22 이미지높이 Image_Height 9999 Number  
      23 해상도  Image_dpi 9999 Number    
      24 컬러이미지 Image_color 4 String    
      25 문자 열 최고 갯수 Image_Char_col_no 9999 Number    
      26 문자 행 최고 갯수 Image_Char_row_no 9999 Number    
      27 문자위치BOX리스트 Image_Text_Coord   List  
        27-1 바운딩박스 bbox        
          27-1-1 BOX좌상단 X좌표 - 9999 Number (X)
          27-1-2 BOX좌상단 Y좌표 - 9999 Number (Y)
          27-1-3 BOX 너비 - 9999 Number (Width)
          27-1-4 BOX 높이 - 9999 Number (Height)
          27-1-5 문자 열 정보 - 4 Number   (col_no)
          27-1-6 문자 행 정보 - 4 Number   (row_no)
        27-2 문자 유형 type 1 Number 1 : 유니코드 등재 문자(한자)
    2 : 수식, 기호, 도형 등
    3 : 유니코드 미등재 문자(한자)
        27-3 인식문자 label 16 String
     

     

    ■실제 예시

    {"Info_Name": "강고선생문집07 OCR DATA",    
     "Info_Description": "한국국학진흥원에서 보유한 강고선생 문집07의 면단위 이미지에 면에 나타난 글자의 

    위치와 크기, 유니코드 값을 부여한 OCR용 AI 데이터", 
     "Info_Data_created": "20220630", 
     "Info_Original_Title": "강고선생문집(江皐先生文集)_07", 
     "Info_Original_Author": "류심춘(柳尋春)", 
     "Info_Original_Publication": "1894", 
     "Info_Original_Categorize": "집부(集部)", 
     "Info_Block": "목판본", 
     "Info_Style": "해서체", 
     "Info_Text_Color": "Gray", 
     "Info_Distorion": "None", 
     "Info_Visibility": "Middle", 
     "Info_Noise": "Middle", 
     "Info_Intervention": "Middle", 
     "Info_Image_License": "CC-BY-SA",
     "Info_Licenced_Institution": "한국국학진흥원", 
     "Info_Institution_URL": "www.koreastudy.or.kr", 
     "Image_ID": "ef137d41-6969-49ae-b9df-3af1a12d5342", 
     "Image_File_name": "OKSAC_I_A01000020_007_003",
     "Image_Data_captured": "20210118",
     "Image_Width": 2539,
     "Image_Height": 3366,
     "Image_dpi": 300,
     "Image_color": "N",
     "Image_Char_col_no": 11, 
     "Image_Char_row_no": 18, 
     "Image_Text_Coord": 
      [
      [
      {"bbox": [1986.6666666666667, 641.6666666666667, 148.33333333333326, 80.0, 0, 0], "label": "江"}, 
      {"bbox": [1975.0, 730.0, 165.0, 131.66666666666674, 0, 1], "label": "皋"}, 
      {"bbox": [1978.3333333333335, 870.0, 161.66666666666652, 120.0, 0, 2], "label": "先"}, 
      {"bbox": [1982, 993.5, 142, 105.5, 0, 3], "label": "生"}, 
                (하략)
    }

     

  • 데이터셋 구축 담당자

    수행기관(주관) : ㈜엔에이치엔다이퀘스트
    수행기관(주관)
    책임자명 전화번호 대표이메일 담당업무
    김경선 02-3470-4306 kksun@diquest.com 과제 총괄관리
    수행기관(참여)
    수행기관(참여)
    기관명 담당업무
    ㈜누리아이디티 데이터셋 구축 총괄관리, 원시데이터 수집/분석, 데이터 정제 및 가공, 데이터 1차 검수/교정, 데이터 2차 검수/교정, 데이터 최종품질검수, 활용서비스 개발
    ㈜에프아이솔루션 데이터 정제 및 가공, 데이터 1차 검수/교정
    ㈜문원씨앤디 데이터 정제 및 가공, 데이터 1차 검수/교정
    한국국학진흥원 원시데이터 수집/분석/제공
    데이터 관련 문의처
    데이터 관련 문의처
    담당자명 전화번호 이메일
    김경선 02-3470-4306 kksun@diquest.com
보건의료 데이터 개방 안내

보건의료 데이터는 온라인 및 오프라인 안심존을 통해 개방됩니다.

안심존이란 안심존 이용메뉴얼 안심존 이용신청
  • 인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
    * 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
    * 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석

    1. AI 허브 접속
      신청자
    2. 안심존
      사용신청
      신청자신청서류 제출*
    3. 심사구축기관
    4. 승인구축기관
    5. 데이터 분석 활용신청자
    6. 분석모델반출신청자
  • 1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
    2. 기관생명윤리위원회(IRB) 승인된 연구계획서
    3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
    4. 안심존 이용 신청서 [다운로드]
    5. 보안서약서 [다운로드]
    ※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다.

  • 신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의

데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.

API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.

리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.

※ 파일 병합 리눅스 명령어

find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"

- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.

- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.

※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.