고서 한자 인식 OCR

고서 한자 인식 OCR

데이터셋명 고서 한자 인식 OCR
데이터 분야 음성/자연어 데이터 유형 이미지, 텍스트
구축기관 누리IDT 데이터 관련 문의처 담당자명 김현진(누리IDT)
가공기관 누리아이디티, 에프아이솔루션 전화번호 02-2631-5331
검수기관 누리아이디티, 한국국학진흥원 이메일 kim9395@nuriidt.co.kr
구축 데이터량 1000만 구축년도 2020년
버전 1.0 최종수정일자 2021.06.18
소개 고서 한자 이미지를 인식하기 위한 이미지 데이터
주요 키워드 한자, 한문, OCR, 글자체, 문자인식, 이미지, 텍스트, 고문헌, 고전적자료, 인공지능, 딥러닝
저작권 및 이용정책 본 데이터는 과학기술정보통신부가 주관하고 한국지능정보사회진흥원이 지원하는 '인공지능 학습용 데이터 구축사업'으로 구축된 데이터입니다. [데이터 이용정책 상세보기]
데이터설명서 자료보기 구축활용가이드 자료보기
샘플데이터 다운로드 교육활용동영상 영상보기
저작도구 다운로드 AI모델 다운로드
데이터 변경이력
버전 일자 변경내용 비고
1.0 2021.06.18 데이터 최초 개방  
구축 목적
  • 한자로 기록된 국가기록유산(고서, 고문헌 등)의 활용성과 접근성 향상을 위해 고서 이미지 속 한자의 디지털 텍스트를 자동으로 확보하기 위한 인공지능 기반 OCR 기술 개발용 학습 데이터
활용 분야
  • 인공지능 학습을 통해 고서 이미지 속 한자의 디지털 텍스트 자동으로 확보하는 기술 및 솔루션의 개발과 고서 이미지를 활용한 다양한 검색과 한문 자동번역 등의 2차 서비스 개발
소개
  • 현존 고문헌의 대부분을 차지하고 있는 조선시대 고서의 원문 한자를 AI 기반의 OCR 기술을 통해 디지털 텍스트로 자동 확보하기 위하여, 고서 원문 내의 각 낱자 한자들에 대한 바운딩박스와 라벨링(유니코드 한자) 정보로 구성된 JSON 파일과 해당 고서 원문이미지 파일의 쌍으로 구성된 한자 글자수 기준 1천만 자 규모의 고서 한자 인식(OCR) AI 학습용 데이터셋

소개 이미지

<데이터셋 구축・활용 개념도>

구축 내용 및 제공 데이터량
  • 주데이터 : 고서 한자 인식(OCR) AI 학습데이터 10,142,816건(자) ­
    제공 형태 : 고서 한자 원문이미지 파일 57,081개(JPEG), 고서 한자 라벨링 파일 57,081개(JSON)의 쌍
     
  • 보조데이터① : 고서 한자 바운딩박스(세그먼테이션) 학습데이터 10,142,816건(자) ­
    제공 형태 : 고서 한자 원문이미지 파일 57,081개(JPEG)과 고서 한자 바운딩박스 파일 57,081개(JSON)의 쌍 ­ 중간 산출물로서 고서 한자 이미지 상의 한자를 인지하여 바운딩박스까지 생성된 라벨링(입력) 전 파일
     
  • 보조데이터② : 고서 한자 클러스터링 학습데이터 97건 ­
    제공 형태 : 고서 한자 클러스터링 파일 97개 (JSON) ­ 중간 산출물로서 고서 한자 이미지 상의 한자를 인지하여 바운딩박스를 생성한 후 동일 한자 바운딩박스들을 클러스터링한 파일 ­ 한자 바운딩박스(세그먼트) 10,142,816개(자)에 대한 클러스터링 내역
대표도면

대표도면1

<고서 한자 활용 선순환 생태계>
 

대표도면2

<고서 한자 인식(OCR) AI 모델 활용 시범 서비스>

필요성
  • 한자(고문헌)는 정치・경제・사회・문화・예술・과학・의학・사상・종교 등 다방면에서 우리 민족의 과거와 지식을 담고 있는 매우 중요한 기록유산이지만 한자라는 거대한 장벽에 가로막혀 활용에 어려움을 겪는 대표적 문화자원이며 활용 가치가 매우 큰 콘텐츠의 보고로서, 여러 분야에서 현대적으로 재해석된 콘텐츠로 개발에 성공하여 사회적 관심과 수요가 급격히 증가하고 있음 ­ 우리나라는 민・관에서 매년 많은 양의 한자(고문헌) DB를 구축해오고 있으나 OCR을 활용한 한자 텍스트 추출・변환 기술이 미비(극소수 인력이 수작업을 통해 한자를 판독하여 구축)하여 대부분 원문이미지만을 제공하는 것에 그치고 있어, 한자-한글 자동번역, 한자 콘텐츠에 대한 검색 및 분석 등의 활용이 어려움 ­
    최근에는 국내 한자 사용 인구(중국, 일본 등의 국내 거주자, 관광객) 증가로 한자 간판 인식을 통한 위치 서비스, 한자 매뉴얼 사용 등의 생활 속 서비스에서 한자 콘텐츠 사용이 급격히 증가하고 있어 최신 인공지능 기술을 활용하여 한자 서비스를 개발하기 위한 인공지능 학습용 데이터 수요가 증가하고 있음
  • 현재 한자(고문헌) 자료의 디지털 텍스트 구축에 사용되고 있는 솔루션은 20년 전 기술로 개발되어 여러 단계(8단계)의 필수과정을 거쳐야 하고 각 단계에는 한자 전문인력뿐만 아니라 숙련된 작업인력을 양성하여 투입해야 하는 등의 한계를 안고 있어 디지털 텍스트 확보에 소요되는 인력, 시간, 비용 절감에 대한 요구가 관련 분야에서 지속적으로 제기되어 왔으나, 기술적 미비로 해결이 지연되어 옴. ­ 최근 비약적인 성능 향상을 보이고 있는 인공지능을 활용하여 한자 텍스트 인식(OCR) 기술을 개발하기 위한 인공지능 학습용 한자 데이터 구축이 절실하게 필요함
  • 불가능의 영역으로 인식되던 인공지능 고문헌 자동번역의 현실화가 눈앞에 있는 상황에서 여러 제약조건으로 대부분 단순 원본 스캐닝을 통한 보전 단계에 머무르고 있는 한자(고문헌)의 실효적인 이용 활성화와 현대에서 요구되는 한자 서비스를 위해서, 비약적으로 발전하고 있는 인공지능과 최신 ICT 기반의 ‘한자 글자체 인식(OCR) 기술’ 확보와 이를 위한 ‘인공지능 학습용 데이터 구축’이 필수 당면과제로 대두됨
  • 또한 현재 사용되고 있는 대부분의 한자 인식(OCR) 소프트웨어가 외산 제품으로서 관련 국내 산업의 활성화와 콘텐츠 보호 등을 위해 국산 SW와 파생 기술 및 서비스 개발을 위한 인공지능 학습용 데이터 구축이 절실하게 요구됨
데이터 구조
  • 주데이터 : 고서 한자 인식(OCR) AI 학습데이터
    - 가. 데이터 구성

    데이터 구성1


      - 나. 어노테이션 포맷
    ※ 1~18번은 동일 레벨 데이터. 18번 하위로만 계층을 갖는 데이터
    어노테이션 포맷 표1
    No. 항목 길이 타입 필수
    여부
    한글명 영문명
    1 데이터셋정보 Info      
      1 데이터셋명 Info_Name 128 String O
    2 데이터셋설명 Info_Description 1024 String  
    3 데이터셋생성일자 Info_Data_created 16 String O
    4 판본 정보 Info_Block 128 String  
    5 글자체 정보 Info_Style 128 String  
    6 이미지라이선스 Info_Image_License 128 String O
    7 라이선스소유기관 Info_Licenced_Institution 128 String O
    8 라이선스소유기관URL Info_Institution_URL 128 String  
    2 이미지정보 Image      
      9 이미지식별자 Image_ID 128 String O
    10 이미지파일명 Image_File_name 128 String O
    11 이미지생성일자 Image_Data_captured 16 String O
    12 이미지너비 Image_Width 4 Number O
    13 이미지높이 Image_Height 4 Number O
    14 해상도 Image_dpi 4 Number  
    15 컬러이미지 Image_color 1 String  
    16 문자 열 최고 갯수 Image_Char_col_no 4 Number  
    17 문자 행 최고 갯수 Image_Char_row_no 4 Number  
    18 문자위치BOX리스트 Image_Text_coord   List O
      18-1-1 BOX좌상단 X좌표 X 4 Number O
    18-1-2 BOX좌상단 Y좌표 Y 4 Number O
    18-1-3 BOX 너비 Width 4 Number O
    18-1-4 BOX 높이 Height 4 Number O
    18-1-5 문자 열 정보 col_no 4 Number  
    18-1-6 문자 행 정보 row_no 4 Number  
    18-2 인식문자 Unicode 1 String O

 

  • 보조데이터① : 고서 한자 바운딩박스(세그먼테이션) 학습데이터
    - 가. 데이터 구성

    데이터 구성3


      - 나. 어노테이션 포맷
    ※ 1~16번은 동일 레벨 데이터. 16번 하위로만 계층을 갖는 데이터
    어노테이션 포맷 표2
    No. 항목 길이 타입 필수
    여부
    한글명 영문명
    1 데이터셋정보 Info      
      1 데이터셋명 Info_Name 128 String O
    2 데이터셋설명 Info_Description 1024 String  
    3 데이터셋생성일자 Info_Data_created 16 String O
    4 판본 정보 Info_Block 128 String  
    5 글자체 정보 Info_Style 128 String  
    6 이미지라이선스 Info_Image_License 128 String O
    7 라이선스소유기관 Info_Licenced_Institution 128 String O
    8 라이선스소유기관URL Info_Institution_URL 128 String  
    2 이미지정보 Image      
      9 이미지식별자 Image_ID 128 String O
    10 이미지파일명 Image_File_name 128 String O
    11 이미지생성일자 Image_Data_captured 16 String O
    12 이미지너비 Image_Width 4 Number O
    13 이미지높이 Image_Height 4 Number O
    14 해상도 Image_dpi 4 Number  
    15 컬러이미지 Image_color 1 String  
    16 문자위치BOX리스트 Image_bboxes   List O
      16-1 BOX좌상단 X좌표 X 4 Number O
    16-2 BOX좌상단 Y좌표 Y 4 Number O
    16-3 BOX 너비 Width 4 Number O
    16-4 BOX 높이 Height 4 Number O

     
  • 보조데이터② : 고서 한자 클러스터링 학습데이터
    - 가. 데이터 구성

    데이터 구성5


      - 나. 어노테이션 포맷
    ※ 1~10번은 동일 레벨 데이터
    ※ 9번, 10번 하위로만 계층을 갖는 데이터
    어노테이션 포맷 표3
    No. 항목 길이 타입 필수
    여부
    한글명 영문명
    1 데이터셋정보 Info      
      1 데이터셋명 Info_Name 128 String O
    2 데이터셋설명 Info_Description 1024 String  
    3 데이터셋생성일자 Info_Data_created 16 String O
    4 판본 정보 Info_Block 128 String  
    5 글자체 정보 Info_Style 128 String  
    6 이미지라이선스 Info_Image_License 128 String O
    7 라이선스소유기관 Info_Licenced_Institution 128 String O
    8 라이선스소유기관URL Info_Institution_URL 128 String  
    2 세그먼트 이미지 정보 ID Segment Lists      
      9 ID 세그먼트 리스트 ID_Segment_Lists   Lists O
      9-1 세그먼트 ID Segment ID 4 Number O
    9-2 이미지파일명 File Name 128 String O
    9-3 BOX좌상단 X좌표 X 4 Number O
    9-4 BOX좌상단 Y좌표 Y 4 Number O
    9-5 BOX 너비 Width 4 Number O
    9-6 BOX 높이 Height 4 Number O
    3 클러스터 정보 Cluster      
      10 클러스터 리스트 Cluster_Lists   Lists  
      10-1 대표 ID Representitive_ID 4 Number O
    10-2 클러스터 ID 리스트 bbox_ids   ID List O
    10-3 클러스터문자 text 1 String  
데이터셋 구축 담당자
수행기관(주관) : 누리IDT
수행기관 (주관)
책임자명 전화번호 대표이메일 담당업무
김현진 02-2631-5331 kim9395@nuriidt.co.kr · 데이터구축 총괄
· AI 모델활용 시범서비스 개발
수행기관(참여)
수행기관(참여)
기관명 담당업무 기관명 담당업무
(주)NHN다이퀘스트 · 저작도구 개발
· 한자이미지 처리기술 개발
(주)에프아이솔루션 · 학습데이터 구축
한국국학진흥원 · 대상자료 수집/제공/분석/확정
· 품질검수