AI Hub

문서요약 텍스트 소개

문서요약 텍스트 소개

데이터셋명 문서요약 텍스트
데이터 분야 음성/자연어 데이터 유형 텍스트
구축기관 비플라이소프트 데이터 관련 문의처 담당자명 최재웅(비플라이소프트)
가공기관 비플라이소프트, 위고, 테스트웍스, 고려대학교 DSBA 연구실, 에이아이닷엠 전화번호 070-7091-8560
검수기관 테스트웍스 이메일 jw.choi@bflysoft.com
구축 데이터량 120만 구축년도 2020년
버전 1.3 최종수정일자 2021.12.17
소개 AI가 텍스트를 이해하고 핵심내용을 자동으로 요약하는 기술개발을 위한 텍스트 및 요약내용을 생성하는 텍스트 데이터
주요 키워드 문서요약, 추출요약, 생성요약, 한국형 문서요약 데이터셋, 뉴스기사 요약, 법률분서 요약, 사업보고서 요약, AI 요약기술 개발, 뉴스 텍스트
저작권 및 이용정책 본 데이터는 과학기술정보통신부가 주관하고 한국지능정보사회진흥원이 지원하는 '인공지능 학습용 데이터 구축사업'으로 구축된 데이터입니다. [데이터 이용정책 상세보기]
데이터설명서 자료보기 구축활용가이드 자료보기
샘플데이터 다운로드 교육활용동영상 영상보기
저작도구 다운로드 AI모델 다운로드
데이터 변경이력
데이터 변경이력
버전 일자 변경내용 비고
1.3 2021.12.17 데이터 품질 보완  
1.2 2021.09.13 데이터 품질 보완 및 추가 개방  
1.1 2021.07.27 데이터 추가 개방  
1.0 2021.06.18 데이터 최초 개방  
구축목적
  • 다양한 주제의 한국어 원문으로부터 추출요약문과 생성요약문을 도출해낼 수 있도록 인공지능을 훈련하기 위한 데이터셋
활용분야
  • 뉴스기사 요약, 법률분서 요약, 사업보고서 요약 등 핵심내용을 신속하고 정확하게 파악할 수 있는 AI 요약기술 개발
주요 키워드
  • 문서요약, 추출요약, 생성요약, 한국형 문서요약 데이터셋
소개
  • 다양한 한국어 원문 데이터로부터 정제된 추출 및 생성 요약문을 도출하고 검증한 한국어 문서요약 AI 데이터셋으로, 기존 영문 문서요약 데이터셋과는 다른 원문 데이터의 다양성을 추구하며, 요약문 재사용에 제한이 없도록 저작권 문제를 완전히 해결한 원천 데이터를 확보

문서요약 텍스트 소개 예시 이미지

 

구축 내용 및 제공 데이터량
  • 원문 데이터 40만 건 (신문기사 30만 건, 기고문 6만 건, 잡지기사 1만 건, 법원 판결문 3만 건)을 활용하여 각각 추출요약 40만 건, 생성요약 40만 건, 총 80만 건의 요약문 도출
  • 원문으로부터 변형 없이 그대로 선택된 3개 문장으로 추출요약문 생성
  • 원문의 내용을 바탕으로 재작성된 생성요약문 생성
    구축 내용 및 제공 데이터량 표
    데이터 종류 데이터 형태 목표 수량
    신문기사 뉴스 텍스트 원문데이터 30만 건 / 요약문 60만 건
    기고문 오피니언 텍스트 원문데이터 6만건 / 요약문 12만 건
    잡지 웹진 기사 텍스트 원문데이터 1만 건 / 요약문 2만 건
    법률 법원 판결문 뉴스 텍스트 및 법원 주요 판결문 텍스트 원문데이터 3만 건 / 요약문 6만 건
    총계 원문데이터 40만 건 / 요약문 80만 건
대표도면

문서요약 텍스트 대표도면 예시

 

필요성
  • 국내 AI 요약기술 개발과 관련된 다수의 연구들에서는 해당 텍스트의 제목을 본문의 요약문으로 가정하거나 뉴스 기사의 제목 혹은 첫 문장을 전체 기사의 요약문으로 가정하여 AI 요약기술을 위한 학습 데이터로 활용 중
  • 이러한 조작적 정의는 본문 전체의 핵심 내용이나 의무 전달을 온전히 포함하지 못하는 한계점을 내포
  • 선진국에서는 AI 요약기술 개발을 위한 다양한 문서요약 텍스트 데이터를 공개하고 있음
  • 이에 한국어를 이해하고 지식을 추출하여 새로운 가치를 창출할 수 있는 문서요약 AI 기술개발을 위하여 검증된 학습용 데이터를 구축하고자 함
데이터 구조
  • 데이터 구성
    데이터 구성 (Key, Description, Type, Child Type)
    Key Description Type Child Type
    name 파일명 String  
    delivery_date 생성시간 yyyy-MM-dd hh:mm:ss String  
    documents 문서 배열 JsonArray JsonObject
    [ 문서 JsonObject  
    id 문서 아이디 String  
    category 카테고리 String  
    media_type 미디어 유형 (ex: online) String  
    media_sub_type 미디어 유형 (ex: 중앙지) String  
    media_name 미디어 명 (ex: 국민일보) String  
    size 길이 (ex: small) String  
    char_count 본문길이 String  
    publish_date 게시시간 yyyy-MM-dd hh:mm:ss String  
    title 제목 String  
    text 본문(문단/문장) JsonArray JsonArray
      [ 문단 JsonArray JsonObject
        [ 문장    
    index 순번 String  
    sentence 문장 String  
    highlight_indices 불용어 위치 정보 String  
        ]      
      ]      
    ]      

     

  • 어노테이션 포맷
    어노테이션 포맷 (항목, 길이, 타입, 필수여부)
    No 항목 길이 타입 필수여부
        한글명 영문명      
    1 데이터셋 정보     JsonObject Y
      1-1 데이터셋 명 name   String Y
      1-2 데이터셋 전달일자ㅇ delivery_date   String Y
    2 문서 정보     JsonObject Y
      2-1 문서 번호 id   String Y
      2-2 카테고리 category   String Y
      2-3 매체 유형 media_type   String Y
      2-4 매체 구분 media_sub_type   String Y
      2-5 미디어 명 media_name   String Y
      2-6 본문길이 size   String Y
      2-7 본문글자수 char_count   String Y
      2-8 발행일시 publish_date   String Y
      2-9 제목 title   String Y
    3 본문(문단/문장) 정보 text   Array Y
      3-1 문단 [   Array Y
      3-2 문장 {   JsonObject Y
      3-3 순번 index   Integer Y
      3-4 문장 sentence   String Y
      3-5 불용어 위치 정보 highlight_indices   String Y
          }      
          ]      
    4 원문 평가 정보     JsonObject Y
      4-1 가독성 readable   Integer Y
      4-2 정확성 accurate   Integer Y
      4-3 정보성 informative   Integer Y
      4-4 신뢰성 trustworthy   Integer Y
    5 추출요약문 정보 extractive   Array Y
    6 생성요약문 정보 abstractive   Array Y
데이터셋 구축 담당자
수행기관(주관) : 비플라이소프트
수행기관(주관) 표
책임자명 전화번호 대표이메일 담당업무
이경락 070-7091-8560 ragie77@bflysoft.com · 원문 데이터 확보 및 제공
· 데이터 구축 총괄
수행기관(참여)
수행기관(참여) 표
기관명 담당업무 기관명 담당업무
위고 · 원문데이터 정제 테스트웍스 · 추출 및 생성 요약문 작성 (크라우드소싱 활용)
· 결과물 검수 및 검증
(주)에이아이닷엠 · AI 응용 서비스 기획 및 개발
· 응용 서비스를 위한 AI 모델 개발
고려대학교 DSBA 연구실 · 데이터 가공