문서요약 텍스트

문서요약 텍스트

데이터셋명 문서요약 텍스트
데이터 분야 음성/자연어 데이터 유형 텍스트
구축기관 비플라이소프트 데이터 관련 문의처 담당자명 최재웅(비플라이소프트)
가공기관 비플라이소프트, 위고, 테스트웍스, 고려대학교 DSBA 연구실, 에이아이닷엠 전화번호 070-7091-8560
검수기관 테스트웍스 이메일 jw.choi@bflysoft.com
구축 데이터량 120만 구축년도 2020년
버전 1.2 최종수정일자 2021.09.13
소개 AI가 텍스트를 이해하고 핵심내용을 자동으로 요약하는 기술개발을 위한 텍스트 및 요약내용을 생성하는 텍스트 데이터
주요 키워드 문서요약, 추출요약, 생성요약, 한국형 문서요약 데이터셋, 뉴스기사 요약, 법률분서 요약, 사업보고서 요약, AI 요약기술 개발, 뉴스 텍스트
저작권 및 이용정책 본 데이터는 과학기술정보통신부가 주관하고 한국지능정보사회진흥원이 지원하는 '인공지능 학습용 데이터 구축사업'으로 구축된 데이터입니다. [데이터 이용정책 상세보기]
데이터설명서 자료보기 구축활용가이드 자료보기
샘플데이터 다운로드 교육활용동영상 영상보기
저작도구 다운로드 AI모델 다운로드
데이터 변경이력
버전 일자 변경내용 비고
1.2 2021.09.13 데이터 품질 보완 및 추가 개방  
1.1 2021.07.27 데이터 추가 개방  
1.0 2021.06.18 데이터 최초 개방  
구축목적
  • 다양한 주제의 한국어 원문으로부터 추출요약문과 생성요약문을 도출해낼 수 있도록 인공지능을 훈련하기 위한 데이터셋
활용분야
  • 뉴스기사 요약, 법률분서 요약, 사업보고서 요약 등 핵심내용을 신속하고 정확하게 파악할 수 있는 AI 요약기술 개발
주요 키워드
  • 문서요약, 추출요약, 생성요약, 한국형 문서요약 데이터셋
소개
  • 다양한 한국어 원문 데이터로부터 정제된 추출 및 생성 요약문을 도출하고 검증한 한국어 문서요약 AI 데이터셋으로, 기존 영문 문서요약 데이터셋과는 다른 원문 데이터의 다양성을 추구하며, 요약문 재사용에 제한이 없도록 저작권 문제를 완전히 해결한 원천 데이터를 확보

img

 

구축 내용 및 제공 데이터량
  • 원문데이터 40만 건 (신문기사 30만 건, 기고문 3만 건, 잡지기사 1만 건, 논문 초록 3만 건, 법원 판결문 3만 건)을 활용하여 각각 추출요약 40만 건, 생성요약 40만 건, 총 80만 건의 요약문 도출
  • 원문으로부터 변형 없이 그대로 선택된 3개 문장으로 추출요약문 생성
  • 원문의 내용을 바탕으로 재작성된 생성요약문 생성
    구축 내용 및 제공 데이터량 표
    데이터 종류 데이터 형태 목표 수량
    신문기사 뉴스 텍스트 원문데이터 30만 건 / 요약문 60만 건
    기고문 오피니언 텍스트 원문데이터 3만건 / 요약문 6만 건
    잡지 웹진 기사 텍스트 원문데이터 1만 건 / 요약문 2만 건
    법률 법원 판결문 뉴스 텍스트 및 법원 주요 판결문 텍스트 원문데이터 3만 건 / 요약문 6만 건
    논문 논문요약 (abstract) 텍스트 원문데이터 3만 건 / 요약문 6만 건
    총계 원문데이터 40만 건 / 요약문 80만 건
대표도면

img

 

필요성
  • 국내 AI 요약기술 개발과 관련된 다수의 연구들에서는 해당 텍스트의 제목을 본문의 요약문으로 가정하거나 뉴스 기사의 제목 혹은 첫 문장을 전체 기사의 요약문으로 가정하여 AI 요약기술을 위한 학습 데이터로 활용 중
  • 이러한 조작적 정의는 본문 전체의 핵심 내용이나 의무 전달을 온전히 포함하지 못하는 한계점을 내포
  • 선진국에서는 AI 요약기술 개발을 위한 다양한 문서요약 텍스트 데이터를 공개하고 있음
  • 이에 한국어를 이해하고 지식을 추출하여 새로운 가치를 창출할 수 있는 문서요약 AI 기술개발을 위하여 검증된 학습용 데이터를 구축하고자 함
데이터 구조
  • 데이터 구성
    데이터 구성 (Key, Description, Type, Child Type)
    Key Description Type Child Type
    name 파일명 String  
    delivery_date 생성시간 yyyy-MM-dd hh:mm:ss String  
    documents 문서 배열 JsonArray JsonObject
    [ 문서 JsonObject  
    id 문서 아이디 String  
    category 카테고리 String  
    media_type 미디어 유형 (ex: online) String  
    media_sub_type 미디어 유형 (ex: 중앙지) String  
    media_name 미디어 명 (ex: 국민일보) String  
    size 길이 (ex: small) String  
    char_count 본문길이 String  
    publish_date 게시시간 yyyy-MM-dd hh:mm:ss String  
    title 제목 String  
    text 본문(문단/문장) JsonArray JsonArray
      [ 문단 JsonArray JsonObject
        [ 문장    
    index 순번 String  
    sentence 문장 String  
    highlight_indices 불용어 위치 정보 String  
        ]      
      ]      
    ]      

     

  • 어노테이션 포맷
    어노테이션 포맷 (항목, 길이, 타입, 필수여부)
    No 항목 길이 타입 필수여부
        한글명 영문명      
    1 데이터셋 정보     JsonObject Y
      1-1 데이터셋 명 name   String Y
      1-2 데이터셋 전달일자ㅇ delivery_date   String Y
    2 문서 정보     JsonObject Y
      2-1 문서 번호 id   String Y
      2-2 카테고리 category   String Y
      2-3 매체 유형 media_type   String Y
      2-4 매체 구분 media_sub_type   String Y
      2-5 미디어 명 media_name   String Y
      2-6 본문길이 size   String Y
      2-7 본문글자수 char_count   String Y
      2-8 발행일시 publish_date   String Y
      2-9 제목 title   String Y
    3 본문(문단/문장) 정보 text   Array Y
      3-1 문단 [   Array Y
      3-2 문장 {   JsonObject Y
      3-3 순번 index   Integer Y
      3-4 문장 sentence   String Y
      3-5 불용어 위치 정보 highlight_indices   String Y
          }      
          ]      
    4 원문 평가 정보     JsonObject Y
      4-1 가독성 readable   Integer Y
      4-2 정확성 accurate   Integer Y
      4-3 정보성 informative   Integer Y
      4-4 신뢰성 trustworthy   Integer Y
    5 추출요약문 정보 extractive   Array Y
    6 생성요약문 정보 abstractive   Array Y
데이터셋 구축 담당자
수행기관(주관) : 비플라이소프트
수행기관(주관) 표
책임자명 전화번호 대표이메일 담당업무
이경락 070-7091-8560 ragie77@bflysoft.com · 원문 데이터 확보 및 제공
· 데이터 구축 총괄
수행기관(참여)
수행기관(참여) 표
기관명 담당업무 기관명 담당업무
위고 · 원문데이터 정제 테스트웍스 · 추출 및 생성 요약문 작성 (크라우드소싱 활용)
· 결과물 검수 및 검증
(주)에이아이닷엠 · AI 응용 서비스 기획 및 개발
· 응용 서비스를 위한 AI 모델 개발
고려대학교 DSBA 연구실 · 데이터 가공