콘텐츠로 건너뛰기 메뉴로 건너뛰기 푸터로 건너뛰기
데이터를 불러오고 있습니다
데이터를 저장하고 있습니다
#문서요약 # 추출요약 # 생성요약 # AI 요약기술 개발

문서요약 텍스트

문서요약 텍스트
  • 분야한국어
  • 유형 텍스트
구축년도 : 2020 갱신년월 : 2021-12 조회수 : 40,449 다운로드 : 4,964 용량 :
샘플 데이터 ?

샘플데이터는 데이터의 이해를 돕기 위해 별도로 가공하여 제공하는 정보로써 원본 데이터와 차이가 있을 수 있으며,
데이터에 따라서 민감한 정보는 일부 마스킹(*) 처리가 되어 있을 수 있습니다.

※ 내국인만 데이터 신청이 가능합니다.

  • 데이터 변경이력

    데이터 변경이력
    버전 일자 변경내용 비고
    1.3 2021-12-17 데이터 품질 보완
    1.2 2021-09-13 데이터 품질 보완 및 추가 개방
    1.1 2021-07-27 데이터 추가 개방
    1.0 2021-06-18 데이터 최초 개방

    데이터 히스토리

    데이터 히스토리
    일자 변경내용 비고
    2024-04-23 데이터 설명서, 담당자 변경

    소개

    AI가 텍스트를 이해하고 핵심내용을 자동으로 요약하는 기술개발을 위한 텍스트 및 요약내용을 생성하는 텍스트 데이터

    구축목적

    다양한 주제의 한국어 원문으로부터 추출요약문과 생성요약문을 도출해낼 수 있도록 인공지능을 훈련하기 위한 데이터셋
  • 구축 내용 및 제공 데이터량

    • 원문 데이터 40만 건 (신문기사 30만 건, 기고문 6만 건, 잡지기사 1만 건, 법원 판결문 3만 건)을 활용하여 각각 추출요약 40만 건, 생성요약 40만 건, 총 80만 건의 요약문 도출
    • 원문으로부터 변형 없이 그대로 선택된 3개 문장으로 추출요약문 생성
    • 원문의 내용을 바탕으로 재작성된 생성요약문 생성
      구축 내용 및 제공 데이터량 표
      데이터 종류 데이터 형태 목표 수량
      신문기사 뉴스 텍스트 원문데이터 30만 건 / 요약문 60만 건
      기고문 오피니언 텍스트 원문데이터 6만건 / 요약문 12만 건
      잡지 웹진 기사 텍스트 원문데이터 1만 건 / 요약문 2만 건
      법률 법원 판결문 뉴스 텍스트 및 법원 주요 판결문 텍스트 원문데이터 3만 건 / 요약문 6만 건
      총계 원문데이터 40만 건 / 요약문 80만 건
  • 저작도구 설명서 및 저작도구 다운로드

    저작도구 설명서 다운로드 저작도구 다운로드
  • AI 모델 상세 설명서 다운로드

    AI 모델 다운로드
  • 데이터 성능 점수

    측정값 (%)
    기준값 (%)

    데이터 성능 지표

    데이터 성능 지표
    번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수
    1 추출요약문 유효성(신문기사) Text Summary BertSumExt, SummaRunner ROUGE-1 41.5 % 50.8 %
    2 추출요약문 유효성(신문기사) Text Summary BertSumExt, SummaRunner ROUGE-2 19 % 35.6 %
    3 추출요약문 유효성(신문기사) Text Summary BertSumExt, SummaRunner ROUGE-L 37.9 % 37.9 %
    4 추출요약문 유효성(법률문서) Text Summary BertSumExt, SummaRunner ROUGE-1 40.8 % 56.9 %
    5 추출요약문 유효성(법률문서) Text Summary BertSumExt, SummaRunner ROUGE-2 23.8 % 39.8 %
    6 추출요약문 유효성(법률문서) Text Summary BertSumExt, SummaRunner ROUGE-L 33.7 % 38.8 %
    7 추출요약문 유효성(잡지, 기고문) Text Summary BertSumExt, SummaRunner ROUGE-1 19 % 39.8 %
    8 추출요약문 유효성(잡지, 기고문) Text Summary BertSumExt, SummaRunner ROUGE-2 3.7 % 20.7 %
    9 추출요약문 유효성(잡지, 기고문) Text Summary BertSumExt, SummaRunner ROUGE-L 15.1 % 30.4 %
    10 생성요약문 유효성(신문기사) Text Generation BertSumAbs ROUGE-1 41.6 % 51.9 %
    11 생성요약문 유효성(신문기사) Text Generation BertSumAbs ROUGE-2 19.4 % 34.6 %
    12 생성요약문 유효성(신문기사) Text Generation BertSumAbs ROUGE-L 37.9 % 41.8 %
    13 생성요약문 유효성(법률문서) Text Generation BertSumAbs ROUGE-1 40.8 % 54.8 %
    14 생성요약문 유효성(법률문서) Text Generation BertSumAbs ROUGE-2 23.8 % 36 %
    15 생성요약문 유효성(법률문서) Text Generation BertSumAbs ROUGE-L 33.7 % 42.4 %
    16 생성요약문 유효성(잡지, 기고문) Text Generation BertSumAbs ROUGE-1 19 % 38.2 %
    17 생성요약문 유효성(잡지, 기고문) Text Generation BertSumAbs ROUGE-2 3.7 % 18.4 %
    18 생성요약문 유효성(잡지, 기고문) Text Generation BertSumAbs ROUGE-L 15.1 % 28.8 %

    ※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.

    ※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)

  • 설명서 및 활용가이드 다운로드

    데이터 설명서 다운로드 구축활용가이드 다운로드

    데이터 변경이력

    데이터 변경이력
    버전 일자 변경내용 비고
    1.3 2021.12.17 데이터 품질 보완  
    1.2 2021.09.13 데이터 품질 보완 및 추가 개방  
    1.1 2021.07.27 데이터 추가 개방  
    1.0 2021.06.18 데이터 최초 개방  

    구축목적

    • 다양한 주제의 한국어 원문으로부터 추출요약문과 생성요약문을 도출해낼 수 있도록 인공지능을 훈련하기 위한 데이터셋

    활용분야

    • 뉴스기사 요약, 법률분서 요약, 사업보고서 요약 등 핵심내용을 신속하고 정확하게 파악할 수 있는 AI 요약기술 개발

    주요 키워드

    • 문서요약, 추출요약, 생성요약, 한국형 문서요약 데이터셋

    소개

    • 다양한 한국어 원문 데이터로부터 정제된 추출 및 생성 요약문을 도출하고 검증한 한국어 문서요약 AI 데이터셋으로, 기존 영문 문서요약 데이터셋과는 다른 원문 데이터의 다양성을 추구하며, 요약문 재사용에 제한이 없도록 저작권 문제를 완전히 해결한 원천 데이터를 확보

    문서요약 텍스트- 소개

     

    구축 내용 및 제공 데이터량

    • 원문 데이터 40만 건 (신문기사 30만 건, 기고문 6만 건, 잡지기사 1만 건, 법원 판결문 3만 건)을 활용하여 각각 추출요약 40만 건, 생성요약 40만 건, 총 80만 건의 요약문 도출
    • 원문으로부터 변형 없이 그대로 선택된 3개 문장으로 추출요약문 생성
    • 원문의 내용을 바탕으로 재작성된 생성요약문 생성
      구축 내용 및 제공 데이터량 표
      데이터 종류 데이터 형태 목표 수량
      신문기사 뉴스 텍스트 원문데이터 30만 건 / 요약문 60만 건
      기고문 오피니언 텍스트 원문데이터 6만건 / 요약문 12만 건
      잡지 웹진 기사 텍스트 원문데이터 1만 건 / 요약문 2만 건
      법률 법원 판결문 뉴스 텍스트 및 법원 주요 판결문 텍스트 원문데이터 3만 건 / 요약문 6만 건
      총계 원문데이터 40만 건 / 요약문 80만 건

    대표도면

    문서요약 텍스트- 대표도면

     

    필요성

    • 국내 AI 요약기술 개발과 관련된 다수의 연구들에서는 해당 텍스트의 제목을 본문의 요약문으로 가정하거나 뉴스 기사의 제목 혹은 첫 문장을 전체 기사의 요약문으로 가정하여 AI 요약기술을 위한 학습 데이터로 활용 중
    • 이러한 조작적 정의는 본문 전체의 핵심 내용이나 의무 전달을 온전히 포함하지 못하는 한계점을 내포
    • 선진국에서는 AI 요약기술 개발을 위한 다양한 문서요약 텍스트 데이터를 공개하고 있음
    • 이에 한국어를 이해하고 지식을 추출하여 새로운 가치를 창출할 수 있는 문서요약 AI 기술개발을 위하여 검증된 학습용 데이터를 구축하고자 함

    데이터 구조

    • 데이터 구성
      데이터 구성 (Key, Description, Type, Child Type)
      Key Description Type Child Type
      name 파일명 String  
      delivery_date 생성시간 yyyy-MM-dd hh:mm:ss String  
      documents 문서 배열 JsonArray JsonObject
      [ 문서 JsonObject  
      id 문서 아이디 String  
      category 카테고리 String  
      media_type 미디어 유형 (ex: online) String  
      media_sub_type 미디어 유형 (ex: 중앙지) String  
      media_name 미디어 명 (ex: 국민일보) String  
      size 길이 (ex: small) String  
      char_count 본문길이 String  
      publish_date 게시시간 yyyy-MM-dd hh:mm:ss String  
      title 제목 String  
      text 본문(문단/문장) JsonArray JsonArray
        [ 문단 JsonArray JsonObject
          [ 문장    
      index 순번 String  
      sentence 문장 String  
      highlight_indices 불용어 위치 정보 String  
          ]      
        ]      
      ]      

       

    • 어노테이션 포맷
      어노테이션 포맷 (항목, 길이, 타입, 필수여부)
      No 항목 길이 타입 필수여부
          한글명 영문명      
      1 데이터셋 정보     JsonObject Y
        1-1 데이터셋 명 name   String Y
        1-2 데이터셋 전달일자ㅇ delivery_date   String Y
      2 문서 정보     JsonObject Y
        2-1 문서 번호 id   String Y
        2-2 카테고리 category   String Y
        2-3 매체 유형 media_type   String Y
        2-4 매체 구분 media_sub_type   String Y
        2-5 미디어 명 media_name   String Y
        2-6 본문길이 size   String Y
        2-7 본문글자수 char_count   String Y
        2-8 발행일시 publish_date   String Y
        2-9 제목 title   String Y
      3 본문(문단/문장) 정보 text   Array Y
        3-1 문단 [   Array Y
        3-2 문장 {   JsonObject Y
        3-3 순번 index   Integer Y
        3-4 문장 sentence   String Y
        3-5 불용어 위치 정보 highlight_indices   String Y
            }      
            ]      
      4 원문 평가 정보     JsonObject Y
        4-1 가독성 readable   Integer Y
        4-2 정확성 accurate   Integer Y
        4-3 정보성 informative   Integer Y
        4-4 신뢰성 trustworthy   Integer Y
      5 추출요약문 정보 extractive   Array Y
      6 생성요약문 정보 abstractive   Array Y
  • 데이터셋 구축 담당자

    수행기관(주관) : 비큐에이아이
    수행기관(주관)
    책임자명 전화번호 대표이메일 담당업무
    이상규 070-7091-8072 sglee@becuai.com · 원문 데이터 확보 및 제공 · 데이터 구축 총괄
    수행기관(참여)
    수행기관(참여)
    기관명 담당업무
    위고 · 원문데이터 정제
    (주)에이아이닷엠 · AI 응용 서비스 기획 및 개발
    · 응용 서비스를 위한 AI 모델 개발
    테스트웍스 · 추출 및 생성 요약문 작성 (크라우드소싱 활용)
    · 결과물 검수 및 검증
    고려대학교 DSBA 연구실 · 데이터 가공
    데이터 관련 문의처
    데이터 관련 문의처
    담당자명 전화번호 이메일
    이상규(비큐에이아이) 070-7091-8072 sglee@becuai.com
보건의료 데이터 개방 안내

보건의료 데이터는 온라인 및 오프라인 안심존을 통해 개방됩니다.

안심존이란 안심존 이용메뉴얼 안심존 이용신청
  • 인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
    * 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
    * 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석

    1. AI 허브 접속
      신청자
    2. 안심존
      사용신청
      신청자신청서류 제출*
    3. 심사구축기관
    4. 승인구축기관
    5. 데이터 분석 활용신청자
    6. 분석모델반출신청자
  • 1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
    2. 기관생명윤리위원회(IRB) 승인된 연구계획서
    3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
    4. 안심존 이용 신청서 [다운로드]
    5. 보안서약서 [다운로드]
    ※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다.

  • 신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의

데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.

API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.

리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.

※ 파일 병합 리눅스 명령어

find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"

- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.

- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.

※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.