문서요약 텍스트 소개
기본탭
데이터셋명 | 문서요약 텍스트 | |||
---|---|---|---|---|
데이터 분야 | 음성/자연어 | 데이터 유형 | 텍스트 | |
구축기관 | 비플라이소프트 | 데이터 관련 문의처 | 담당자명 | 최재웅(비플라이소프트) |
가공기관 | 비플라이소프트, 위고, 테스트웍스, 고려대학교 DSBA 연구실, 에이아이닷엠 | 전화번호 | 070-7091-8560 | |
검수기관 | 테스트웍스 | 이메일 | jw.choi@bflysoft.com | |
구축 데이터량 | 120만 | 구축년도 | 2020년 | |
버전 | 1.3 | 최종수정일자 | 2021.12.17 | |
소개 | AI가 텍스트를 이해하고 핵심내용을 자동으로 요약하는 기술개발을 위한 텍스트 및 요약내용을 생성하는 텍스트 데이터 | |||
주요 키워드 | 문서요약, 추출요약, 생성요약, 한국형 문서요약 데이터셋, 뉴스기사 요약, 법률분서 요약, 사업보고서 요약, AI 요약기술 개발, 뉴스 텍스트 | |||
저작권 및 이용정책 | 본 데이터는 과학기술정보통신부가 주관하고 한국지능정보사회진흥원이 지원하는 '인공지능 학습용 데이터 구축사업'으로 구축된 데이터입니다. [데이터 이용정책 상세보기] | |||
데이터설명서 | 자료보기 | 구축활용가이드 | 자료보기 | |
샘플데이터 | 다운로드 | 교육활용동영상 | 영상보기 | |
저작도구 | 다운로드 | AI모델 | 다운로드 |
데이터 변경이력
버전 | 일자 | 변경내용 | 비고 |
---|---|---|---|
1.3 | 2021.12.17 | 데이터 품질 보완 | |
1.2 | 2021.09.13 | 데이터 품질 보완 및 추가 개방 | |
1.1 | 2021.07.27 | 데이터 추가 개방 | |
1.0 | 2021.06.18 | 데이터 최초 개방 |
구축목적
- 다양한 주제의 한국어 원문으로부터 추출요약문과 생성요약문을 도출해낼 수 있도록 인공지능을 훈련하기 위한 데이터셋
활용분야
- 뉴스기사 요약, 법률분서 요약, 사업보고서 요약 등 핵심내용을 신속하고 정확하게 파악할 수 있는 AI 요약기술 개발
주요 키워드
- 문서요약, 추출요약, 생성요약, 한국형 문서요약 데이터셋
소개
- 다양한 한국어 원문 데이터로부터 정제된 추출 및 생성 요약문을 도출하고 검증한 한국어 문서요약 AI 데이터셋으로, 기존 영문 문서요약 데이터셋과는 다른 원문 데이터의 다양성을 추구하며, 요약문 재사용에 제한이 없도록 저작권 문제를 완전히 해결한 원천 데이터를 확보
구축 내용 및 제공 데이터량
- 원문 데이터 40만 건 (신문기사 30만 건, 기고문 6만 건, 잡지기사 1만 건, 법원 판결문 3만 건)을 활용하여 각각 추출요약 40만 건, 생성요약 40만 건, 총 80만 건의 요약문 도출
- 원문으로부터 변형 없이 그대로 선택된 3개 문장으로 추출요약문 생성
- 원문의 내용을 바탕으로 재작성된 생성요약문 생성
구축 내용 및 제공 데이터량 표 데이터 종류 데이터 형태 목표 수량 신문기사 뉴스 텍스트 원문데이터 30만 건 / 요약문 60만 건 기고문 오피니언 텍스트 원문데이터 6만건 / 요약문 12만 건 잡지 웹진 기사 텍스트 원문데이터 1만 건 / 요약문 2만 건 법률 법원 판결문 뉴스 텍스트 및 법원 주요 판결문 텍스트 원문데이터 3만 건 / 요약문 6만 건 총계 원문데이터 40만 건 / 요약문 80만 건
대표도면
필요성
- 국내 AI 요약기술 개발과 관련된 다수의 연구들에서는 해당 텍스트의 제목을 본문의 요약문으로 가정하거나 뉴스 기사의 제목 혹은 첫 문장을 전체 기사의 요약문으로 가정하여 AI 요약기술을 위한 학습 데이터로 활용 중
- 이러한 조작적 정의는 본문 전체의 핵심 내용이나 의무 전달을 온전히 포함하지 못하는 한계점을 내포
- 선진국에서는 AI 요약기술 개발을 위한 다양한 문서요약 텍스트 데이터를 공개하고 있음
- 이에 한국어를 이해하고 지식을 추출하여 새로운 가치를 창출할 수 있는 문서요약 AI 기술개발을 위하여 검증된 학습용 데이터를 구축하고자 함
데이터 구조
- 데이터 구성
데이터 구성 (Key, Description, Type, Child Type) Key Description Type Child Type name 파일명 String delivery_date 생성시간 yyyy-MM-dd hh:mm:ss String documents 문서 배열 JsonArray JsonObject [ 문서 JsonObject id 문서 아이디 String category 카테고리 String media_type 미디어 유형 (ex: online) String media_sub_type 미디어 유형 (ex: 중앙지) String media_name 미디어 명 (ex: 국민일보) String size 길이 (ex: small) String char_count 본문길이 String publish_date 게시시간 yyyy-MM-dd hh:mm:ss String title 제목 String text 본문(문단/문장) JsonArray JsonArray [ 문단 JsonArray JsonObject [ 문장 index 순번 String sentence 문장 String highlight_indices 불용어 위치 정보 String ] ] ] - 어노테이션 포맷
어노테이션 포맷 (항목, 길이, 타입, 필수여부) No 항목 길이 타입 필수여부 한글명 영문명 1 데이터셋 정보 JsonObject Y 1-1 데이터셋 명 name String Y 1-2 데이터셋 전달일자ㅇ delivery_date String Y 2 문서 정보 JsonObject Y 2-1 문서 번호 id String Y 2-2 카테고리 category String Y 2-3 매체 유형 media_type String Y 2-4 매체 구분 media_sub_type String Y 2-5 미디어 명 media_name String Y 2-6 본문길이 size String Y 2-7 본문글자수 char_count String Y 2-8 발행일시 publish_date String Y 2-9 제목 title String Y 3 본문(문단/문장) 정보 text Array Y 3-1 문단 [ Array Y 3-2 문장 { JsonObject Y 3-3 순번 index Integer Y 3-4 문장 sentence String Y 3-5 불용어 위치 정보 highlight_indices String Y } ] 4 원문 평가 정보 JsonObject Y 4-1 가독성 readable Integer Y 4-2 정확성 accurate Integer Y 4-3 정보성 informative Integer Y 4-4 신뢰성 trustworthy Integer Y 5 추출요약문 정보 extractive Array Y 6 생성요약문 정보 abstractive Array Y
데이터셋 구축 담당자
수행기관(주관) : 비플라이소프트
책임자명 | 전화번호 | 대표이메일 | 담당업무 |
---|---|---|---|
이경락 | 070-7091-8560 | ragie77@bflysoft.com | · 원문 데이터 확보 및 제공 · 데이터 구축 총괄 |
수행기관(참여)
기관명 | 담당업무 | 기관명 | 담당업무 |
---|---|---|---|
위고 | · 원문데이터 정제 | 테스트웍스 | · 추출 및 생성 요약문 작성 (크라우드소싱 활용) · 결과물 검수 및 검증 |
(주)에이아이닷엠 | · AI 응용 서비스 기획 및 개발 · 응용 서비스를 위한 AI 모델 개발 |
고려대학교 DSBA 연구실 | · 데이터 가공 |