-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.0 2021-06-18 데이터 최초 개방 소개
도서를 기반으로 한 원문의 핵심 내용, 의미 전달을 적절히 포함하는 요약문을 자동으로 생성하는 AI기술 개발을 위한 도서 요약 텍스트 데이터
구축목적
다양한 주제의 한국어 도서 원문으로부터 생성요약문을 도출해낼 수 있도록 인공지능을 훈련하기 위한 데이터셋
-
메타데이터 구조표 데이터 영역 한국어 데이터 유형 텍스트 데이터 형식 데이터 출처 라벨링 유형 라벨링 형식 데이터 활용 서비스 데이터 구축년도/
데이터 구축량2020년/20만 -
-
AI 모델 상세 설명서 다운로드
AI 모델 다운로드 -
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.0 2021.06.18 데이터 최초 개방 구축 목적
- 다양한 주제의 한국어 도서 원문으로부터 생성요약문을 도출해낼 수 있도록 인공지능을 훈련하기 위한 데이터셋
활용 분야
- 사회과학, 기술과학, 철학, 법학 등 핵심내용을 신속하고 정확하게 파악할 수 있는 AI 요약기술 개발
주요 키워드
- 문서요약, 도서요약, 생성요약, 한국형 문서요약 데이터셋
소개
- 다양한 한국어 원문 데이터로부터 정제된 추출 및 생성 요약문을 도출하고 검증한 한국어 문서요약 AI 데이터셋으로, 기존 영문 문서요약 데이터셋과는 다른 원문 데이터의 다양성을 추구하며, 요약문 재사용에 제한이 없도록 저작권 문제를 완전히 해결한 원천 데이터를 확보
대표도면
필요성
- 국내 AI 요약기술 개발과 관련된 다수의 연구들에서는 해당 텍스트의 제목을 본문의 요약문으로 가정하거나 뉴스 기사의 제목 혹은 첫 문장을 전체 기사의 요약문으로 가정하여 AI 요약기술을 위한 학습 데이터로 활용 중
- 이러한 조작적 정의는 본문 전체의 핵심 내용이나 의무 전달을 온전히 포함하지 못하는 한계점을 내포
- 선진국에서는 AI 요약기술 개발을 위한 다양한 문서요약 텍스트 데이터를 공개하고 있음
- 이에 한국어를 이해하고 지식을 추출하여 새로운 가치를 창출할 수 있는 문서요약 AI 기술개발을 위하여 검증된 학습용 데이터를 구축하고자 함
데이터 구조
- 데이터 구성
- 어노테이션 포맷
어노테이션 포맷 No 속성명 영문명 길이 타입 필수여부 설명 1 원문ID passage_id 100 String Required 원문에 부여되는 고유번호 '문서ID_분리순서' 포맷 2 메타데이터 metadata - Object Required 서지 정보에서 추출한 메타데이터 2-1 문서ID doc_id 100 String Required 2-2 문서유형 doc_type 100 String Required '도서' 및 '논문'으로 문서유형 구분 2-3 문서명 doc_name 100 String Required 2-4 발행자 author 100 String Optional 2-5 발행처 publisher 100 String Optional 2-6 발행연도 published_year 4 String Optional 2-7 주제분류 kdc_label 100 String Required 해당 원문의 KDC 분류명 2-8 분류기호 kdc_code 3 String Optional 해당 원문의 KDC 분류코드 3 챕터 chapter 100 String Optional 해당 원문이 소속된 챕터명 4 원문 passage 1000 String Required 구축 대상 원문 문단 5 요약문 summary 300 String Required 원문 문단에 대한 생성요약 -
데이터셋 구축 담당자
수행기관(주관) : 바이브컴퍼니
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 이기황 02-565-0531 leekh@vaiv.kr 수행기관(참여)
수행기관(참여) 기관명 담당업무 딥네츄럴 · 데이터 정제
· 생성 요약문 작성(크라우드소싱 활용)
· 온라인 작업 도구 제공포티투마루 · AI 요약모델 및 활용 서비스 개발 연세대학교 산학협력단 · 품질검수 품질평가 서비스 이르테크 · 생성 요약문 작성(크라우드소싱 활용)
· 결과물 검수 및 검증경북대학교 산학협력단 · 품질검수 품질평가 서비스 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 전영민(딥네츄럴) 02-6952-0588 youngmin@deepnatural.ai
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.