-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.0 2021-06-18 데이터 최초 개방 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2022-12-21 샘플데이터 삭제 원천데이터 부재 소개
기존 AI 질의응답 서비스의 기반이 되어온 지식베이스(Knowledge Base)가 가진 한계 및 비효율성 등을 극복하기 위해 자연어 형태의 질의를 받아 지식 정보를 제공하는 서비스에 활용할 수 있는 딥러닝 기반 기계 독해 학습데이터셋 구축
구축목적
다양한 주제의 도서자료를 활용한 기계독해용 데이터셋 구축
-
메타데이터 구조표 데이터 영역 한국어 데이터 유형 텍스트 데이터 형식 데이터 출처 라벨링 유형 라벨링 형식 데이터 활용 서비스 데이터 구축년도/
데이터 구축량2020년/100만건 -
구축 내용 및 제공 데이터량
- 평균 500글자 내외의 원문데이터를 활용하여 질문-답변 100만개 세트 구축셋
- 하나의 기본 질문 생성 이후 어순 변경, 동의어, 유사어를 활용하여 다양한 어휘의 질문 추가 생성
- 기계독해 모델의 성능 향상을 위해 질문 중 답이 없는 경우 30만건(30%)을 포함하여 구축
구축 내용 및 제공 데이터량 답변 유형 수량 비율 정답이 있는 질문 700,722 70% 정답이 없는 질문 300,318 30% 합계 1,001,060 100% -
-
AI 모델 상세 설명서 다운로드
AI 모델 다운로드 -
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 기계 독해 유효성 Question Answering Transformer F1-Score 0.88 점 0.89 점
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.0 2021.06.18 데이터 최초 개방 구축 목적
- 다양한 주제의 도서자료를 활용한 기계독해용 데이터셋 구축
활용 분야
- 텍스트에서 원하는 답변을 찾아주는 질의응답 서비스, 키워드 검색에서 자연어 검색으로 개선된 새로운 도서자료 검색 서비스
주요 키워드
- 한국어 텍스트, 도서자료 질의응답, 한국형 도서자료 기계독해 데이터셋
소개
구축 내용 및 제공 데이터량
- 평균 500글자 내외의 원문데이터를 활용하여 질문-답변 100만개 세트 구축셋
- 하나의 기본 질문 생성 이후 어순 변경, 동의어, 유사어를 활용하여 다양한 어휘의 질문 추가 생성
- 기계독해 모델의 성능 향상을 위해 질문 중 답이 없는 경우 30만건(30%)을 포함하여 구축
구축 내용 및 제공 데이터량 답변 유형 수량 비율 정답이 있는 질문 700,722 70% 정답이 없는 질문 300,318 30% 합계 1,001,060 100% 대표도면
- 지문
- 질문-답변
필요성
- 기존 검색엔진 기반 키워드 검색의 경우 정보 탐색의 대상이 대상에 머물고 있어, 한계가 명확함
- 딥러닝 기술의 발전으로 비정형 데이터에서 원하는 답변을 찾아주는 질의응답 시스템 구축이 가능해지고 있으며, 기존 정보검색 실패에 따른 리스크를 줄일 수 있는 환경이 마련 됨
- 한국어 기반의 인공지능 모델을 개발하기 위해서는 한국어 기반의 학습데이터가 필요하지만 충분한 데이터가 확보되어 있지 않으며, 해외 공개 데이터의 경우 한국어의 특성상 적용에 어려움이 있음
- 이에 한국어의 특성을 반영한 AI 기술개발을 위하여 검증된 학습용 데이터셋을 구축하고자 함
데이터 구조
- 데이터 구성
- paragraphs와 같은 클래스의 값으로 표제, 어노테이션 작성일자, 발행기관 등 기본 정보 제공
- paragraphs는 질문-답변 세트와 질문-답변 세트의 근거 단락인 context를 하위 클래스로 가짐
- 질문-답변 세트의 클래스인 qas에는 question으로 표현되는 질문과 answers로 정의된 답변이 포함되며, id와 답변이 없는 경우를 표기하는 is_impossible 속성을 가짐
- answer_start는 context에서 정답이 위치하는 글자 수 기준 인덱스를 나타내며 text는 context 내의 정답 내용을 나타냄
- 어노테이션 포맷
어노테이션 포맷 NO 필드명 설명 데이터 타입 1 version SQuAD 버전 정보 String 2 data 데이터셋이 나열된 리스트 List 2.1 time 데이터가 생성된 일시
(YYYYMMDDHHmm)INT64 2.2 title 도서자료의 표제 String 2.3 agency 도서자료를 발행한 기관 String 2.4 paragraphs 도서자료에서 추출된 지문과 질문・답변으로 이루어진 오브젝트의 리스트 List 2.4.1 context 지문 String 2.4.2 qas 질문・답변 오브젝트의 리스트 List 2.4.2.1 question 질문 String 2.4.2.2 id 질문의 아이디 String 2.4.3 is_impossible 정답이 있는 질문인지 아닌지를 불리언으로 표기 Boolean 2.4.4 answers 답변 정보 오브젝트의 리스트 List 2.4.4.1 text 답변 텍스트 String 2.4.4.2 answer_start 지문에서의 답변의 오프셋 INT64
-
데이터셋 구축 담당자
수행기관(주관) : 포티투마루
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 김동환 02-6952-9201 bd@42maru.ai · 원문 데이터 확보 및 제공 · 데이터 구축 총괄 수행기관(참여)
수행기관(참여) 기관명 담당업무 유클리드소프트 · 원문 데이터 정제
· 질문 및 답변 작성 (크라우드소싱 활용)
· 결과물 검수 및 검증에이아이닷엠 · AI 요약모델을 활용한 응용서비스 개발 고려대학교 DSBA 연구실 · AI 요약모델 개발 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 황영선(포티투마루) 02-6952-9201 bd@42maru.ai
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.