도서자료 기계독해

도서자료 기계독해

데이터셋명 도서자료 기계독해
데이터 분야 음성/자연어 데이터 유형 텍스트
구축기관 포티투마루 데이터 관련 문의처 담당자명 황영선(포티투마루)
가공기관 유클리드소프트 전화번호 02-6952-9201
검수기관 유클리드소프트 이메일 bd@42maru.ai
구축 데이터량 100만건 구축년도 2020년
버전 1.0 최종수정일자 2021.06.18
소개 기존 AI 질의응답 서비스의 기반이 되어온 지식베이스(Knowledge Base)가 가진 한계 및 비효율성 등을 극복하기 위해 자연어 형태의 질의를 받아 지식 정보를 제공하는 서비스에 활용할 수 있는 딥러닝 기반 기계 독해 학습데이터셋 구축
주요 키워드 기계 독해, 질의응답, AI 챗봇, 자연어, 지식정보
저작권 및 이용정책 본 데이터는 과학기술정보통신부가 주관하고 한국지능정보사회진흥원이 지원하는 '인공지능 학습용 데이터 구축사업'으로 구축된 데이터입니다. [데이터 이용정책 상세보기]
데이터설명서 자료보기 구축활용가이드 자료보기
샘플데이터 다운로드 교육활용동영상 영상보기
저작도구 다운로드 AI모델 다운로드 업데이트 중
데이터 변경이력
버전 일자 변경내용 비고
1.0 2021.06.18 데이터 최초 개방  
구축 목적
  • 다양한 주제의 도서자료를 활용한 기계독해용 데이터셋 구축
활용 분야
  • 텍스트에서 원하는 답변을 찾아주는 질의응답 서비스, 키워드 검색에서 자연어 검색으로 개선된 새로운 도서자료 검색 서비스
주요 키워드
  • 한국어 텍스트, 도서자료 질의응답, 한국형 도서자료 기계독해 데이터셋
소개

도서자료 기계독해 소개 이미지

구축 내용 및 제공 데이터량
  • 평균 500글자 내외의 원문데이터를 활용하여 질문-답변 100만개 세트 구축셋
  • 하나의 기본 질문 생성 이후 어순 변경, 동의어, 유사어를 활용하여 다양한 어휘의 질문 추가 생성
  • 기계독해 모델의 성능 향상을 위해 질문 중 답이 없는 경우 30만건(30%)을 포함하여 구축

 

구축 내용 및 제공 데이터량
답변 유형 수량 비율
정답이 있는 질문 700,722 70%
정답이 없는 질문 300,318 30%
합계 1,001,060 100%
대표도면
  • 지문

 

지문

 

  • 질문-답변

 

질문-답변

필요성
  • 기존 검색엔진 기반 키워드 검색의 경우 정보 탐색의 대상이 대상에 머물고 있어, 한계가 명확함
  • 딥러닝 기술의 발전으로 비정형 데이터에서 원하는 답변을 찾아주는 질의응답 시스템 구축이 가능해지고 있으며, 기존 정보검색 실패에 따른 리스크를 줄일 수 있는 환경이 마련 됨
  • 한국어 기반의 인공지능 모델을 개발하기 위해서는 한국어 기반의 학습데이터가 필요하지만 충분한 데이터가 확보되어 있지 않으며, 해외 공개 데이터의 경우 한국어의 특성상 적용에 어려움이 있음
  • 이에 한국어의 특성을 반영한 AI 기술개발을 위하여 검증된 학습용 데이터셋을 구축하고자 함
데이터 구조
  • 데이터 구성
    - paragraphs와 같은 클래스의 값으로 표제, 어노테이션 작성일자, 발행기관 등 기본 정보 제공
    - paragraphs는 질문-답변 세트와 질문-답변 세트의 근거 단락인 context를 하위 클래스로 가짐
    - 질문-답변 세트의 클래스인 qas에는 question으로 표현되는 질문과 answers로 정의된 답변이 포함되며, id와 답변이 없는 경우를 표기하는 is_impossible 속성을 가짐
    - answer_start는 context에서 정답이 위치하는 글자 수 기준 인덱스를 나타내며 text는 context 내의 정답 내용을 나타냄

    데이터 구조

     

  • 어노테이션 포맷
     
    어노테이션 포맷
    NO 필드명 설명 데이터 타입
    1 version SQuAD 버전 정보 String
    2 data 데이터셋이 나열된 리스트 List
    2.1 time 데이터가 생성된 일시
    (YYYYMMDDHHmm)
    INT64
    2.2 title 도서자료의 표제 String
    2.3 agency 도서자료를 발행한 기관 String
    2.4 paragraphs 도서자료에서 추출된 지문과 질문・답변으로 이루어진 오브젝트의 리스트 List
    2.4.1 context 지문 String
    2.4.2 qas 질문・답변 오브젝트의 리스트 List
    2.4.2.1 question 질문 String
    2.4.2.2 id 질문의 아이디 String
    2.4.3 is_impossible 정답이 있는 질문인지 아닌지를 불리언으로 표기 Boolean
    2.4.4 answers 답변 정보 오브젝트의 리스트 List
    2.4.4.1 text 답변 텍스트 String
    2.4.4.2 answer_start 지문에서의 답변의 오프셋 INT64
데이터셋 구축 담당자
수행기관(주관) : 포티투마루
수행기관(주관)
책임자명 전화번호 대표이메일 담당업무
김동환 02-6952-9201 bd@42maru.ai · 원문 데이터 확보 및 제공
· 데이터 구축 총괄
수행기관(참여)
수행기관(참여)
기관명 담당업무 기관명 담당업무
유클리드소프트 · 원문 데이터 정제
· 질문 및 답변 작성 (크라우드소싱 활용)
· 결과물 검수 및 검증
고려대학교
DSBA 연구실
· AI 요약모델 개발
에이아이닷엠 · AI 요약모델을 활용한 응용서비스 개발 (문서요약 서비스, 뉴스기사 품질 평가 서비스)