AI-Hub

o 소개
 - 대규모 문서에서 핵심 정보를 정확하게 파악하고, 방대한 텍스트를 간결하게 요약하는 AI 모델 개발에 최적화된 데이터셋

o 구축목적
 - '텍스트 이해' 능력을 극대화하고, 정보 검색 및 콘텐츠 소비 효율성 향상
 -  번역을 넘어, 텍스트의 맥락과 의미를 파악하여 질문에 답하고, 핵심 내용을 추출하는 AI 모델 개발을 지원
 - 규모 문서에서 사용자의 질문에 대한 정확한 답을 찾아내는 기계 독해 및 질의응답 데이터를 제공하여, 챗봇, 지식 검색 서비스 등 차세대 AI 서비스 개발 지원

o 활용 데이터 : 총 19개 데이터셋

 1) (구축연도 : 2021) 요약문 및 레포트 생성 데이터
   : 다양한 한국어 원문 데이터로부터 정제된 추출 및 생성 요약문을 도출하고 검증한 한국어 문서요약 AI 데이터셋 약 20만 건

 2) (구축연도 : 2021) 뉴스 기사 기계독해 데이터
   : 국내 언론사(중앙일보 등 종합일간지 및 지방지)의 뉴스기사를 지문으로 활용하여 4가지 유형의 질문-답변 세트를 생성, 인공지능을 훈련하기 위한 데이터셋 약 40만 건

 3) (구축연도 : 2020) 논문자료 요약
   : 요약문을 자동으로 생성하는 자료 요약 AI 기술 개발을 위한 논문 요약, 특허 명세서 요약 텍스트 데이터 약 35만 건

 4) (구축연도 : 2021) 행정 문서 대상 기계독해 데이터
   : 행정문서를 활용하여 기계독해 모델 생성을 위한 지문-질문-답변으로 구성된 인공지능 학습 데이터 약 41만 건

 5) (구축연도 : 2021) 방송 콘텐츠 대본 요약 데이터
   : 정제가 완료된 다양한 방송 콘텐츠 대본 데이터로부터 생성 요약문을 도출한 방송 콘텐츠 대본 요약 AI 데이터셋 약 10만 건

 6) (구축연도 : 2020) 문서요약 텍스트
   : AI가 텍스트를 이해하고 핵심내용을 자동으로 요약하는 기술개발을 위한 텍스트 및 요약내용을 생성하는 텍스트 데이터 원문 40만 건, 요약 80만 건

 7) (구축연도 : 2022) 기술과학 요약 데이터
   : 생성요약이 가능한 모델 연구와 문서 분석 및 요약 등의 서비스 개발에 사용할 수 있는 지문, 전문용어, 단서문장, 요약문으로 구성된 12만 건의 데이터

 8) (구축연도 : 2020) 도서자료 기계독해
   : 기존 AI 질의응답 서비스의 기반이 되어온 지식베이스(Knowledge Base)가 가진 한계 및 비효율성 등을 극복하기 위해 자연어 형태의 질의를 받아 지식 정보를 제공하는 서비스에 활용할 수 있는 딥러닝 기반 기계 독해 학습데이터셋 100만 건

 9) (구축연도 : 2021) 법률/규정 (판결서, 약관 등) 텍스트 분석 데이터
   : 1만 건 이상의 판결문을 대상으로 기초사실, 주장 등을 가공한 데이터와 판례 내용을 기반으로 판결문 분석 데이터 구축, 1만 건 이상의 약관의 유·불리 조항 판단. 위법성과 유리 판단 이유 태깅 및 라벨링을 통해 소비자 입장에서의 유·불리 확인을 위한 법률 텍스트 분석 데이터셋 

 10) (구축연도 : 2022) 추상 요약 사실성 검증 데이터
   : 요약문의 오류를 검출하고 수정하여 궁극적으로는 AI의 텍스트 자동 요약 성능을 향상하기 위한 인공지능 학습용 데이터. AI 요약문과 사람 요약문에 포함된 오류를 대분류(문장 생성 오류, 요약문의 내용 오류), 소분류(오류 유형 6가지)로 구분하여 라벨링한 약 10만 건의 학습용 데이터

 11) (구축연도 : 2021) 대규모 구매도서 기반 한국어 말뭉치 데이터
   : 총류, 철학, 종교, 사회과학, 자연과학, 기술과학, 예술, 언어, 문학 등 공공분야 및 산업분야에서 서비스 개발을 위해 사용 가능한 도서 말뭉치 분야 10억 어절

 12) (구축연도 : 2022) 기술과학 문서 기계독해 데이터
   : 정답경계추출형’, ‘YesNo 단문형’, ‘표 정답 추출형’, ‘다지선다형’, ‘절차형’ 5가지로 구분하여 지문-질문-답변으로 구성된 약 40만 건의 데이터셋

 13) (구축연도 : 2018) 기계독해
   : 인공지능 기계독해(MRC) 기술 개발을 위해, 정치, 경제, 사회, IT·과학 등 다양한 주제의 뉴스 기사 기반 '지문-질의-정답' 쌍으로 이루어진 총 45만 건의 학습용 데이터셋

 14) (구축연도 : 2022) 금융, 법률 문서 기계독해 데이터
   : 금융 및 법률 분야 전문 질의응답 서비스 개발을 위해, 금융(공시자료) 및 법률(판례) 등 전문 문서 기반 '정답경계추출형', 'YesNo형' 등 5가지 유형의 질의-응답 쌍으로 이루어진 총 40만 건의 학습용 데이터셋

 15) (구축연도 : 2020) 전문분야 말뭉치
   : 전문 분야 자연어 처리(NLP) 기술 고도화를 위해, 법령, 판례, 특허, 논문 등 전문 문서 기반 개체명(Named Entity)이 태깅된 말뭉치로 구성된 총 150만 건의 학습용 데이터셋

 16) (구축연도 : 2022) 일반상식 문장 생성 데이터
   : 상황에 맞는 문장 자동 생성이 가능한 지능형 어플리케이션 개발을 위해, 일반상식 개념 정보(명사, 동사 등)의 집합을 기반으로 생성된 문장 쌍으로 이루어진 총 1,016,240건의 학습용 데이터셋

 17) (구축연도 : 2022) 숫자연산 기계독해 데이터
   : 경제 및 스포츠 분야의 뉴스 기사 지문(324,026건)에 숫자의 가감산, 비율연산, 날짜의 가감산과 추출, 양자 혹은 다자 대상의 수량적 비교 등의 숫자연산이 포함된 질의와 이에 대응하는 응답(414,940쌍)을 라벨링한 인공지능 학습용 데이터

 18) (구축연도 : 2022) 일반상식 문장 생성 평가 데이터
   : 인공지능이 생성한 문장을 문법성, 사실성, 유창성, 다양성 기준으로 자동 평가하는 모델 개발을 위해, 사람과 AI가 생성한 문장 및 평가 라벨(0,1,2점)로 구성된 총 1,071,345건의 학습용 데이터셋

 19) (구축연도 : 2023) 법률 지식기반 관계 데이터
   : 지능형 법률정보시스템 구축을 위해, 국세법령정보시스템 등에서 수집한 법률 문서 기반 용어 간의 관계성을 트리플(주어-관계-목적어) 형태로 라벨링한 총 39,035건의 학습용 데이터셋