AI Hub

한국어 생성 기반 상식추론 데이터셋

한국어 생성 기반 상식추론 데이터셋

외부 데이터는 해당 기관의 이용정책과 다운로드 절차를 따라야 하며 AI 허브와 관련이 없음을 알려 드립니다. [저작권 및 이용정책 상세보기]

구축목적
  • 주어진 형태소 정보를 사용하여 상식에 부합하는 문장을 재구성하는 능력을 개선하고 평가
활용서비스
  • 일반 상식 추론을 기반으로 하는 질의응답 및 대화 시스템의 기반기술로 활용
소개
  • 사전에 구축된 AI-HUB의 대화 요약 및 이미지 캡션 텍스트 데이터로부터 Tagger 및 신경망 네트워크를 통해 반자동화 구축 방식을 적용하여 형태소를 추출. 추출한 형태소는 하나의 개념 집합을구성하며, 개념 집합의 내용을 바탕으로 일반 상식에 부합하는 짧은 문장을 재구성하도록 하는 자연어 생성 데이터.

 

소개이미지
데이터셋 통계 (구축 규모 및 분포)

1. 데이터 구축 규모

데이터 구축 규모 - Basic Statistics,훈련 데이터셋,검증 데이터셋, 평가 데이터셋 등을 보실 수 있습니다.
Basic Statistics 훈련 데이터셋 검증 데이터셋 평가 데이터셋
개념 정보 집합의 갯수 43,188 1,000 2,040
개념 정보의 갯수 40,874 2,000 3,272
문장의 갯수 43,188 1,000 6,120

  2. 데이터 분포

개념 정보 집합의 갯수, 훈련 데이터셋,검증 데이터셋,평가 데이터셋 등을 보실 수 있습니다.
개념 정보 집합의 갯수 훈련 데이터셋 검증 데이터셋 평가 데이터셋
- 3개 이하 5,089 115 334
- 4개 10,810 241 604
- 5개 13,397 332 577
- 6개 12,811 292 513
- 7개 이상 1,081 20 12

 

최초 등장 형태소,훈련 데이터셋,검증 데이터셋,평가 데이터셋 등을 보실 수 있습니다.
최초 등장 형태소 훈련 데이터셋 검증 데이터셋 평가 데이터셋
- Single - 332 748
- Pair - 5,305 10,461
- Triple - 9,728 17,648

 

문장의 정보,훈련 데이터셋,검증 데이터셋,평가 데이터셋 등을 보실 수 있습니다.
문장의 정보 훈련 데이터셋 검증 데이터셋 평가 데이터셋
평균 길이 26.06 24.74 23.54
이미지 캡션 기반 45.58 50.00 48.99
대화 데이터 기반 54.42 50.00 51.01
데이터셋 구성
1. 대표도면
훈련 데이터 등을 보실수 있습니다.
훈련 데이터
개념 정보 {강아지, 제트기, 지나가}
정답 후보 문장
(1) 강아지 위에 제트기가 지나간다.
 
검증 데이터 등을 보실수 있습니다.
검증 데이터
개념 정보 {어렵, 동생, 추천}
정답 후보 문장
(1) 동생이 추천해 줬지만 어렵다.
 
평가 데이터 등을 보실수 있습니다.
평가 데이터
개념 정보 {샌드위치, 있, 고기}
정답 후보 문장
(1) 샌드위치 위에 고기가 있다. (2) 샌드위치 위에 양배추와 고기가 있다. (3) 고기 위에 샌드위치가 있다.
2. 라벨링데이터 구성
No, 항목, 길이, 타입, 필수여부 등을 보실수 있습니다.
No 항목 길이 타입 필수여부
    한글명 영문명      
1 데이터셋 정보 introduction   JsonObject Y
  1-1 데이터셋 명 name   String Y
  1-2 데이터셋 전달일자 delivery_date   String Y
  1-3 제작자 provider   String Y
2 개념 정보 집합 - 문장 concept_sent_pair   JsonObject Y
  2-1 개념 정보 집합 번호 concept_set_id   String Y
  2-2 원천 유형 source_type   String Y
  2-3 개념 정보 갯수 set_size   Int Y
  2-4 개념 정보 내용 concept_set   String Y
  2-5 문장 내용 reference_1   String Y
  2-6 추가 문장 내용 reference_2   String Y (평가 데이터만)
  2-7 추가 문장 내용 reference_3   String Y (평가 데이터만)
3. 라벨링데이터 실제예시  [훈련 데이터] 훈련 데이터 [평가 데이터] 평가 데이터