-
소개
사전에 구축된 AI-HUB의 대화 요약 및 이미지 캡션 텍스트 데이터로부터 Tagger 및 신경망 네트워크를 통해 반자동화 구축 방식을 적용하여 형태소를 추출. 추출한 형태소는 하나의 개념 집합을구성하며, 개념 집합의 내용을 바탕으로 일반 상식에 부합하는 짧은 문장을 재구성하도록 하는 자연어 생성 데이터.
구축목적
주어진 형태소 정보를 사용하여 상식에 부합하는 문장을 재구성하는 능력을 개선하고 평가
-
데이터셋 통계 (구축 규모 및 분포)
1. 데이터 구축 규모
데이터 구축 규모 - Basic Statistics,훈련 데이터셋,검증 데이터셋, 평가 데이터셋 등을 보실 수 있습니다. Basic Statistics 훈련 데이터셋 검증 데이터셋 평가 데이터셋 개념 정보 집합의 갯수 43,188 1,000 2,040 개념 정보의 갯수 40,874 2,000 3,272 문장의 갯수 43,188 1,000 6,120 2. 데이터 분포
개념 정보 집합의 갯수, 훈련 데이터셋,검증 데이터셋,평가 데이터셋 등을 보실 수 있습니다. 개념 정보 집합의 갯수 훈련 데이터셋 검증 데이터셋 평가 데이터셋 - 3개 이하 5,089 115 334 - 4개 10,810 241 604 - 5개 13,397 332 577 - 6개 12,811 292 513 - 7개 이상 1,081 20 12 최초 등장 형태소,훈련 데이터셋,검증 데이터셋,평가 데이터셋 등을 보실 수 있습니다. 최초 등장 형태소 훈련 데이터셋 검증 데이터셋 평가 데이터셋 - Single - 332 748 - Pair - 5,305 10,461 - Triple - 9,728 17,648 문장의 정보,훈련 데이터셋,검증 데이터셋,평가 데이터셋 등을 보실 수 있습니다. 문장의 정보 훈련 데이터셋 검증 데이터셋 평가 데이터셋 평균 길이 26.06 24.74 23.54 이미지 캡션 기반 45.58 50.00 48.99 대화 데이터 기반 54.42 50.00 51.01 -
구축목적
- 주어진 형태소 정보를 사용하여 상식에 부합하는 문장을 재구성하는 능력을 개선하고 평가
활용서비스
- 일반 상식 추론을 기반으로 하는 질의응답 및 대화 시스템의 기반기술로 활용
소개
- 사전에 구축된 AI-HUB의 대화 요약 및 이미지 캡션 텍스트 데이터로부터 Tagger 및 신경망 네트워크를 통해 반자동화 구축 방식을 적용하여 형태소를 추출. 추출한 형태소는 하나의 개념 집합을구성하며, 개념 집합의 내용을 바탕으로 일반 상식에 부합하는 짧은 문장을 재구성하도록 하는 자연어 생성 데이터.
데이터셋 통계 (구축 규모 및 분포)
1. 데이터 구축 규모
데이터 구축 규모 - Basic Statistics,훈련 데이터셋,검증 데이터셋, 평가 데이터셋 등을 보실 수 있습니다. Basic Statistics 훈련 데이터셋 검증 데이터셋 평가 데이터셋 개념 정보 집합의 갯수 43,188 1,000 2,040 개념 정보의 갯수 40,874 2,000 3,272 문장의 갯수 43,188 1,000 6,120 2. 데이터 분포
개념 정보 집합의 갯수, 훈련 데이터셋,검증 데이터셋,평가 데이터셋 등을 보실 수 있습니다. 개념 정보 집합의 갯수 훈련 데이터셋 검증 데이터셋 평가 데이터셋 - 3개 이하 5,089 115 334 - 4개 10,810 241 604 - 5개 13,397 332 577 - 6개 12,811 292 513 - 7개 이상 1,081 20 12 최초 등장 형태소,훈련 데이터셋,검증 데이터셋,평가 데이터셋 등을 보실 수 있습니다. 최초 등장 형태소 훈련 데이터셋 검증 데이터셋 평가 데이터셋 - Single - 332 748 - Pair - 5,305 10,461 - Triple - 9,728 17,648 문장의 정보,훈련 데이터셋,검증 데이터셋,평가 데이터셋 등을 보실 수 있습니다. 문장의 정보 훈련 데이터셋 검증 데이터셋 평가 데이터셋 평균 길이 26.06 24.74 23.54 이미지 캡션 기반 45.58 50.00 48.99 대화 데이터 기반 54.42 50.00 51.01 데이터셋 구성
1. 대표도면
훈련 데이터 등을 보실수 있습니다. 훈련 데이터 개념 정보 {강아지, 제트기, 지나가} 정답 후보 문장 (1) 강아지 위에 제트기가 지나간다. 검증 데이터 등을 보실수 있습니다. 검증 데이터 개념 정보 {어렵, 동생, 추천} 정답 후보 문장 (1) 동생이 추천해 줬지만 어렵다. 평가 데이터 등을 보실수 있습니다. 평가 데이터 개념 정보 {샌드위치, 있, 고기} 정답 후보 문장 (1) 샌드위치 위에 고기가 있다. (2) 샌드위치 위에 양배추와 고기가 있다. (3) 고기 위에 샌드위치가 있다. 2. 라벨링데이터 구성
No, 항목, 길이, 타입, 필수여부 등을 보실수 있습니다. No 항목 길이 타입 필수여부 한글명 영문명 1 데이터셋 정보 introduction JsonObject Y 1-1 데이터셋 명 name String Y 1-2 데이터셋 전달일자 delivery_date String Y 1-3 제작자 provider String Y 2 개념 정보 집합 - 문장 concept_sent_pair JsonObject Y 2-1 개념 정보 집합 번호 concept_set_id String Y 2-2 원천 유형 source_type String Y 2-3 개념 정보 갯수 set_size Int Y 2-4 개념 정보 내용 concept_set String Y 2-5 문장 내용 reference_1 String Y 2-6 추가 문장 내용 reference_2 String Y (평가 데이터만) 2-7 추가 문장 내용 reference_3 String Y (평가 데이터만) 3. 라벨링데이터 실제예시 [훈련 데이터]
[평가 데이터] 
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.