-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.0 2024-06-28 데이터 개방 Beta Version 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2024-06-28 산출물 공개 Beta Version 소개
- 한글 어린이 동화를 생성하기 위한 동화 스토리라인 학습용 데이터
구축목적
- 동화를 기반으로, 인공지능 학습용 데이터 구축 개방을 통한 문화, 출판, 교육, 분야에 디지털대전 생태계 조성 및 일상화 실현
-
메타데이터 구조표 데이터 영역 문화관광 데이터 유형 텍스트 데이터 형식 JSON 데이터 출처 어린이용 동화, 소설 도서 중 디지털로 수급된 스토리 텍스트 데이터 (도서) 라벨링 유형 줄거리(자연어) 라벨링 형식 JSON 데이터 활용 서비스 대규모 줄거리 생성 데이터를 구축하여 대화형 챗봇 서비스, AI 오디오북, IPTV 등 유아콘텐츠 기반 대화형 서비스 제공 등 데이터 구축년도/
데이터 구축량2023년/101,087 -
1) 데이터 구축 규모
데이터 구축 규모 데이터명 데이터 형태 원문 규모 어노테이션
규모결과물 규모 추출 요약 생성요약 009-015
동화 줄거리 생성 데이터텍스트 100,000건 101,087건 138,579건
(3문장 추출)101,087건
(1문장 생성)
2) 데이터 분포
- 콘텐츠 분류(어린이용 동화, 소설 도서 누리과정 5개 영역)
- 교육부 2022년 누리과정 5개 분류 및 수업 시간 비율로 분포 산정데이터 분포 분류 체계 도서 분배율 계획 유아 초등(참고) 의사소통 국어 27% 영어 자연탐구 수학 37% 과학 사회관계 사회 18% 도덕 예술경험 음악 9% 미술 신체운동/건강 체육 9% - 출판사 도서 통계를 기준으로 유아의 경우 스토리 당 평균 단락 수 20개, 초등 저학년의 경우 단락 수 평균 40개, 초등 고학년의 경우 단락 수 평균 70개를 기준으로 분류 비율 산정
데이터 분포 구분 유아 초등저학년 초등고학년 단락 수 분포 20% 30% 50% - 줄거리 유형 (2가지)
1) 단형(short-form): 3개 이하의 문장으로 구성된 단락으로 7개 핵심용어 2개이상 태깅된 단락의 줄거리
2) 장형(long-form): 4개 이상의 문장으로 구성된 단락으로 7개 핵심용어 3개이상 태깅되어 있는 단락의 줄거리 -
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드- 활용 AI모델
- 동화 줄거리 생성 데이터의 기존 학습 모델은 단형 단락의 추출 요약 모델과 장형 단락의 생성 요약 모델로 분리되어 있었음. 신규 학습 모델은 단형 단락과 장형 단락의 구분 없이 모두 생성 요약 모델로 통일하였음.
- 줄거리 생성 모델은 Summ^N(https://arxiv.org/abs/2001.07043) 모델을 베이스라인으로 선정함. Summ^N은문단 수준의 요약을 위해 개발된 생성적 요약 모델로, 주어진 문단을 이해하고 그것을 새로운 문장으로 요약하는 능력을 가지고 있음.
- 이 모델을 통해 동화의 전체적인 흐름과 주요 내용을 잘 파악하고, 그것을 효과적으로 요약 할 수 있는 능력을 검증 할 수 있음. 한국어 동화 데이터에 적용하기 위해 필요한 경우 한국어 처리 능력을 가진 모델로 변경하여 사용할 수 있음. 예를 들어, Summ^N의 경우 KoBART나 KoGPT-2 등을 사용할 수 있음. 위의 베이스라인 모델을 적용함으로써, 동화 요약 데이터의 품질을 향상시키고, 모델의 성능을 효과적으로 평가할 수 있음- 유효성 검증 방법
- 주요 평가지표로는 ROUGE F1-score과 BERTScore F1-score를 선정하였음
- ROUGE F1-score는 생성된 요약문과 원래의 요약문 간의 단어 중첩을 기반으로 하는 지표로, 요약문의 품질을 평가하는 데 널리 사용되는 지표임. 이 지표는 생성된 요약문의 단어들이 원래의 요약문과 얼마나 일치하는지를 측정하므로, 요약문의 정확성과 완전성을 동시에 고려할 수 있음
- 두번째 평가지표로는 BERTScore를 선정하였음. ROUGE의 경우 단어 오버랩을 기반으로 하기 때문에 의미가 유사하더라도 단어가 매치되지 않으면 정답으로 간주하지 않음. 따라서 의미 유사도를 기반으로 평가하는 BERTScore를 선정함으로써, 생성된 요약문과 정답 요약문 간의 의미적 관계를 파악하고자 함. BERTScore 역시 f1-score를 기반으로 함으로써 조화평균을 고려함 -
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드- 데이터 구성
데이터 구성 데이터 항목 설명 도서명 ● 도서의 제목 글 저자 ● 009-015 줄거리 생성 데이터 글 작가 성명 사용 이미지 작가 ● 009-014 동화 삽화 생성 데이터 그림 작가 성명 사용 ISBN ● 도서 출간 정보, 납본 여부 확인 출간년도 ● 도서의 출판 년도 출판사 명 ● 출간 출판사 책내 단락 개수 ● 도서 전체 단락의 개수 5개 주제 분류 ● 누리교육과정 5개 분류 사용
- 의사소통, 자연탐구, 사회관계, 예술경험, 신체운동/건강
- 누리(유치원)과정 행정규칙 교육부 고시
제2019-152호 2019 개정 누리과정 고시문-교육부독서연령 ● 아동 발달단계 기준 3개 분류
- 유아 만 4~6세(1)
- 초등학교저학년 만 7~9세(2)
- 초등학교고학년 만 10~12세(3)
- 어노테이션 포맷어노테이션 포맷 구분 속성명 타입 필수
여부설명 비고 1 title string Y 도서명 2 author string Y 저자 3 illustrator string N 이미지 작가 4 isbn string Y ISBN 도서 식별 넘버 5 publishedYear number N 출간년도 6 publisher string N 출판사명 7 paragraphInfoCount number Y 책내 단락 개수 8 paragraphInfo array Y 단락 정보 8-1 srcTextID string Y 단락 식별코드 8-2 srcText string Y 단락 텍스트 8-3 srcPage number Y 단락 페이지 정보 8-4 srcSententsEA number Y 단락 문장 수 8-5 srcWordEA number Y 단락 어절 수 8-6 character string N 핵심용어1(캐릭터) 8-7 setting string N 핵심용어2(셋팅) 8-8 action string N 핵심용어3(액션) 8-9 feeling string N 핵심용어4(감정) 8-10 causalRelationship string N 핵심용어5(인과) 8-11 outcomeResolution string N 핵심용어6(결과) 8-12 prediction string N 핵심용어7(예측) 8-13 plotSummaryInfoCount number Y 단락내 줄거리 개수 8-14 plotSummaryInfo object Y 질의응답쌍 정보 8-14-1 classification string Y 주제 “의사소통”,“자연탐구 ”,“사회관계”,“예술경 험”,“신체운동_건강” 8-14-2 readAge string Y 독서연령 “유아”,“초등_저학년”, “초등_고학년” 8-14-3 form string Y 단락 길이 분류 “short-form”,“long-for m” 8-14-4 plotSummaryText string Y 줄거리 요약 텍스트 8-14-5 textWordEA number Y 줄거리 텍스트 어절 수
- 데이터 포맷
- 원문데이터 포맷 화면 예시
- JSON 파일 형식
4) 실제 예시
-
데이터셋 구축 담당자
수행기관(주관) : ㈜미니게이트
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 황지영 070-4088-0143 hwang@minigate.net 실무총괄 수행기관(참여)
수행기관(참여) 기관명 담당업무 ㈜아람키즈 데이터 획득/수집 ㈜아이피아 데이터 검수 및 AI학습 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 황지영 070-4088-0143 hwang@minigate.net 손호배 070-4088-0105 bs1fiever@miigate.net AI모델 관련 문의처
AI모델 관련 문의처 담당자명 전화번호 이메일 최재우 070-4088-0103 jw.choi@aipia.co.kr 이정선 070-4088-0103 jeongseon.yi@aipia.co.kr 저작도구 관련 문의처
저작도구 관련 문의처 담당자명 전화번호 이메일 박귀숙 070-9098-9155 gspark@minigate.net 김동국 070-4764-8853 dongkuk@mingte.net
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.