※ 25년 신규 개방되는 데이터로, 데이터 활용성 검토, 이용자 관점의 개선의견 수렴 등을 통해 수정/보완될 수 있으며 최종데이터, 샘플데이터, 산출물 등은 변경될 수 있습니다
-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.0 2025-04-16 데이터 개방 Beta Version 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2025-04-16 산출물 전체 공개 소개
LLM을 위한 동아시아 고전 스토리 데이터 LLM이 스토리를 생성할 때 동아시아 고전의 내용을 반영한 결과물을 생성할 수 있도록 학습시키기 위한 용도의 데이터
구축목적
LLM이 스토리를 생성할 때 동아시아 고전의 내용을 반영한 결과물을 생성할 수 있도록 학습시키기 위한 용도의 데이터 - 해당 내용을 학습한 LLM 모델을 통해 국내 창작자들에게 스토리 창작에 대한 모티프와 창작에 대한 영감을 주어 컨텐츠 산업 성장에 기여
-
메타데이터 구조표 데이터 영역 한국어 데이터 유형 텍스트 데이터 형식 txt 데이터 출처 인터넷, 참여기관보관파일 라벨링 유형 내용분류, 주제어입력, 주제문입력 라벨링 형식 json 데이터 활용 서비스 창작자를 위한 스토리 생성 서비스 - 창작자가 원하는 설정을 기반으로 동아시아 고전스토리가 반영된 내용 생성 - 각종 키워드 비교를 통한 적절한 고전이 반영된 스토리 생성 - 내용분류 항목을 통한 카테고리 선택으로 창작자가 원하는 방향으로 내용을 수정하면서 확인 가능 데이터 구축년도/
데이터 구축량2024년/원천데이터 891작품(작품당 원문, 번역문, 요약문의 3개 파일로 구성) | 라벨링데이터 14,197건(건당 단락원문, 라벨링Json의 2개파일로 구성) -
1. 데이터 구축 규모
- 원시 데이터 891 작품1. 데이터 구축 규모 - 원시 데이터 891 작품 국가 작품수 한국 71(장편위주) 중국 353(중단편위주) 일본 467(중단편위주) 합계 891 2. 데이터 분포
-라벨링 데이터 14,197 건2. 데이터 분포 -라벨링 데이터 14,197 건(1) 국가 단락수 데이터구성 한국 7,005 단락당 단락원문 txt, 라벨링 Json 중국 3,685 단락당 단락원문 txt, 라벨링 Json 일본 3,507 단락당 단락원문 txt, 라벨링 Json 합계 14,197 2. 데이터 분포 -라벨링 데이터 14,197 건(2) 구분 비율(%) 수량 자연 9.36 1,329 인간 30.72 4,361 인생 19.08 2,709 동식물,요괴 12.21 1,734 성(젠더) 4.73 671 사회,정치,경제 7.44 1,057 신, 종교 13.16 1,868 기타 3.30 469 합계 100 14,197 -
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드학습 검증 시험 개요 - ko-gemma-2-9B-it 모델사용 학습 학습도중 성과 비교 -모델학습 완료후 -모델 테스트 필요량 80% 10% 10% 
창작자를 위한 스토리 생성 서비스
- 창작자가 원하는 설정을 기반으로 동아시아 고전스토리가 반영된 내용 생성
- 각종 키워드 비교를 통한 적절한 고전이 반영된 스토리 생성
- 내용분류 항목을 통한 카테고리 선택으로 창작자가 원하는 방향으로 내용을 수정하면서 확인 가능
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드- 데이터 구성
원천데이터 국가(01~03) 분류(01~08) 원문데이터 txt 번역데이터 txt 요약데이터 txt 라벨링데이터 국가(01~03) 분류(01~08) text 단락원문데이터 txt info 라벨링데이터 json - 어노테이션 포맷
- 어노테이션 포맷 구분 속성명 타입 필수여부 설명 1 내용분류 단락 카테고리 1-1 감정 text Y 감정분류 1-2 대화형태 text Y 대화형태분류 1-3 행동 text Y 인물의 행동종류 1-4 인물관계 text Y 등장인물간 관계 1-5 캐릭터 text Y 등장인물 성격 1-6 직업/신분 text Y 등장인물 신분 1-7 장르 text Y 작품의 장르 1-8 사건/모티프 text Y 사건 성격 1-9 공간 text Y 공간 종류 2 주제어 text배열 Y 단락의 주요 키워드 3 주제문 text Y 주제문 1개 4 country text Y 국가코드 5 class_1 text Y 1차분류코드 데이터 포맷
- 데이터 포맷 예시원문 하늘과 땅이 열리고 산과 강이 생기니
오악은 조종이오 사해는 근원이다
백두산의 한 줄기가 동으로 흘러나가
묘향산이 되었으니 북방에서 제일이구나
한 나라의 명산이요 모든 불 중 가장 큰 절이라내용분류 감정 해당없음 대화형태 해당없음 행동 주요 인물관계 해당없음 캐릭터 해당없음 직업/신분 귀족 장르 설화 사건/모티프 기행 공간 자연 주제어 "하늘", "땅", "오악", "백두산", "묘향산", 주제문 하늘과 땅이 열리며 산과 강이 생기는 과정에서 오악, 사해, 백두산, 묘향산이 나타났다 - 라벨링 실제 예시
원문 하늘과 땅이 열리고 산과 강이 생기니
오악은 조종이오 사해는 근원이다
백두산의 한 줄기가 동으로 흘러나가
묘향산이 되었으니 북방에서 제일이구나
한 나라의 명산이요 모든 불 중 가장 큰 절이라라벨링내용 {
"country": "01",
"class_1": "01",
"내용분류": {
"감정": [
"해당없음"
],
"대화형태": [
"설명"
],
"행동": [
"주요"
],
"인물관계": [
"해당없음"
],
"캐릭터": [
"해당없음"
],
"직업/신분": [
"해당없음"
],
"장르": [
"해당없음"
],
"사건/모티프": [
"기타: 기행"
],
"공간": [
"자연"
]
},
"주제어": [
"하늘",
"땅",
"오악",
"백두산",
"묘향산",
"하늘",
"땅",
"오악",
"백두산",
"묘향산"
],
"주제문": "하늘과 땅이 열리며 산과 강이 생기는 과정에서 오악, 사해, 백두산, 묘향산이 나타났다."} -
데이터셋 구축 담당자
수행기관(주관) : ㈜에프에이솔루션
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 최치영 02-3274-1646 cychoi@fasol.co.kr 총괄책임 / 데이터수집 / 데이터정제가공도구개발 / 데이터검수 / AI모델 검증 수행기관(참여)
수행기관(참여) 기관명 담당업무 ㈜ 바이브컴퍼니 AI 모델 개발 서강대학교 산학협력단 중국 데이터 정제/가공 고려대학교 산학협력단 한국, 일본 데이터 정제/가공 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 최치영 02-3274-1646 cychoi@fasol.co.kr 곽미영 02-3274-1646 kwakmy@fasol.co.kr AI모델 관련 문의처
AI모델 관련 문의처 담당자명 전화번호 이메일 전원표 02-565-0531 jwp@vaiv.kr 채수현 02-565-0531 shchae@vaiv.kr 저작도구 관련 문의처
저작도구 관련 문의처 담당자명 전화번호 이메일 최치영 02-3274-1646 cychoi@fasol.co.kr 곽미영 02-3274-1646 kwakmy@fasol.co.kr
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.
오프라인 데이터 이용 안내
본 데이터는 K-ICT 빅데이터센터에서도 이용하실 수 있습니다.
다양한 데이터(미개방 데이터 포함)를 분석할 수 있는 오프라인 분석공간을 제공하고 있습니다.
데이터 안심구역 이용절차 및 신청은 K-ICT빅데이터센터 홈페이지를 참고하시기 바랍니다.
국방데이터 개방 안내
본 데이터는 국방데이터로 군사 보안에 따라 AI허브에서 데이터를 제공하지 않으며,
군 담당자를 통한 별도의 사용 신청이 필요합니다.