※ 내국인만 데이터 신청이 가능합니다.
-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.0 2025-05-15 데이터 최초 개방 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2025-05-19 데이터 분야 지정 기타(미분류)>한국어 2025-05-15 콘텐츠 최초 등록 소개
초거대AI에 적합한 카자흐스탄 학습데이터 구축 과제로 - 카자흐스탄 말뭉치 학습데이터 2천만 어절 이상 - 카자흐스탄 Instruction Q/A 데이터 구축
구축목적
- 비영어권 국가와의 협력 및 해외진출을 위해 카자흐스탄의 문화,산업,경제 등을 학습할 수 있는 데이터 구축 - 카자흐스탄의 말뭉치데이터와 LLM개발을 통하여 카자흐스탄의 AI모델 성능 향상과 기술 발전에 기여
-
메타데이터 구조표 데이터 영역 한국어 데이터 유형 텍스트 데이터 형식 txt 데이터 출처 자체 수집 라벨링 유형 번역(자연어), 질의응답(자연어) 라벨링 형식 json 데이터 활용 서비스 인공지능 챗봇 및 대화 시스템의 개발과 향상에 활용. 학습 완료된 AI 모델의 카자흐스탄 정부 및 국내기업 대상으로 AI 모델 상품 수출 데이터 구축년도/
데이터 구축량2024년/말뭉치데이터 2천만어절 -
○ 데이터 구축 규모
데이터 구축 규모 구분 어절 말뭉치데이터 20,287,982
● 주제 분류별 구축 규모주제 분류별 구축 규모 No 구분 수량(어절) 비율(%) 1 Culture/Arts 5,373,570 26.49% 2 Industry 3,271,976 16.13% 3 Economy 682,040 3.36% 4 Colloquial 15,458 0.08% 5 Tourism 121,677 0.60% 6 Daily Life 417,045 2.06% 7 Religion 152,774 0.75% 8 Climate/Weather 46,284 0.23% 9 Medicine 2,162,055 10.66% 10 History/World History 673,273 3.32% 11 Geography/Country 273,421 1.35% 12 Education/Philosophy 6,049,568 29.82% 13 Society 955,998 4.71% 14 Food 8,637 0.04% 15 Sports 84,206 0.42% 합계 20,287,982 100% -
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드모델학습
● 모델은 GPT-3를 베이스로 하는 Llama-3 8B를 사용하였으며 질문 답변, 번역, 대화, 작문 등 자연어처리 임무에서 높은 품질의 텍스트를 생성 할 수 있는 언어모델로 구축하였다. 모델 학습을 위한 데이터는 전체 2천만 어절에 해당하며 주제별로 분류되어 있으며 (문화/예술,산업,경제,구어체,관광,일상생활,종교,기후/날씨,의학,역사/세계사,지리/국가,교육/철학,사회,음식,스포츠) 으로 구성서비스 활용 시나리오
● 카자흐어 말뭉치 데이터를 활용하여 AI 챗봇 및 대화 시스템 개발에 적용할 수 있으며, 학습된 AI 모델을 카자흐스탄 정부 및 국내 기업 대상으로 AI 솔루션 수출을 추진할 수 있음.
● 산업 및 물류 분야에서 카자흐어 데이터를 기반으로 한 기술적 수요를 충족할 수 있으며, 카자흐스탄 관련 풍부한 정보를 제공하여 한국 기업의 현지 시장 진출 및 적응을 지원할 수 있음.
● 카자흐어 초거대 AI 말뭉치 데이터 구축 및 모델 학습을 통해 카자흐어 이해도를 향상시키고, 이를 활용하여 문화 교류 및 관광 분야에서 카자흐스탄의 문화적 특성, 전통 표현 방식, 관용어 등에 대한 AI LLM 모델의 이해 수준을 높일 수 있음. -
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드○ 데이터 설명
- 카자흐스탄에 대한 대규모 말뭉치 구축
- 카자흐스탄의 문화, 예술, 산업, 경제, 과학 등등에 대한 데이터 구축
○ 데이터 형태 및 포맷데이터 설명 구축 공정 전처리/데이터 수집 데이터 정제 데이터 가공 데이터 검사 데이터 구분 원시데이터 원천데이터 라벨링데이터 검사 후 데이터 데이터 형태 카자흐어 말뭉치텍스트 파일 카자흐어 말뭉치 텍스트 파일 카자흐어 말뭉치 텍스트 파일 카자흐어 말뭉치 텍스트 파일 데이터 포맷 텍스트(json) 텍스트(json) 텍스트(json) 텍스트(json)
○ 라벨링 데이터 어노테이션 포맷(말뭉치 데이터)라벨링 데이터 어노테이션 포맷(말뭉치 데이터) No. 항목명 타입 필수 구분 항목 설명 예시 1 Dataset String 필수 데이터셋 Kazakhstan_Corpus_Data 2 Version String 필수 데이터셋 버전 1 3 Document_id String 필수 고유식별자 kz_corpus_00001 4 Data_source String 필수 출처 http:~~~ 5 Text String 필수 텍스트내용 «Хабар» газеті 6 Category String 필수 주제분류 Economy 7 Words String 필수 어절수 613 8 Created_date String 필수 생성날짜 2024.10.28 9 Encoding_type String 필수 인코딩타입 UTF-8
● 데이터 예시(말뭉치 데이터)
{
"Dataset": "Kazakhstan_Corpus_Data",
"Version": "1.0",
"Document_id": "kz_corpus_00001",
"Data_source": "https://azretsultan.kz/ziret-s-ltan-ory-muzejini-zhymy-koronavirus-a-arsy-k-reske-birk-ndik-zhala-ylaryn-audardy/",
"Text": "«Әзірет Сұлтан» қорық-музейінің ұжымы коронавирусқа қарсы күреске біркүндік жалақыларын аудардыЖаңалықтар «Әзірет Сұлтан» қорық-музейінің… «Әзірет Сұлтан» қорық-музейінің ұжымы коронавирусқа қарсы күреске біркүндік жалақыларын аударды Қазақстан Республикасые бағыныстыұжымы еліміздегі коронавирустық инфекцияның таралуына қарсы күреске біркүндік жалақыларын аударуға уағдаласты. Сонымен қатар қорық-музейде арнайы штаб құрылып, мекемеде қызмет атқаратын көп балалы аналар мен жағдайы төмен отбасыларға біржолғы күнделікті тұтынатын азық-түлікпен қамтамасыз ету жұмыстарын қолға алды. Қазіргі таңда төтенше жағдайға байланысты Қожа Ахмет Ясауи кесенесі мен жанындағы Жұма мешіті, Қылует жерасты мешіті, Шығыс моншасы музейі, Рәбия Сұлтанбегім кесенесі және Үкаша ата кесенесі мен құдығы, Гауһар ана кесенесі, Жүсіп ата кесенесі, Сауран қалашығы жұмысын уақытша тоқтатқанын хабарлаған болатынбыз. Мекеменің кейбір құрылымдық бөлімдеріне де қашықтықтан жұмыс жасау тәртібі енгізілсе, кейбір бөлімдер ақылы негізде демалысқа жіберілді. Қорық-музейдің 88,7 га аумағы толығымен бақылауға алынып, тиісті жұмыстар жүргізілуде. Алдыңғы ақпарат Ақтоты Райымқұлова: Ел тұрғындарының қауіпсіздігі маңызды мәселе Келесі ақпарат Мәдениет және спорт министрлігі қызметкерлері біркүндік еңбекақыларын еліміздегі коронавирусқа қарсы күреске көмек ретінде аударды",
"Category": "Society",
"Words": 153,
"Created_date": "2024.10.28",
"Encoding_type": "UTF-8"
} -
데이터셋 구축 담당자
수행기관(주관) : ㈜딥로딩
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 오승묵 02-568-2035 smoh@deeploading.com 품질책임자 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 오승묵 02-568-2035 smoh@deeploading.com AI모델 관련 문의처
AI모델 관련 문의처 담당자명 전화번호 이메일 오승묵 02-568-2035 smoh@deeploading.com
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.
오프라인 데이터 이용 안내
본 데이터는 K-ICT 빅데이터센터에서도 이용하실 수 있습니다.
다양한 데이터(미개방 데이터 포함)를 분석할 수 있는 오프라인 분석공간을 제공하고 있습니다.
데이터 안심구역 이용절차 및 신청은 K-ICT빅데이터센터 홈페이지를 참고하시기 바랍니다.
국방데이터 개방 안내
본 데이터는 국방데이터로 군사 보안에 따라 AI허브에서 데이터를 제공하지 않으며,
군 담당자를 통한 별도의 사용 신청이 필요합니다.