※다수의 이용자가 함께 다운로드 받아 활용하는 데이터들을 묶어 편하게 다운로드 받을 수 있도록 제공하는 맞춤형 서비스입니다.
-
o 소개
- AI 서비스가 자연스러운 대화 방식과 사고 능력을 가질 수 있도록 대화, 멀티세션 데이터를 모은 말뭉치 패키지
o 구축목적
- 초거대 언어모델의 성능 고도화에 필요한 고품질 한국어 데이터 제공
- 언어모델의 이해력, 추론 능력, 창의적 문장 생성 능력 향상 지원
- 이용자와의 장기적 대화 기억 능력 및 복잡한 대화 흐름 이해 능력 개발o 활용 데이터 : 총 6개 데이터셋
1) (구축연도 : 2023) 전문분야(기술과학) 한국어 멀티세션 데이터
: 기술과학 분야 전문 용어 및 대화 맥락 이해가 가능한 대화형 AI 개발을 위해, 기술과학 전문 문서 기반 '멀티턴(Multi-turn) 질의응답' 쌍으로 이루어진 총 약 6만 건의 멀티세션 학습용 데이터2) (구축연도 : 2023) 전문분야(사회과학) 한국어 멀티세션 데이터
: 사회과학 분야 전문 용어 및 대화 맥락 이해가 가능한 대화형 AI 개발을 위해, 사회과학 전문 문서 기반 '멀티턴(Multi-turn) 질의응답' 쌍으로 이루어진 약 6.2만 건의 멀티세션 학습용 데이터셋3) (구축연도 : 2023) 한국어 성능이 개선된 초거대AI 언어모델 개발 및 데이터
: 대규모 한국어 말뭉치 데이터의 다양성과 품질 향상을 위해, 공유저작물 및 고전문학 등에서 수집한 '한국어 말뭉치 데이터 310만 건(20억 어절)과 'RLHF 데이터' 7만 7천 건으로 구성된 학습용 데이터셋4) (구축연도 : 2022) 지식검색 대화
: 외부 지식을 활용하여 대화하는 인공지능 모델 개발을 위해, 특정 주제에 대해 질문자와 전문가 역할을 부여하여 생성한 18,278개의 대화 세션과 376,777개의 발화로 구성된 학습용 데이터셋5) (구축연도 : 2022) 일반상식 문장 생성 데이터
: 상황에 맞는 문장 자동 생성이 가능한 지능형 어플리케이션 개발을 위해, 일반상식 개념 정보(명사, 동사 등)의 집합을 기반으로 생성된 문장 쌍으로 이루어진 총 1,016,240건의 학습용 데이터셋6) (구축연도 : 2022) 일반상식 문장 생성 평가 데이터
: 인공지능이 생성한 문장을 문법성, 사실성, 유창성, 다양성 기준으로 자동 평가하는 모델 개발을 위해, 사람과 AI가 생성한 문장 및 평가 라벨(0,1,2점)로 구성된 총 1,071,345건의 학습용 데이터셋
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.
오프라인 데이터 이용 안내
본 데이터는 K-ICT 빅데이터센터에서도 이용하실 수 있습니다.
다양한 데이터(미개방 데이터 포함)를 분석할 수 있는 오프라인 분석공간을 제공하고 있습니다.
데이터 안심구역 이용절차 및 신청은 K-ICT빅데이터센터 홈페이지를 참고하시기 바랍니다.
국방데이터 개방 안내
본 데이터는 국방데이터로 군사 보안에 따라 AI허브에서 데이터를 제공하지 않으며,
군 담당자를 통한 별도의 사용 신청이 필요합니다.