-
소개
주제에 맞는 동영상 (해외 포함)을 참조하여 한국어 및 황에 적절하도록 각색하여 구축 응급상황 데이터: 748개의 멀티턴 대화셋, 단발성으로 4,975 문장 존재, 대화셋 당 3 ~ 12개의 대화 턴으로 구성 오피스 데이터: 10,202개의 멀티턴 대화셋, 대화쌍으로 46,414 셋이 존재, 대화셋 당 1~31개의 대화 턴으로 구성
구축목적
딥러닝 기반의 한국어 대화 모델의 개발을 위한 한국어 및 상황에 맞는 맞춤 데이터를 구하기 어려움 도메인 특화된 모델을 위해서는 상황에 특화된 데이터가 요구됨 응급 상황 및 오피스 task 지원을 위한 인공지능 대화 모델 개발에 활용하기 위한 도메인 특화 데이터 필요
-
구축 내용
- 주제에 맞는 동영상 (해외 포함)을 참조하여 한국어 및 황에 적절하도록 각색하여 구축
- 응급상황 데이터: 748개의 멀티턴 대화셋, 단발성으로 4,975 문장 존재, 대화셋 당 3 ~ 12개의 대화 턴으로 구성
- 오피스 데이터: 10,202개의 멀티턴 대화셋, 대화쌍으로 46,414 셋이 존재, 대화셋 당 1~31개의 대화 턴으로 구성
-
필요성
- 딥러닝 기반의 한국어 대화 모델의 개발을 위한 한국어 및 상황에 맞는 맞춤 데이터를 구하기 어려움
- 도메인 특화된 모델을 위해서는 상황에 특화된 데이터가 요구됨
- 응급 상황 및 오피스 task 지원을 위한 인공지능 대화 모델 개발에 활용하기 위한 도메인 특화 데이터 필요
구축 내용
- 주제에 맞는 동영상 (해외 포함)을 참조하여 한국어 및 황에 적절하도록 각색하여 구축
- 응급상황 데이터: 748개의 멀티턴 대화셋, 단발성으로 4,975 문장 존재, 대화셋 당 3 ~ 12개의 대화 턴으로 구성
- 오피스 데이터: 10,202개의 멀티턴 대화셋, 대화쌍으로 46,414 셋이 존재, 대화셋 당 1~31개의 대화 턴으로 구성
데이터 구조
- 응급상황 데이터: 텍스트 파일, 데이터의 각 행이 ‘대화턴번호\t발화’로 구성되어 있음, 대화셋 당 화자는 두 명이며 turn 당 화자가 번갈아 가며 바뀜
- 오피스 데이터: Json 파일, 'domain', 'user_utterance', 'system_utterance' 의 정보로 구성됨
다운로드 폴더 구성정보
-
데이터셋 구축 담당자
수행기관(주관) : 한국전자기술연구원
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 신사임 031-739-7456 sishin@keti.re.kr
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.