-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.2 2021-10-28 데이터 품질 보완 1.1 2021-10-07 데이터 추가 개방 1.0 2021-06-30 데이터 최초 개방 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2022-10-13 신규 샘플데이터 개방 소개
한국인 중 일반남녀의 음성을 문자로 바꾸어 주고, 문맥을 이해하는 한국어 음성언어처리 기술 개발을 위한 한국어 음성 데이터
- 데이터 영역 : 한국어
- 데이터 유형 : 오디오 , 텍스트
- 구축년도 : 2020년
- 구축량 : 576만
구축목적
자유대화를 효과적으로 인식하기 위해 인공지능(AI) 기반 한국어 자유대화(일상대화) 데이터를 구축하며, 국민들에게 더욱 질 높은 인공지능(AI) 서비스를 제공 할 수 있는 양질의 학습데이터 확보하여 기술적 기반을 마련
-
구축 내용 및 제공 데이터량
- 10대에서 50대 사이의 일반인 남녀를 대상으로 데이터 수집
- 2,000명 이상의 발화자를 대상으로 4,000여 시간 음성 데이터 수집
-
-
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 적응 학습을 통한 STT 학습 성능 향상 검증 (STT 인식률) Speech Recognition CNN, BSTM (음향모델), Stochastic Language Model (언어모델) CER 20 % 3.62999999999999 % 2 적응 학습을 통한 STT 학습 성능 향상 검증 (STT 인식률) Speech Recognition CNN, BSTM (음향모델), Stochastic Language Model (언어모델) WER 20 % 7.43 %
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드※ 본 데이터에 포함된 이름, 주소, 전화번호, 상황 등은 모두 창작된 것으로 실제와 어떠한 관련이 없음을 알려드립니다.
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.2 2021.10.28 데이터 품질 보완 1.1 2021.10.07 데이터 품질 보완 1.0 2021.06.30 데이터 최초 개방 구축 목적
- 자유대화를 효과적으로 인식하기 위해 인공지능(AI) 기반 한국어 자유대화(일상대화) 데이터를 구축하며, 국민들에게 더욱 질 높은 인공지능(AI) 서비스를 제공 할 수 있는 양질의 학습데이터 확보하여 기술적 기반을 마련
활용 분야
- 음성인식, 음성언어처리, 자연어처리, 한국어 음성언어연구, 신호처리 등의 연구 분야와 온/오프라인 기반의 음성인식, AI비서, Voice Bot, Voice Command & Control, AI 로봇, 음성인식 기반 키오스크 등의 산업분야에 활용
소개
- 자연어 자유대화 학습데이터셋은 일반 사용자들의 자유대화 음성데이터 및 음성데이터 전사결과, 녹음 대상자의 정보, 녹음환경 등의 정보를 포함한 메타데이터로 구성
구축 내용 및 제공 데이터량
- 10대에서 50대 사이의 일반인 남녀를 대상으로 데이터 수집
- 2,000명 이상의 발화자를 대상으로 4,000여 시간 음성 데이터 수집
대표도면
- 발화데이터
- Jason 데이터
필요성
- 인공지능(AI)기반 음성인식 기술개발을 위해서는 실제 잡음 환경에서 한국인이 일상생활에서 사용하는 발화의 특징이 반영된 한국어 음성 데이터 구축이 절실함
- 신조어, 줄임말, 반복 등 문법에 맞지 않는 표현이나 실제로 한국인들이 일상생활에서 자주 사용하는 언어적 특징을 반영한 한국어 학습용 음성 데이터 구축이 필요
- 신조어, 줄임말, 반복 등 문법에 맞지 않는 표현이나 실제로 한국인들이 일상생활에서 자주 사용하는 언어적 특징을 반영한 한국어 학습용 음성 데이터 구축이 필요
데이터 구조
- 데이터 형태
데이터 형태 표 수집 대상 형태 원천데이터 o PCM(WAV) 음성 파일
o 대상자 및 대화 시나리오 정보를 포함한 음성파일메타데이터 o Json 형태
o 대상자 상세정보 (성별 / 연령 / 지역)
o 녹음환경 정보 (실내 / 실외 : 대중교통, 거리 등)
o 대화 주제 및 상세내용
- 원천데이터(음성파일)과 메타데이터(Json)로 구분
- 원천데이터(음성파일)은 각각의 파일명으로 구분 (Ex. sample1.wav) - 어노테이션 포맷
데이터 Naming 표 대분류 속성표기 의미 타입 필수여부 발화정보 recrdDt 녹음일시 String Y recrdTime 녹음시간 String Y stt 음성인식결과 String Y fileNm 파일명 String Y recrdQuality 녹음품질 String Y scriptSetNo 스크립트셋 번호 String scriptId 스크립트ID String 대화정보 colctUnitCode 수집방법 String Y convrsThema 대화주제 String Y cityCode 지역 String Y recrdEnvrn 녹음환경 String Y recrdUnit 녹음도구 String Y 녹음자정보 recorderId 녹음자ID String gender 성별 String Y age 나이 String Y
-
데이터셋 구축 담당자
수행기관(주관) : NHN다이퀘스트
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 전기왕 02-3470-4307 kiwang@diquest.com · 데이터 구축 총괄 수행기관(참여)
수행기관(참여) 기관명 담당업무 NHN다이퀘스트 · 음성데이터 수집 및 가공 크라우드웍스 · 음성데이터 수집 및 가공 셀바스AI · AI모델 개발, 음성데이터 수집 및 가공 아임클라우드 · 음성데이터 검수 및 응용서비스 개발 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 전기왕(NHN다이퀘스트) 02-3470-4307 kiwang@diquest.com
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.
오프라인 데이터 이용 안내
본 데이터는 K-ICT 빅데이터센터에서도 이용하실 수 있습니다.
다양한 데이터(미개방 데이터 포함)를 분석할 수 있는 오프라인 분석공간을 제공하고 있습니다.
데이터 안심구역 이용절차 및 신청은 K-ICT빅데이터센터 홈페이지를 참고하시기 바랍니다.
국방데이터 개방 안내
본 데이터는 국방데이터로 군사 보안에 따라 AI허브에서 데이터를 제공하지 않으며,
군 담당자를 통한 별도의 사용 신청이 필요합니다.