-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.2 2021-10-28 데이터 품질 보완 1.1 2021-10-07 데이터 추가 개방 1.0 2021-06-30 데이터 최초 개방 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2022-10-17 신규 샘플데이터 개방 소개
통역과 번역의 과정 없이 바로 한국어 음성 또는 텍스트 데이터에 맵핑할 수 있는 외래어 발화 음성 데이터
구축목적
인공지능 기반 한국어 음성인식 서비스의 활성화를 위한 자유대화 지식데이터 구축
-
메타데이터 구조표 데이터 영역 한국어 데이터 유형 오디오 , 텍스트 데이터 형식 데이터 출처 라벨링 유형 라벨링 형식 데이터 활용 서비스 데이터 구축년도/
데이터 구축량2020년/576만 -
구축 내용 및 제공 데이터량
- 한국인 외래어 발화
- - 한국인 외래어에 대해 2,000명 이상의 한국인 화자를 대상으로 4,000여시간 이상의 음성 및 텍스트 데이터 수집
- 한국인 외래어 발화
-
-
AI 모델 상세 설명서 다운로드
AI 모델 다운로드 -
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 적응 학습을 통한 STT 학습 성능 향상 검증 (STT 인식률) Speech Recognition CNN, BSTM (음향모델), Stochastic Language Model (언어모델) CER 10 % 1.89 % 2 적응 학습을 통한 STT 학습 성능 향상 검증 (STT 인식률) Speech Recognition CNN, BSTM (음향모델), Stochastic Language Model (언어모델) WER 20 % 4.45 %
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드※ 본 데이터에 포함된 이름, 주소, 전화번호, 상황 등은 모두 창작된 것으로 실제와 어떠한 관련이 없음을 알려드립니다.
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.2 2021.10.28 데이터 품질 보완 1.1 2021.10.07 데이터 추가 개방 1.0 2021.06.30 데이터 최초 개방 구축 목적
- 인공지능 기반 한국어 음성인식 서비스의 활성화를 위한 자유대화 지식데이터 구축
활용 분야
- 음성인식, 음성언어처리, 자연어처리, 한국어 음성언어연구, 신호처리 등의 연구 분야와 온/오프라인 기반의 음성인식, AI비서, Voice Bot, Voice Command & Control, AI 로봇, 음성인식 기반 키오스크 등의 산업분야에 활용
소개
- 자연어 자유대화 학습데이터셋은 일반 사용자들의 자유대화 음성데이터 및 음성데이터 전사결과, 녹음 대상자의 정보, 녹음환경 등의 정보를 포함한 메타데이터로 구성
구축 내용 및 제공 데이터량
- 한국인 외래어 발화
- - 한국인 외래어에 대해 2,000명 이상의 한국인 화자를 대상으로 4,000여시간 이상의 음성 및 텍스트 데이터 수집
대표도면
필요성
- 인공지능(AI)기반 음성인식 시장 경우 기술발달과 스마트 스피커 등 단말 판매 증가와 접점이 확대되고 있으며, 다양한 산업 간의 연계를 통한 기술이 적용되는 영역의 확대와 함께 사회적 관심과 수요가 증가하고 있음
- 인공지능(AI)기반 음성인식 서비스들은 학습을 통해 사용자의 의도에 맞는 답변을 줄 수 있는 특성을 가지고 있으나 아직은 국내 인공지능(AI)기반 음성인식 서비스들의 품질이 소비자들을 만족시키지 못하고 있음
- 인공지능(AI)기반 서비스의 품질 향상을 위해서는 양질의 데이터를 보유하고 관리하는 것이 핵심이며, 성공적인 AI기반 음성인식 서비스의 정착을 위해서는 양질의‘인공지능(AI) 학습 데이터 구축’이 필수 당면과제로 대두됨
- 인공지능(AI)기반 음성인식 기술개발을 위해서는 실제 잡음 환경에서 한국인이 일상생활에서 사용하는 발화의 특징이 반영된 한국어 음성 데이터 구축이 절실함
데이터 구조
- 데이터형태
한국인 외래어 발화 AI데이터 구조 표 수집 대상 형태 원천데이터 o PCM(WAV) 음성 파일
o 대상자 및 대화 시나리오 정보를 포함한 음성파일메타데이터 o Json 형태
o 대상자 상세정보 (성별 / 연령 / 지역)
o 녹음환경 정보 (실내 / 실외 : 대중교통, 거리 등)
o 대화 주제 및 상세내용- o 원천데이터(음성파일)과 메타데이터(Json)로 구분
- o 원천데이터(음성파일)은 각각의 파일명으로 구분 (Ex. sample1.wav)
- 어노테이션 포맷
한국인 외래오 발화 AI데이터 구조 표 대분류 속성표기 의미 타입 필수여부 발화정보 recrdDt 녹음일시 String Y recrdTime 녹음시간 String Y stt 음성인식결과 String Y fileNm 파일명 String Y recrdQuality 녹음품질 String Y scriptSetNo 스크립트셋 번호 String scriptId 스크립트ID String 대화정보 colctUnitCode 수집방법 String Y convrsThema 대화주제 String Y cityCode 지역 String Y recrdEnvrn 녹음환경 String Y recrdUnit 녹음도구 String Y 녹음자정보 recorderId 녹음자ID String gender 성별 String Y age 나이 String Y
-
데이터셋 구축 담당자
수행기관(주관) : NHN다이퀘스트
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 전기왕 02-3470-4307 kiwang@diquest.com · 데이터 구축 총괄 수행기관(참여)
수행기관(참여) 기관명 담당업무 NHN다이퀘스트 · 응용 서비스 개발 잉글리시헌트 · 음성 데이터 수집 및 가공 아임클라우드 · 음성 데이터 검수 셀바스AI · AI모델 개발, 음성 데이터 수집 및 가공 크라우드웍스 · 음성 데이터 수집 및 가공 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 전기왕(NHN다이퀘스트) 02-3470-4307 kiwang@diquest.com
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.