-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.0 2022-07-29 데이터 최초 개방 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2024-01-12 담당자 변경 2022-07-29 콘텐츠 최초 등록 소개
범용성 높은 한국어-다국어 간 구어체 번역 말뭉치로써, 데이터 경쟁 시대에서 정부 주도의 인공지능 학습용 데이터로 활용 가능한 데이터로 제공
구축목적
(1) 범용성 높은 언어권들에 대한 인공지능 학습용 말뭉치 데이터 구축 및 공개 (2) 양질의 인공지능 학습용 데이터 구축/공개를 통한 일자리 창출 및 기술 향상에 기여
-
메타데이터 구조표 데이터 영역 한국어 데이터 유형 텍스트 데이터 형식 txt, xlsx 데이터 출처 자체 구축(컨소시엄사) 라벨링 유형 번역(자연어) 라벨링 형식 JSON 데이터 활용 서비스 자동번역, 챗봇 서비스/솔루션 데이터 구축년도/
데이터 구축량2021년/8,600,000 -
1. 데이터 구축 규모 및 통계
-
1. 데이터 구축 규모 및 통계 대분류 중분류 소분류 한-중 중-한 한-일 일-한 일상생활 여행 공항/기내 30.00% 30.00% 30.00% 30.00% 관광 쇼핑 숙소 음식점 스포츠 관람 30.00% 30.00% 30.00% 30.00% 운동 일상 일반 40.00% 40.00% 40.00% 40.00% 영화 및 여가 일상생활 소계 100.00% 100.00% 100.00% 100.00% 해외영업 IT 고객선정 15.00% 15.00% 15.00% 15.00% 사전영업 제안 계약 후속조치 금융 고객선정 15.00% 15.00% 15.00% 15.00% 사전영업 제안 계약 후속조치 미디어 컨텐츠 고객선정 15.00% 15.00% 15.00% 15.00% 사전영업 제안 계약 후속조치 제조 고객선정 15.00% 15.00% 15.00% 15.00% 사전영업 제안 계약 후속조치 기타 고객선정 40.00% 40.00% 40.00% 40.00% 사전영업 제안 계약 후속조치 해외영업 소계 100.00% 100.00% 100.00% 100.00% 채팅 문의 스포츠 50.00% 50.00% 50.00% 50.00% 영화 음식 음악 호텔 항공권 기타 답변 스포츠 50.00% 50.00% 50.00% 50.00% 영화 음식 음악 호텔 항공권 기타 채팅 소계 100.00% 100.00% 100.00% 100.00%
-
-
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드- 강화 모델 학습은 모두 Model Studio Advanced에서 학습되었으며, 예시는 아래와 같음
- 모델 별 평가지표(BLEU스코어)와 현재 모델 성능 및 데이터 분포 비율 실시간 확인 가능
- 학습 알고리즘 및 파라미터, 사용 프레임워크
구분 구분 설명 Algorithm (1) Transformer: self-attention, encode-decoder attention등을 기반으로 한 아키텍쳐 [ref] Attention is all you need: https://arxiv.org/pdf/1706.03762.pdf (2) Beam search in decoding Parameter (1) data augmentation a) Final-Punctuation-Remove: prob 0.05 b) Upper case: prob 0.01 c) placeholder: ph_unk: prob: 0.1, ph_ud: prob: 0.1, ph_string: prob: 0.1, ph_foreign: prob: 0.1 (2) preprocess a) maximum_features_length: 200 b) learning rate: default 1.0 (auto adjustment, min: 0.0001) c) regularization: L2 (scale: 1e-4) d) decay type: NoamDecay e) optimizer: Adam f) dropout: 0.3 (decoding: 0.1) (3) train a) batch size: auto adjustment b) moving_average_decay: 0.9999 c) sample_buffer_size: 5000 프레임 워크 OpenNMT-tf (python 3.6.0) - 모델평가 결과
- 강화 모델 학습은 모두 Model Studio Advanced에서 학습되었으며, 예시는 아래와 같음
-
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 기계번역 정확도 (일상생활, 한>중) Machine Translation Transformer BLEU 0.48 점 0.5633 점 2 기계번역 정확도 (일상생활, 중>한) Machine Translation Transformer BLEU 0.52 점 0.5703 점 3 기계번역 정확도 (일상생활, 한>일) Machine Translation Transformer BLEU 0.63 점 0.7482 점 4 기계번역 정확도 (일상생활, 일>한) Machine Translation Transformer BLEU 0.62 점 0.6678 점 5 기계번역 정확도 (해외영업, 한>중) Machine Translation Transformer BLEU 0.48 점 0.5185 점 6 기계번역 정확도 (해외영업, 중>한) Machine Translation Transformer BLEU 0.52 점 0.5813 점 7 기계번역 정확도 (해외영업, 한>일) Machine Translation Transformer BLEU 0.67 점 0.7722 점 8 기계번역 정확도 (해외영업, 일>한) Machine Translation Transformer BLEU 0.64 점 0.6957 점 9 기계번역 정확도 (채팅, 한>중) Machine Translation Transformer BLEU 0.42 점 0.4964 점 10 기계번역 정확도 (채팅, 중>한) Machine Translation Transformer BLEU 0.39 점 0.5256 점 11 기계번역 정확도 (채팅, 한>일) Machine Translation Transformer BLEU 0.46 점 0.5103 점 12 기계번역 정확도 (채팅, 일>한) Machine Translation Transformer BLEU 0.48 점 0.529 점
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드1. 데이터별 포맷
-
1. 데이터별 포맷 데이터 유형 정의 포맷 원시 데이터 (데이터27) 중국어, 일본어, 한국어 구어체 데이터 txt (데이터28) 독일어, 프랑스어, 스페인어 및 한국어 구어체 데이터 원천 데이터 원시 데이터를 일상생활, 해외영업, 채팅 등으로 분류 xlsx 번역 데이터 원천 데이터에 대응하는 번역 데이터가 포함된 형태 JSON
2. 데이터 어노테이션 포맷
-
순번 항목명 항목 설명 형식/단위 데이터 허용범위/규칙 필수 여부 1 대분류 분야 문자 일상생활, 해외영업, 채팅 필수 2 중분류 분야의 세부 분류 문자 일상생활: 여행, 스포츠, 일상 필수 해외영업: IT, 금융, 미디어컨텐츠, 제조, 기타 채팅: 문의, 답변 3 소분류 분야에 따른 2차 분류 문자 일상생활: 공항/기내. 관광, 쇼핑, 숙소, 음식점 등 선택 해외영업: 고객선정, 사전영업, 제안, 계약, 후속조치 채팅: 스포츠, 영화, 음식, 음악 호텔 등 4 ID 고유 ID 숫자 숫자 이외의 값을 가질 수 없음 필수 5 S-Code 원문 언어 코드 문자 ISO 639-1 언어 및 ISO 3166-1 지역 코드 기준이 따름 필수 6 T-Code 번역문 언어 코드 문자 ISO 639-1 언어 및 ISO 3166-1 지역 코드 기준이 따름 필수 7 S-Length 원문 문자 수 숫자 숫자 이외의 값을 가질 수 없음 필수 8 T-Length 번역문 문자 수 숫자 숫자 이외의 값을 가질 수 없음 필수 9 Ratio 원문:번역문 문자 수 비율 숫자 숫자 이외의 값을 가질 수 없음 필수 10 특수표현 원문내 신조어, 약어 등 포함 여부 문자 신조어, 약어, 관용표현 등으로 구분하고 해당 없을 시 X로 표기 필수 11 화자 발화자 문자 한국어 또는 알파벳 이외의 값을 가질 수 없음 선택
-
-
데이터셋 구축 담당자
수행기관(주관) : 솔트룩스이노베이션
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 차윤석 02-2193-1734 yoonseok.cha@saltlux.com · 수행사업 내 데이터 구축 · 관리 총괄 수행기관(참여)
수행기관(참여) 기관명 담당업무 ㈜다이얼로그 디자인에이전시 · 데이터 구축(번역) ㈜디엠티랩스 · 데이터 구축(번역) ㈜시스트란 · 데이터 구축(번역) ㈜에버트란 · 데이터 구축(번역) ㈜플리토 · 데이터 구축(번역) 한샘글로벌(주) · 데이터 구축(번역) 한국외국어대학교 연구산학협력단 · 데이터 구축(번역) 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 차윤석(솔트룩스이노베이션) 02-2193-1734 yoonseok.cha@saltlux.com
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.