-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.0 2019-12-31 데이터 최초 개방 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2024-01-12 데이터 문의처 변경 소개
AI 번역 엔진 개발을 위한 뉴스(80만 장), 정부/지자체 홈페이지, 간행물(10만 문장), 행정 규칙, 자치법규(10만 문장), 한국 문화(10만 문장), 구어체(40만 문장), 대화체(10만 문장)의 학습용 문장을 구축한 자연어 데이터 제공
- 데이터 영역 : 한국어
- 데이터 유형 : 텍스트
- 구축년도 : 2019년
- 구축량 : 160만
-
구축내용
- AI 번역엔진 개발을 위한 학습용 문장 구축
AI 번역엔진 개발을 위한 학습용 문장 구축 분야 설명 수량 뉴스 뉴스 텍스트 80만 문장 정부 웹사이트/저널 정부/지자체 홈페이지,간행물 10만 문장 법률 행정 규칙,자치 법규 10만 문장 한국문화 한국 역사,문화 콘텐츠 10만 문장 구어체 자연스러운 구어체 문장 40만 문장 대화체 상황/시나리오 기반 대화 세트 10만 문장 합계 160만 문장 - 말뭉치 구축 프로그램 공개
- 법률(조례)번역 시범서비스 공개
-
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 증분 후 BLEU 점수증가 확인(문어체-뉴스) Machine Translation GNMT BLEU 0.36219 점 0.37502 점 2 증분 후 BLEU 점수증가 확인(문어체-지자체 웹사이트) Machine Translation GNMT BLEU 0.395769999999999 점 0.39704 점 3 증분 후 BLEU 점수증가 확인(문어체-한국문화) Machine Translation GNMT BLEU 0.21954 점 0.22798 점 4 증분 후 BLEU 점수증가 확인(문어체-조례) Machine Translation GNMT BLEU 0.27606 점 0.48843 점 5 증분 후 BLEU 점수증가 확인(구어체) Machine Translation GNMT BLEU 0.25995 점 0.27649 점 6 증분 후 BLEU 점수증가 확인(대화체) Machine Translation GNMT BLEU 0.22004 점 0.27052 점
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.0 2019.12.31 데이터 최초 개방 활용분야
산업분야
- 자동번역을 글로벌 쇼핑, 커뮤니티 서비스에 활용
- 서비스로 수집한 말뭉치를 추가 학습에 활용
연구분야
- 공개 한영 말뭉치를 활용하여 고품질 AI 번역 엔진 개발
- 다양한 언어 지능 기술 개발에 활용
- 한영 대화 세트는 자동번역 챗봇 평가/개발에 활용 가능
구축량
한국어-영어 160만 문장의 번역 말뭉치
- 문어체 한영 번역 110만 문장(뉴스 80만, 정부 웹사이트 컨텐츠 10만, 조례 10만, 한국문화 10만)
- 구어체 한영 번역 50만 문장(구어체 40만, 대화체 10만)
대표 도면
대표도면 표 한국어 영어(초벌) 영어 검수 우리 모두 한국 전통 놀이에 대해서 많은 관심을 가집시다. Let's get interested in Korean traditional games. Let's all have more interest in Korean traditional games. 제가 이야기한 것이 인정이 되어 기간을 조율하는 줄 알았습니다. I thought what I said was accepted, and we are adjusting the period. I thought what I said was accepted, and we are adjusting the period. 나는 네가 한국어를 정말 열심히 배운다고 생각해. I think you really study Korean hard. I think you study Korean really hard. 나는 당신이 한국 문화에 대해서 꽤 알고 있다고 생각합니다. I think you know quite well about Korean culture. I think you know quite well about Korean culture. 또한 내가 한국 있는 동안 그녀가 나를 도와야 합니다. Also, she should help me while I am in Korea. Also, she has to help me while I am in Korea. 나는 내일 한국에 가는 사람들에게 자료를 만들어 줘야해요. I should work on some materials for people who are going to Korea tomorrow. I have to work on some materials for people who are going to Korea tomorrow. 또한 같이 한복도 입고 사진도 찍으며 문화를 알리고 싶습니다. Furthermore, I want introduce culture by wearing Hanbok together. Furthermore, I want to introduce culture by wearing Hanbok and taking pictures together. 또한 지금 한국 사업도 상태가 안 좋은 것 같아. Moreoever, the current situation of Korean companies seems to be bad. Moreover, business in Korea seems to be in bad shape right now. 나도 네라 한국어 공부하는 거 많이 도와 줄게. I will also help you to study Korean. I will help you studying Korean as well. 필요성
-
민간/공공기관 자동 번역기 개발의 기초 데이터 가치 발현
-
기계번역학계 연구 자료의 수요
-
자동번역 기반 크라우드소싱 사업 활용
구축내용
- AI 번역엔진 개발을 위한 학습용 문장 구축
AI 번역엔진 개발을 위한 학습용 문장 구축 분야 설명 수량 뉴스 뉴스 텍스트 80만 문장 정부 웹사이트/저널 정부/지자체 홈페이지,간행물 10만 문장 법률 행정 규칙,자치 법규 10만 문장 한국문화 한국 역사,문화 콘텐츠 10만 문장 구어체 자연스러운 구어체 문장 40만 문장 대화체 상황/시나리오 기반 대화 세트 10만 문장 합계 160만 문장 - 말뭉치 구축 프로그램 공개
- 법률(조례)번역 시범서비스 공개
데이터 구조
- 구축 데이터는 엑셀 파일(*.xlsx)로 제공, 번역 DB를 다운받아 활용 가능
- 데이터의 모든 문장에는 문장번호를 부착하여 관리 용이
데이터 구조 구분 문장번호 구분 출처 특성 뉴스 ○ 분야(3단계) 기사 url 언론사, 기사 작성일 웹사이트 ○ - url 법률 ○ 지자체 한국문화 ○ 분야 url,출판물 구어체 ○ - 대화체 ○ 분류/상황 대화세트/화자 -
데이터셋 구축 담당자
수행기관(주관) : 솔트룩스이노베이션
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 차윤석 02-2193-1734 yoonseok.cha@saltlux.com · AI 학습용 데이터 제작(뉴스와 지자체 사이트) 및 검수 수행기관(참여)
수행기관(참여) 기관명 담당업무 ㈜에버트란 · AI 학습용 데이터 제작(뉴스일부, 한국문화, 조례)
· 시범서비스 "조례 자동번역 사이트" 개발㈜플리토 · AI 학습용 데이터 제작(대화체와 구어체, 뉴스일부) 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 차윤석(솔트룩스이노베이션) 02-2193-1734 yoonseok.cha@saltlux.com
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.
오프라인 데이터 이용 안내
본 데이터는 K-ICT 빅데이터센터에서도 이용하실 수 있습니다.
다양한 데이터(미개방 데이터 포함)를 분석할 수 있는 오프라인 분석공간을 제공하고 있습니다.
데이터 안심구역 이용절차 및 신청은 K-ICT빅데이터센터 홈페이지를 참고하시기 바랍니다.
국방데이터 개방 안내
본 데이터는 국방데이터로 군사 보안에 따라 AI허브에서 데이터를 제공하지 않으며,
군 담당자를 통한 별도의 사용 신청이 필요합니다.