-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.0 2019-12-31 데이터 최초 개방 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2024-01-12 데이터 문의처 변경 소개
AI 번역 엔진 개발을 위한 뉴스(80만 장), 정부/지자체 홈페이지, 간행물(10만 문장), 행정 규칙, 자치법규(10만 문장), 한국 문화(10만 문장), 구어체(40만 문장), 대화체(10만 문장)의 학습용 문장을 구축한 자연어 데이터 제공
-
메타데이터 구조표 데이터 영역 한국어 데이터 유형 텍스트 데이터 형식 데이터 출처 라벨링 유형 라벨링 형식 데이터 활용 서비스 데이터 구축년도/
데이터 구축량2019년/160만 -
구축내용
- AI 번역엔진 개발을 위한 학습용 문장 구축
AI 번역엔진 개발을 위한 학습용 문장 구축 분야 설명 수량 뉴스 뉴스 텍스트 80만 문장 정부 웹사이트/저널 정부/지자체 홈페이지,간행물 10만 문장 법률 행정 규칙,자치 법규 10만 문장 한국문화 한국 역사,문화 콘텐츠 10만 문장 구어체 자연스러운 구어체 문장 40만 문장 대화체 상황/시나리오 기반 대화 세트 10만 문장 합계 160만 문장 - 말뭉치 구축 프로그램 공개
- 법률(조례)번역 시범서비스 공개
-
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 증분 후 BLEU 점수증가 확인(문어체-뉴스) Machine Translation GNMT BLEU 0.3621 점 0.3750 점 2 증분 후 BLEU 점수증가 확인(문어체-지자체 웹사이트) Machine Translation GNMT BLEU 0.3957 점 0.3970 점 3 증분 후 BLEU 점수증가 확인(문어체-한국문화) Machine Translation GNMT BLEU 0.2195 점 0.2279 점 4 증분 후 BLEU 점수증가 확인(문어체-조례) Machine Translation GNMT BLEU 0.2760 점 0.4884 점 5 증분 후 BLEU 점수증가 확인(구어체) Machine Translation GNMT BLEU 0.2599 점 0.2764 점 6 증분 후 BLEU 점수증가 확인(대화체) Machine Translation GNMT BLEU 0.2200 점 0.2705 점
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.0 2019.12.31 데이터 최초 개방 활용분야
산업분야
- 자동번역을 글로벌 쇼핑, 커뮤니티 서비스에 활용
- 서비스로 수집한 말뭉치를 추가 학습에 활용
연구분야
- 공개 한영 말뭉치를 활용하여 고품질 AI 번역 엔진 개발
- 다양한 언어 지능 기술 개발에 활용
- 한영 대화 세트는 자동번역 챗봇 평가/개발에 활용 가능
구축량
한국어-영어 160만 문장의 번역 말뭉치
- 문어체 한영 번역 110만 문장(뉴스 80만, 정부 웹사이트 컨텐츠 10만, 조례 10만, 한국문화 10만)
- 구어체 한영 번역 50만 문장(구어체 40만, 대화체 10만)
대표 도면
대표도면 표 한국어 영어(초벌) 영어 검수 우리 모두 한국 전통 놀이에 대해서 많은 관심을 가집시다. Let's get interested in Korean traditional games. Let's all have more interest in Korean traditional games. 제가 이야기한 것이 인정이 되어 기간을 조율하는 줄 알았습니다. I thought what I said was accepted, and we are adjusting the period. I thought what I said was accepted, and we are adjusting the period. 나는 네가 한국어를 정말 열심히 배운다고 생각해. I think you really study Korean hard. I think you study Korean really hard. 나는 당신이 한국 문화에 대해서 꽤 알고 있다고 생각합니다. I think you know quite well about Korean culture. I think you know quite well about Korean culture. 또한 내가 한국 있는 동안 그녀가 나를 도와야 합니다. Also, she should help me while I am in Korea. Also, she has to help me while I am in Korea. 나는 내일 한국에 가는 사람들에게 자료를 만들어 줘야해요. I should work on some materials for people who are going to Korea tomorrow. I have to work on some materials for people who are going to Korea tomorrow. 또한 같이 한복도 입고 사진도 찍으며 문화를 알리고 싶습니다. Furthermore, I want introduce culture by wearing Hanbok together. Furthermore, I want to introduce culture by wearing Hanbok and taking pictures together. 또한 지금 한국 사업도 상태가 안 좋은 것 같아. Moreoever, the current situation of Korean companies seems to be bad. Moreover, business in Korea seems to be in bad shape right now. 나도 네라 한국어 공부하는 거 많이 도와 줄게. I will also help you to study Korean. I will help you studying Korean as well. 필요성
-
민간/공공기관 자동 번역기 개발의 기초 데이터 가치 발현
-
기계번역학계 연구 자료의 수요
-
자동번역 기반 크라우드소싱 사업 활용
구축내용
- AI 번역엔진 개발을 위한 학습용 문장 구축
AI 번역엔진 개발을 위한 학습용 문장 구축 분야 설명 수량 뉴스 뉴스 텍스트 80만 문장 정부 웹사이트/저널 정부/지자체 홈페이지,간행물 10만 문장 법률 행정 규칙,자치 법규 10만 문장 한국문화 한국 역사,문화 콘텐츠 10만 문장 구어체 자연스러운 구어체 문장 40만 문장 대화체 상황/시나리오 기반 대화 세트 10만 문장 합계 160만 문장 - 말뭉치 구축 프로그램 공개
- 법률(조례)번역 시범서비스 공개
데이터 구조
- 구축 데이터는 엑셀 파일(*.xlsx)로 제공, 번역 DB를 다운받아 활용 가능
- 데이터의 모든 문장에는 문장번호를 부착하여 관리 용이
데이터 구조 구분 문장번호 구분 출처 특성 뉴스 ○ 분야(3단계) 기사 url 언론사, 기사 작성일 웹사이트 ○ - url 법률 ○ 지자체 한국문화 ○ 분야 url,출판물 구어체 ○ - 대화체 ○ 분류/상황 대화세트/화자 -
데이터셋 구축 담당자
수행기관(주관) : 솔트룩스이노베이션
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 차윤석 02-2193-1734 yoonseok.cha@saltlux.com · AI 학습용 데이터 제작(뉴스와 지자체 사이트) 및 검수 수행기관(참여)
수행기관(참여) 기관명 담당업무 ㈜에버트란 · AI 학습용 데이터 제작(뉴스일부, 한국문화, 조례)
· 시범서비스 "조례 자동번역 사이트" 개발㈜플리토 · AI 학습용 데이터 제작(대화체와 구어체, 뉴스일부) 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 차윤석(솔트룩스이노베이션) 02-2193-1734 yoonseok.cha@saltlux.com