AI-Hub

데이터 변경이력

데이터 히스토리

소개

방송콘텐츠의 인공신경망기계번역기(Neural Machin Translation;NMT) 성능향상을 위하여 학습데이터로 활용하기 위한 한국어-아시아어 음성 및 말뭉치 데이터

구축목적

한국어 방송콘텐츠 분야의 아시아어 통·번역 성능 향상 및 상황별 신조어, 약어, 은어, 관용적 의미와 어투까지 효과적으로 전달 가능한 인공신경망기계번역(Neural Machin Translation;NMT) 인공지능 학습모델 개발

▪ 데이터 구축 규모
- 말뭉치데이터 250만 문장

▪ 데이터 분포 
 - 언어별 분포 : 북경어, 일본어, 대만어, 몽골어, 힌디어
 - 카테고리별 분포 : 연예/공연, 영화/드라마. 다큐멘터리. 오락/예능, 교양

○ 1-11-036 방송콘텐츠 한국어-아시아어 번역 데이터
 ▪ 방송콘텐츠 카테고리 분포

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

▪ 활용모델
가. 인공지능 학습용 데이터 활용모델 개발 방안
 1) 구축 데이터 품질을 위한 방송콘텐츠용 한국어 음성인식 학습모델 선정, 개발
  ○ 방송콘텐츠용 한국어 음성인식 모델
   - 본 과제를 통하여 구축된 3,000시간 이상의 ‘방송콘텐츠 한국어-아시아어 통번역 음성데이터’의 한국어 음성데이터 및 전사 텍스트데이터에 대한 데이터 품질 검토를 위하여 방송콘텐츠용 한국어 음성인식 학습모델을 선정함
  ○ 오픈소스 툴킷 이용한 방송콘텐츠용 한국어 음성인식 학습모델 구축
   - 학습도구: 오픈소스툴인 ESPnet을 사용함
   - 학습방식: ESPnet의 학습스크립트를 바탕으로 수정하여 사용함
  ○ 최신 종단형 방송콘텐츠용 한국어 음성인식 학습모델 학습
   - 구축데이터의 80%에 해당하는 학습용 데이터셋과 10%에 해당하는 개발용 데이터셋을 이용하여 인공지능 음성인식 모델을 학습함
   - 최신 알고리즘인 Transformer, Conformer 등 학습모델을 생성함
  ○ 방송콘텐츠용 한국어-아시아어 음성인식 학습모델 평가
   - 구축데이터의 10%에 해당하는 평가용 데이터셋을 이용하여 학습된 인공지능 음성인식 모델을 평가함
   - 한국어 음성인식 분야에서의 평가척도인 CER을 측정 및 목표성능 충족 여부를 판단함
   - 목표 성능은 다음과 같음

 2) 구축 데이터 품질을 위한 방송콘텐츠용 한국어-아시아어 자동통역 학습모델 선정, 개발
  ○ 방송콘텐츠용 한국어-아시아어 자동통역 모델
   - 본 과제를 통하여 구축된 2,000시간 이상의 ‘방송콘텐츠 한국어-아시아어 통번역 음성데이터’의 한국어 음성데이터 및 번역 텍스트데이터에 대한 데이터 품질 검토를 위하여 방송콘텐츠용 한국어-아시아어 자동통역 학습모델을 선정함
  ○ 오픈소스 툴킷 이용한 방송콘텐츠용 한국어-아시아어 자동통역 학습모델 구축
   - 학습도구: 오픈소스툴킷인 ESPnet을 사용함
   - 학습방식: ESPnet의 학습스크립트를 바탕으로 수정하여 사용함
  ○ 최신 종단형 방송콘텐츠용 한국어-아시아어 자동통역 학습모델 학습
   - 구축데이터의 80%에 해당하는 학습용 데이터셋과 10%에 해당하는 개발용 데이터셋을 이용하여 인공지능 자동통역 모델을 학습함
   - 최신 알고리즘인 Transformer, Conformer 등 학습모델을 생성함
  ○ 방송콘텐츠용 한국어-아시아어 자동통역 학습모델 평가
   - 구축데이터의 10%에 해당하는 평가용 데이터셋을 이용하여 학습된 인공지능 자동통역 모델을 평가함
   - 자동통역 분야에서의 주요 평가척도인 BLEU를 측정 및 목표성능 충족 여부를 판단함
   - 목표 성능은 다음과 같음

나. 인공지능 모델을 적용한 기술혁신 지원 방안
 1) 국가적 측면
  ○ 인공지능 기술의 국가 경쟁력 제고를 위하여 고품질의 통번역 데이터를 공유, 개방
   - 인공지능 기술력의 선진국과의 격차 극복을 도모
   - 개방적인 데이터 유통 과정으로 누구나 자유롭게 고품질의 데이터 활용할 수 있는 환경 조성
   - 높은 자료의 접근성 및 연구의 다양성 확보를 통한 인공지능 기술력에 대한 국가경쟁력 제고 및 경제 성장 도모
  ○ 방송콘텐츠에 대한 디지털 산업 혁신 및 시장 확대를 위하여 데이터 활용 서비스 개발 가이드를 제공함
   - 지속적인 선순환 체계 구축을 위한 데이터 활용 서비스 개발 가이드를 제공함
   - ESPnet과 연계하여 연구, 개발할 수 있는 데이터 처리 가이드 제공
 2) 연구, 개발적 측면
  ○ 한국어-아시아어 자동통역 학습모델 공개
   - 주관기관 및 참여기관이 영위하는 유관 사업의 저작권, 영업권 등에 상충하지 않는 범위에서 한국어-아시아어 자동통역 학습모델 공개함
     ● 공개하는 한국어-아시아어 자동통역 학습모델은 ESPnet 툴킷에서 동작 가능함
     ● 품질 평가를 위해 사용되는 학습모델과는 다를 수 있음

설명서 및 활용가이드 다운로드

▪ 데이터 포맷

▪ 어노테이션 포맷 설명
 "01_dataset" : {
      "1_identifier" : "2022-1-11-036",
      "2_name" : "방송콘텐츠 한국어-아시아어 번역 말뭉치",
      "3_src_path" : "11-2/source/L01/C02/C00024/U00001.txt",
      "4_label_path" : "11-2/labels/L01_L06/C02/C00024/U00001.json",
      "5_category" : "C02",
      "6_type" : "텍스트",
      "7_copyright" : "Y"
   },
   "02_srcinfo" : {
      "1_id" : "C00024",
      "2_title" : "경찰수업_월화_O_210405_마이리틀폴리스_6화_완",
      "3_language" : "한국어"
   },
   "04_contentinfo" : {
      "4_storyline" : "술에 취해 나눈 강희와의 첫 키스를 기억하지 못하는 선호. 덕분에 둘 사이는 살벌해진다. 한편 학교는 곧 있을 청람체전으로 들썩인다. 우승 상품으로 걸린 특박권을 강희에게 따주고 싶은 선호와, 새로운 용의자를 찾아 미끼를 던지는 동만! 모든 것은 청람체전, 그날에 달렸다."
   },
   "05_speakerinfo" : {
      "1_id" : "S097020",
      "2_gender" : "남"
   },
   "06_ttsinfo" : [],
   "07_text" : {
      "1_text" : "근데 지금 몇 시지?"
   },
   "08_translation" : {
      "1_text" : "Харин одоо цаг хэд болж байна вэ?",
      "2_language" : "몽골어"
   }
}
 

데이터셋 구축 담당자

수행기관(주관) : ㈜알엠소프트

수행기관(참여)

데이터 관련 문의처