AI-Hub

데이터 변경이력

데이터 히스토리

소개

- 한국 콘텐츠 산업의 해외성장세에 발맞춰, 자연어를 기반으로 하는, 상황별 신조어, 약어, 은어, 관용적 의미와 어투까지 효과적으로 전달 가능한 인공지능 학습데이터 구축 및 모델 개발

구축목적

- 연구분야 및 산업분야에 부합하는 인공지능 기술 및 서비스가 실현 가능한 라이브 스트리밍 영상 영어 통번역의 성능 향상을 위한 인공지능 학습용 통번역 데이터 구축

- 데이터 구축 규모

                                     표 4. 데이터 구축 규모

                                        그래프 1. 데이터 구축 규모 그래프 이미지

- 데이터 분포

                                          표 5. 데이터 분포

                                        그래프 2. 데이터 분포 그래프 이미지

- 데이터 클래스 분포 명세

                                 표 6. 데이터 클래스 분포 명세

                                             이미지 1. Transfomer model

- Wav2Vec2.0-XLSR
 ○ 개요
  - 여러 언어의 음성 파일로 단일 모델을 pre training
  - XLSR은 wav2vec2.0를 기반으로 하며, 숨겨진 음성 표현(latent speech representation)의 대비 작업(contrastive task)을 해결하여 학습하며 다국어 간에 공유되는 숨겨진 부분(latent shared)의 양자화(quantization)를 공통으로 학습
  - 모델은 레이블이 지정된 데이터로 세밀하게 조정

 ○ Fine tuning
  - model의 output layer 바로 위에 downstream task의 representing vocab을 이용해 결과값을 생성해 낼 수 있게 linear classifier layer를 결합해 CTC(Connectionist Temporal Classification) loss를 이용하여 파인 튜닝

                                             이미지 2. Fine tuning

- MBART
 ○ 개요
  - 다국어 데이터들을 denoising 방식으로 pretrained 된 모델이 번역 task에서 높은 성능을 보임을 입증함.
  - mBART는 encoder, decoder 혹은 reconstructing 부분에만 집중하던 이전의 연구들과는 다르게 다국어로 전체 텍스트를 denoising 하는 방법론을 제시함. 
  - 번역 task를 위한 fine tuning을 하기 위해 모델에 추가적인 작업 없이도 지도학습이던 비지도 학습이던 바로 fine tuning이 가능함.

- 데이터 구성

                                        표 1. 데이터 구성

- 어노테이션 명세

                               표 2. 어노테이션 명세

- 원문데이터 포맷 예시

                                  표 3. 원문데이터 포맷 예시

- 실제 예시

{

"contentsIdx":"457",

"source":"유튜브",

"category":"일상,소통_jp_ca1",

"solved_copyright":"플레이타운",

"origin_lang_type":"JP_TO_KO",

"origin_lang":"일본어",

"contentsName":"jp_일상소통99",

"fi_source_filename":"jp_일상소통99.mp4",

"fi_source_filepath":"/data/ai_contents/일본어_한국어/jp_일상소통99",

"li_platform_info":"플레이타운",

"li_subject":"일본",

"li_location":"일본",

"fi_sound_filename":"457_734_11.07_12.73.wav",

"fi_sound_filepath":"https://objectstorage.ap-seoul-1.oraclecloud.com/n/cnb97trxvnun/b/clive-resource/o/output/일본어_한국어/원천데이터/일상,소통/457/457_734_11.07_12.73.wav",

"li_total_video_time":"1520.0",

"li_total_voice_time":"1109.11",

"li_total_speaker_num":"1",

"fi_start_voice_time":"11.0749997364",

"fi_end_voice_time":"12.7300005271",

"fi_duration_time":"1.655000790699999",

"tc_text":"始まってたら教えてください。",

"tl_trans_lang":"한국어",

"tl_trans_text":"시작된거면 알려주세요.",

"tl_back_trans_lang":"일본어",

"tl_back_trans_text":"始まったら教えてください。",

"speaker_tone":"[]",

"sl_new_word":[

],

"sl_abbreviation_word":[

],

"sl_slang":[ ],

"sl_mistake":[ ],

"sl_again":[ ],

"sl_interjection":[ ],

"place":"INDOOR",

"en_outside":"X",

"en_insdie":"O",

"day_night":"NIGHT",

"en_day":"X",

"en_night":"O",

"speaker_name":"せんちゃん",

"speaker_gender_type":"WOMAN",

"speaker_gender":"여성",

"speaker_age_group_type":"TEENAGER_TO_THIRTIES",

"speaker_age_group":"10대-30대 미만"

}

데이터셋 구축 담당자

수행기관(주관) : 알엠소프트

수행기관(참여)

데이터 관련 문의처

AI모델 관련 문의처

저작도구 관련 문의처