AI-Hub

데이터 변경이력

데이터 히스토리

소개

- 한국 콘텐츠 산업의 해외성장세에 발맞춰, 자연어를 기반으로 하는, 상황별 신조어, 약어, 은어, 관용적 의미와 어투까지 효과적으로 전달 가능한 인공지능 학습데이터 구축 및 모델 개발

구축목적

- 연구분야 및 산업분야에 부합하는 인공지능 기술 및 서비스가 실현 가능한 라이브 스트리밍 영상 영어 통번역의 성능 향상을 위한 인공지능 학습용 통번역 데이터 구축

- 데이터 구축 규모

                                           표 4. 데이터 구축 규모

                                               그래프 1. 데이터 구축 규모

- 데이터 분포

                                              표 5. 데이터 분포

                                            그래프 2. 데이터 분포

- 데이터 클래스 분포 명세

                                표 6. 데이터 클래스 분포 명세

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

                                                    이미지 1. Transfomer model

- Wav2Vec2.0-XLSR
 ○ 개요
  - 여러 언어의 음성 파일로 단일 모델을 pre training
  - XLSR은 wav2vec2.0를 기반으로 하며, 숨겨진 음성 표현(latent speech representation)의 대비 작업(contrastive task)을 해결하여 학습하며 다국어 간에 공유되는 숨겨진 부분(latent shared)의 양자화(quantization)를 공통으로 학습
  - 모델은 레이블이 지정된 데이터로 세밀하게 조정

 ○ Fine tuning
  - model의 output layer 바로 위에 downstream task의 representing vocab을 이용해 결과값을 생성해 낼 수 있게 linear classifier layer를 결합해 CTC(Connectionist Temporal Classification) loss를 이용하여 파인 튜닝

                                                    이미지 2. Fine tuning

- MBART
 ○ 개요
  - 다국어 데이터들을 denoising 방식으로 pretrained 된 모델이 번역 task에서 높은 성능을 보임을 입증함.
  - mBART는 encoder, decoder 혹은 reconstructing 부분에만 집중하던 이전의 연구들과는 다르게 다국어로 전체 텍스트를 denoising 하는 방법론을 제시함. 
  - 번역 task를 위한 fine tuning을 하기 위해 모델에 추가적인 작업 없이도 지도학습이던 비지도 학습이던 바로 fine tuning이 가능함.

설명서 및 활용가이드 다운로드

- 데이터 구성

                                          표 1. 데이터 구성

- 어노테이션 명세

                                    표 2. 어노테이션 명세

- 원문데이터 포맷 예시

                                  표 3. 원문데이터 포맷 예시

- 실제 예시

{

"contentsIdx":"4895",

"source":"유튜브",

"category":"여행_ko_ca2",

"solved_copyright":"플레이타운",

"origin_lang_type":"KO_TO_EN",

"origin_lang":"한국어",

"contentsName":"말라카 길거리 먹방 중 길잃고 날은 어두워지고",

"fi_source_filename":"말라카 길거리 먹방 중 길잃고 날은 어두워지고.mp4",

"fi_source_filepath":"/data/ai_contents/한국어_영어/말라카 길거리 먹방 중 길잃고 날은 어두워지고",

"li_platform_info":"플레이타운",

"li_subject":"한국",

"li_location":"말레이시아",

"fi_sound_filename":"4895_10279_28.76_30.59.wav",

"fi_sound_filepath":"https://objectstorage.ap-seoul-1.oraclecloud.com/n/cnb97trxvnun/b/clive-resource/o/output/한국어_영어/원천데이터/여행/4895/4895_10279_28.76_30.59.wav",

"li_total_video_time":"3077.85",

"li_total_voice_time":"2217.27",

"li_total_speaker_num":"2",

"fi_start_voice_time":"28.764995863576136",

"fi_end_voice_time":"30.585002876",

"fi_duration_time":"1.820007012423865",

"tc_text":"지금 늦었어요 말라카라 빨리 가야 돼.",

"tl_trans_lang":"영어",

"tl_trans_text":"It's late now, need to hurry to Malacca.",

"tl_back_trans_lang":"한국어",

"tl_back_trans_text":"이제 시간이 늦었으니 서둘러 말라카로 가세요.",

"speaker_tone":"[]",

"sl_new_word":[

],

"sl_abbreviation_word":[ ],

"sl_slang":[ ],

"sl_mistake":[ ],

"sl_again":[ ],

"sl_interjection":[ ],

"place":"INDOOR",

"en_outside":"X",

"en_insdie":"O",

"day_night":"NIGHT",

"en_day":"X",

"en_night":"O",

"speaker_name":"이경옥",

"speaker_gender_type":"WOMAN",

"speaker_gender":"여성",

"speaker_age_group_type":"THIRTIES_TO_FIFTIES",

"speaker_age_group":"30대-50대 미만“

}

데이터셋 구축 담당자

수행기관(주관) : 아키아카

수행기관(참여)

데이터 관련 문의처

AI모델 관련 문의처

저작도구 관련 문의처