AI-Hub

데이터 변경이력

데이터 히스토리

소개

- 한국 콘텐츠 산업의 해외성장세에 발맞춰, 자연어를 기반으로 하는, 상황별 신조어, 약어, 은어, 관용적 의미와 어투까지 효과적으로 전달 가능한 인공지능 학습데이터 구축 및 모델 개발

구축목적

- 연구분야 및 산업분야에 부합하는 인공지능 기술 및 서비스가 실현 가능한 라이브 스트리밍 영상 중국어 통번역의 성능 향상을 위한 인공지능 학습용 통번역 데이터 구축

- 데이터 구축 규모

                                  표 4. 데이터 구축 규모

                                                 그래프 1. 데이터 구축 규모

- 데이터 분포

                                       표 5. 데이터 분포

                                                  그래프 2. 데이터 분포

- 데이터 클래스 분포 명세

                                                     이미지 1. Transfomer model

- Wav2Vec2.0-XLSR
 ○ 개요
  - 여러 언어의 음성 파일로 단일 모델을 pre training
  - XLSR은 wav2vec2.0를 기반으로 하며, 숨겨진 음성 표현(latent speech representation)의 대비 작업(contrastive task)을 해결하여 학습하며 다국어 간에 공유되는 숨겨진 부분(latent shared)의 양자화(quantization)를 공통으로 학습
  - 모델은 레이블이 지정된 데이터로 세밀하게 조정

 ○ Fine tuning
  - model의 output layer 바로 위에 downstream task의 representing vocab을 이용해 결과값을 생성해 낼 수 있게 linear classifier layer를 결합해 CTC(Connectionist Temporal Classification) loss를 이용하여 파인 튜닝

                                                    이미지 2. Fine tuning

- MBART
 ○ 개요
  - 다국어 데이터들을 denoising 방식으로 pretrained 된 모델이 번역 task에서 높은 성능을 보임을 입증함.
  - mBART는 encoder, decoder 혹은 reconstructing 부분에만 집중하던 이전의 연구들과는 다르게 다국어로 전체 텍스트를 denoising 하는 방법론을 제시함. 
  - 번역 task를 위한 fine tuning을 하기 위해 모델에 추가적인 작업 없이도 지도학습이던 비지도 학습이던 바로 fine tuning이 가능함.

- 데이터 구성

                                       표 1. 데이터 구성

- 어노테이션 명세

                                표 2. 어노테이션 명세

- 원문데이터 포맷 예시

                              표 3. 원문데이터 포맷 예시

- 실제 예시

{

"contentsIdx":"1168",

"source":"웨이보",

"category":"일상,소통_ch_ca1",

"solved_copyright":"플레이타운",

"origin_lang_type":"CH_TO_KO",

"origin_lang":"중국어",

"contentsName":"【黄子弘凡直播】2023.0815 66min录屏 我又来唠嗑啦_和小何浅连麦_浅唱_期待好消息 - 1.【黄子弘凡直播】2023.0815直播录屏 我又来唠嗑啦_和小何浅连麦_浅唱(Av232356684,P1)",

"fi_source_filename":"【黄子弘凡直播】2023.0815 66min录屏 我又来唠嗑啦_和小何浅连麦_浅唱_期待好消息 - 1.【黄子弘凡直播】2023.0815直播录屏 我又来唠嗑啦_和小何浅连麦_浅唱(Av232356684,P1).mp4",

"fi_source_filepath":"/data/ai_contents/중국어_한국어/【黄子弘凡直播】2023.0815 66min录屏 我又来唠嗑啦_和小何浅连麦_浅唱_期待好消息 - 1.【黄子弘凡直播】2023.0815直播录屏 我又来唠嗑啦_和小何浅连麦_浅唱(Av232356684,P1)",

"li_platform_info":"플레이타운",

"li_subject":"중국",

"li_location":"중국",

"fi_sound_filename":"1168_3446_4.82_7.82.wav",

"fi_sound_filepath":"https://objectstorage.ap-seoul-1.oraclecloud.com/n/cnb97trxvnun/b/clive-resource/o/output/중국어_한국어/원천데이터/일상,소통/1168/1168_3446_4.82_7.82.wav",

"li_total_video_time":"3585.1",

"li_total_voice_time":"2610.79",

"li_total_speaker_num":"2",

"fi_start_voice_time":"4.820000733327222",

"fi_end_voice_time":"7.8249999885",

"fi_duration_time":"3.0049992551727778",

"tc_text":"这个，迟到了十分钟，",

"tl_trans_lang":"한국어",

"tl_trans_text":"이거, 10분 지각했네요.",

"tl_back_trans_lang":"중국어",

"tl_back_trans_text":"这，迟到了十分钟。",

"speaker_tone":"[]",

"sl_new_word":[],

"sl_abbreviation_word":[ ],

"sl_slang":[ ],

"sl_mistake":[ ],

"sl_again":[ ],

}

데이터셋 구축 담당자

수행기관(주관) : 알엠소프트

수행기관(참여)

데이터 관련 문의처

AI모델 관련 문의처

저작도구 관련 문의처