AI-Hub

데이터 변경이력

데이터 히스토리

소개

어린이 교육용 방송 영상(EBS, KBS)으로부터 수집한 어린이 교육 방송 영상을 활용하여, 어린이 음성/맥락 인식률 향상을 위한 방송 음성 및 자연어 처리 학승용 데이터셋을 구축

구축목적

현재까지 음성인식 학습용 데이터와 STT 모델은 성인 음성 위주이며, 공개된 어린이 음성의 경우 단편적인 내용을 다루는 짧은 문장 위주로 구성된 한계가 존재하므로, 최근 SOTA 모델에 부합하도록 풍부한 내용의 긴 문장과 맥락인식 정보를 포함하는 어린이 음성 데이터 구축 필요

1. 데이터 구축 규모

2. 데이터 분포

항목명	구분	비율(%)	설명
카테고리	어린이 예능	36.9
	미취학 아동 발달 교육	26.5
	어린이 교육	20.2
	어린이 드라마	16.5
서브 카테고리	고전물	0.78
	현대물	15.73
	판타지	6.12
	교육	46.54
	버라이어티	19.51
	토크	11.31
대화 평판	긍정	41.27
	부정	6.14
	대립	14.55
	감정 없음	24.46
	호기심	14.55
대화 주체	어린이<->어린이	3.74
	어린이<->성인	96.26
대화 장소	세트장	49.06
	해설녹음(더빙)	13.99
	실외	13.86
	집	13.29
	학교/학원	3.83
	상점	1.46
	식당/카페	1.09
	체육시설	0.96
	유치원	0.94
	회사	0.61
	교통수단	0.49
	기타	0.23
	병원	0.17
어절 수 분포
문장 수 분포
발화자 연령대	청소년 및 성인(14 이상)	65.38
	초등학생(8~13)	22.01
	미취학(5~7)	11.7
발화자 성별	남자	53.25
	여자	40.63
	해당없음	6.13
대화 주제	교육	31.3
	일상	25.2
	동화	11.8
	사물	11.8
	음식	7.3
	자연	5.3
	기타	2.3
	건강	2.2
	경제	1.9
	예술	0.5
	인물위인	0.05

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

1. 모델학습
  가)맥락 인식 모델(KoBERT) - 카테고리, 주제 키워드 예측
● 한국어 기반 BERT 모델에 분류 예측을 위한 Fully Connected Layer를 추가한 모델을 바탕으로 카테고리 및 대화 주제 키워드 예측 모델을 생성

● 형태소 분석 및 Tokenizer를 통해서 전처리 수행을
● KoBERT 학습 및 Fine-Tuning을 통해 학습을 진행
● 카테고리 및 키워드 예측 성능 확인 후 모델 적용

  나)음성인식 모델(HuBERT)
● 음성인식에 대한 학습 모델 후보군 중 다른 단어기반 모델에 비해 사용자의 음성에 대한 민감한 발음-음소 예측이 가능한 HuBERT 모델을 기반으로 학습 모델 생성

● Raw 데이터에서 특수 기호 및 ETRI 전사규칙 기호 제거 후 Vocabulary 생성
● Tokenizer 및 Processor 생성
● 문장 단위로 음성 파일 분할
● 학습에 맞게 입력데이터로 변환
● Model Network 생성
● 학습 및 Argument 세팅
● 성능 확인 및 튜닝

  다)서비스 활용
● 높은 성장률을 보이는 에듀테크 시장에서 본 사업을 통해 구축된 어린이 음성 데이터가 인공지능, 빅데이터 등의 기초 데이터로써 활용
● 방송국등에서 다시보기(VOD) 서비스에 자막제작을 하는데 활용될 수 있음

데이터 성능 점수

설명서 및 활용가이드 다운로드

1. 데이터셋 구성

2. 데이터 구성

3. 어노테이션 포맷

4. 라벨링 샘플

{
  "id_info": {
    "type": {
      "info_key": "P",
      "info_value": "프로그램"
    },
    "company": {
      "info_key": "004",
      "info_value": "EBS"
    },
    "program": {
      "info_key": "0049",
      "info_value": "프로그램코드"
    },
    "program_detail": {
      "info_key": "0001",
      "info_value": "프로그램_상세코드"
    },
    "episode": {
      "info_key": "00003",
      "info_value": "에피소드_코드"
    },
    "episode_split": {
      "info_key": "3",
      "info_value": "에피소드_분할_순번"
    }
  },
  "media_info": {
    "id": "P-004-0049-0001-00003_3",
    "title": "갤럭시 안전 프로젝트",
    "broadcast_date": "20190722",
    "audio_file": "P-004-0049-0001-00003_3.wav",
    "audio_path": "원천데이터/EBS/어린이 드라마",
    "context_info": {
      "category": "어린이 드라마",
      "sub_category": "판타지",
      "keyword": "교육",
      "opinion": "대립",
      "conversation_speakers": "어린이<->성인",
      "sentence_lengths": 827
    },
    "sentence_list": [
      {
        "speaker": "화자_001",
        "speaker_age": "청소년 및 성인(14 이상)",
        "speaker_sex": "남자",
        "speaker_ovr_voc": "없음",
        "start": "00:00:00.001",
        "end": "00:00:02.094",
        "sentence": "재밌는 생각을 해낼 수가 있지?",
        "sentence_len": 17,
        "place_type": "세트장"
      },
      {
        "speaker": "화자_001",
        "speaker_age": "청소년 및 성인(14 이상)",
        "speaker_sex": "남자",
        "speaker_ovr_voc": "없음",
        "start": "00:00:02.094",
        "end": "00:00:03.428",
        "sentence": "헤헤 그렇죠?",
        "sentence_len": 7,
        "place_type": "세트장"
      },
      {
        "speaker": "화자_001",
        "speaker_age": "청소년 및 성인(14 이상)",
        "speaker_sex": "남자",
        "speaker_ovr_voc": "없음",
        "start": "00:00:03.428",
        "end": "00:00:05.352",
        "sentence": "아니 본부장님이랑 저랑 뒤바뀌면.",
        "sentence_len": 18,
        "place_type": "세트장"
      },
       , ...
       , ...
       , ...
      {
        "speaker": "화자_009",
        "speaker_age": "청소년 및 성인(14 이상)",
        "speaker_sex": "해당없음",
        "speaker_ovr_voc": "배경음",
        "start": "00:02:53.866",
        "end": "00:02:55.196",
        "sentence": "n/친구?",
        "sentence_len": 5,
        "place_type": "실외"
      },
      {
        "speaker": "화자_009",
        "speaker_age": "청소년 및 성인(14 이상)",
        "speaker_sex": "해당없음",
        "speaker_ovr_voc": "배경음",
        "start": "00:02:55.196",
        "end": "00:02:56.981",
        "sentence": "n/저 아저씨가 니 친구라고?",
        "sentence_len": 16,
        "place_type": "실외"
      }
    ]
  }
}
 

데이터셋 구축 담당자

수행기관(주관) : 고양시

수행기관(참여)

데이터 관련 문의처