AI-Hub

데이터 변경이력

데이터 히스토리

소개

수어 번역 데이터셋은 한국어를 한국수어로 변환하기 위한 AI 학습용 데이터로써, 한국어 문장과 매칭되는 한국수어 문법이 반영된 문장, 형태소, 동작에 대한 시간 정보 그리고 얼굴 표정 등과 같은 비수지 정보들을 포함하는 말뭉치 셋임

구축목적

– 재난 안전 정보가 포함된 원천 데이터(문장, 수어영상)로부터, 형태소 및 비수지 정보와 키포인트 데이터를 추출한 고품질 AI데이터셋 구축 및 배포
–  한국어-한국수어 변환 AI알고리즘을 사용한 실증서비스 구현 및 서비스 구현 가능성 확인

데이터 분포(촬영 비율)

데이터 분포(카테고리 분류)

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

• 영상기반 언어인 수어의 인공지능 번역 모델개발을 위해 Transformer Model(수어 형태소, 비수지), Pointer Model(지화 예측), Prosody Model(운율)을 복합적으로 반영하여 구현

[한국어-수어 번역 엔진 모델 설계 개념도]

• Transformer Network(기본 번역 모델)

[Transformer network 구성 및 예시]

• Pointer Model 모델 : 한국어 문장에서 지화로 표현해야 하는 단어 및 어휘를 추출

[Pointer 모델 적용 예시]

• Prosody Model: 수어 영상 생성 시 수어 단어간 겹침 및 속도 예측
• BLEU 점수를 반영한 검증 : 기계번역의 품질을 측정하는데 사용하는 지표. 실제 사람이 번역한 결과와 기계번역 결과의 유사성을 계산하는 방식으로 결괏값을 구했으며, 최종 16.33%의 최종 모델 개발

데이터 성능 점수

설명서 및 활용가이드 다운로드

1. 데이터 예시

• 한국어 문장 데이터 (TXT)
  
  
   
• 영상데이터(MP4)
  
  
   
• 키포인트 가공 데이터 – MXL
  
  
   
• json
  
  
   

2. 가공 데이터 구조 설명

• XML – 신체 특징점 가공 주요 속성 (keypoint)

  1. 데이터 예시

  항목명	타입	필수여부	설명	범위
  labels	object	Y	객체 class 정의 부분
  label	array	Y	객체 class 정의 부분
  name	string	Y	객체 class 정보
  size	string	Y	xml파일이 어노테이션 정보를 포함하고 있는 가공 영상 이미지의 개수
  original_size	object	Y	영상 이미지 크기 정보
  width	string	Y	영상 이미지 가로 해상도
  height	string	Y	이미지 파일 세로 해상도
  track	array	Y	영상 개별 이미지 keypoint 정보를 담고 있는 상위 테그
  id	string	Y	현재 xml파일 내의 테그 순서 정보
  label	string	Y	영상 이미지 객체의 class 정보	[pose_keypoints_2d, face_keypoints_2d, hand_right_keypoints_2d, hand_left_keypoints_2d]
  body	array	Y	신체 객체 2d keypoint 정보
  points	string	Y		[0~1920]
  face	array	Y	얼굴 객체 2d keypoint 정보
  points	string	Y		[0~1920]
  leftHand	array	Y	왼손 객체 2d keypoint 정보
  points	string	Y		[0~1920]
  rightHand	array	Y	오른손 객체 2d keypoint 정보
  points	string	Y		[0~1920]

  
   
• JSON – 형태소 비수지 가공 주요 속성
  – 모든 수어 표현에 대한 sign_gesture를 입력하지만, 수어의 특성상 양손, 우세/비우세손은 항상 발생하지 않음. 따라서 sign_gesture는 필수로 입력되나, Sign_gestures_both(양손층렬), sign_gestures_strong (우세손층렬), sign_gestures_weak(비우세손층렬)은 발생할 경우만 선택적으로 입력함
  – sentence_loc : 한국어와 문장 체계가 상이한 수어 중 한국어 단어와 완전히 1:1로 대응되는 경우 sign_gesture에 별도로 표기함

  속성		값
  Metadata		(dictionary) 메타 데이터 ◦ id : (String) 한국어문장, 영상 파일의 이름(데이터 중분류(group), 소분류(카테고리, 카테고리별 일련번호, 1:1-1:3 촬영속성, 촬영장 구분(강남대, 테스트웍스), 대면촬영, 수연가 아이디 포함) ◦ editor“ (String) 영상파일의 현장 검수자의 정보 ◦ signer : (String) 영상파일에서 나온 수연가의 정보 ◦ augment : 한국어 문장의 증강여부 ◦ annotator : 가공자 정보 ◦ video_fps : 영상의 초당 이미지 수 ◦ translater : (String) 영상파일의 번역가 정보의 정보 ◦ date : (date) 관련된 영상파일 찍는 날짜
  landmarks		(dictionary) 키포인트 데이터 ◦ camera_parameter : 대면촬영 카메라 파라메터 ◦ face_keypoints_2d / 3d - (list): 비대면 2D, 대면 3D 키포인트 정보 ◦ pose_keypoints_2d / 3d - (list) : 비대면 2D, 대면 3D 키포인트 정보 ◦ hand_left_keypoints_2d / 3d - (list) : 비대면 2D, 대면 3D 키포인트 정보 ◦ hand_right_keypoints_2d / 3d - (list) : 비대면 2D, 대면 3D 키포인트 정보
  nms_script (선택)		(list) 비수지 필드 : Hno, Mo1, Mmo, Hs, Ebf, Mctr, Ci, Tbt, ◦ end : (Float) 종료 시간 (초) ◦ start : (Float) 시작 시간 (초) ◦ descriptor : (String) 마우딩에서 발음된 단어
  Korean text		한국어 문장(String)
  Sign_gestures	(양손층렬)Sign_gestures_both	(list) 수지 스크립트  - 수지글로스 우세, 비우세 (양손 층렬) ◦ gloss_id : (String) 글로스명 ◦ express : (Char) 수지/지수어 구분 (수지 “s”, 지화 “f”, 동적숫자 : “d”, 숫자 “n”) ◦ position : (Char) 수어발화 공간(27개로 구분) ◦ direction : (String) 일치동사 정보 (설정된 공간에 따라 (1,2), (1,3), (2,1), (2,3), (3,1), (3,2), (3,3)) ◦ start : (Float) 시작 시간 (초) ◦ end : (Float) 종료 시간 (초) ◦ sentence_loc : (dictionary) 발화된 수어와 일치하는 한국어 단어를 의미하는 대응관계 정보 (start ~ end : (int) 한국어 문장 몇 번째 음절 표시)
  	(우세손층렬) sign_gestures_strong	(list) 수지 스크립트  - 수지글로스 우세, 비우세 (양손 층렬) ◦ gloss_id : (String) 글로스명 ◦ express : (Char) 수지/지수어 구분 (수지 “s”, 지화 “f”, 동적숫자 : “d”, 숫자 “n”) ◦ position : (Char) 수어발화 공간(27개로 구분) ◦ direction : (String) 일치동사 정보 (설정된 공간에 따라 (1,2), (1,3), (2,1), (2,3), (3,1), (3,2), (3,3)) ◦ start : (Float) 시작 시간 (초) ◦ end : (Float) 종료 시간 (초) ◦ sentence_loc : (dictionary) 발화된 수어와 일치하는 한국어 단어를 의미하는 대응관계 정보 (start ~ end : (int) 한국어 문장 몇 번째 음절 표시)
  	(비우세손층렬) sign_gestures_weak	(list) 수지 스크립트  - 수지글로스 우세, 비우세 (양손 층렬) ◦ gloss_id : (String) 글로스명 ◦ express : (Char) 수지/지수어 구분 (수지 “s”, 지화 “f”, 동적숫자 : “d”, 숫자 “n”) ◦ position : (Char) 수어발화 공간(27개로 구분) ◦ direction : (String) 일치동사 정보 (설정된 공간에 따라 (1,2), (1,3), (2,1), (2,3), (3,1), (3,2), (3,3)) ◦ start : (Float) 시작 시간 (초) ◦ end : (Float) 종료 시간 (초)

  [어노테이션 속성 정보]

데이터셋 구축 담당자

수행기관(주관) : ㈜테스트웍스

수행기관(참여)

데이터 관련 문의처