수어 영상 소개
기본탭
데이터셋명 | 수어 영상 | |||
---|---|---|---|---|
데이터 분야 | 음성/자연어 | 데이터 유형 | 비디오, 텍스트 | |
구축기관 | 테스트웍스 | 데이터 관련 문의처 | 담당자명 | AI DATA 사업본부(테스트웍스) |
가공기관 | 테스트웍스 | 전화번호 | 02-423-5178 | |
검수기관 | 테스트웍스 | 이메일 | aiworks_data@testworks.co.kr | |
구축 데이터량 | 53.6만 | 구축년도 | 2020년 | |
버전 | 1.0 | 최종수정일자 | 2021.06.18 | |
소개 | 지숫자, 지문자의 데이터 영상 생성을 통해 길찾기, 교통, 주소 등과 관련된 한국수어 인식 인공지능 기술 및 서비스 개발에 활용 가능한 총 536,000개의 영상 데이터 제공 | |||
주요 키워드 | 인공지능(Artificial Intelligence), 데이터셋(Data Set), 수어영상(Sign Language Video), 기계학습(Machine Learning), 키포인트 검출(Keypoint Detection), 수어번역 | |||
저작권 및 이용정책 | 본 데이터는 과학기술정보통신부가 주관하고 한국지능정보사회진흥원이 지원하는 '인공지능 학습용 데이터 구축사업'으로 구축된 데이터입니다. [데이터 이용정책 상세보기] | |||
데이터설명서 | 자료보기 | 구축활용가이드 | 자료보기 | |
샘플데이터 | 다운로드 | 교육활용동영상 | 영상보기 | |
저작도구 | 다운로드 | AI모델 | 다운로드 |
데이터 변경이력
버전 | 일자 | 변경내용 | 비고 |
---|---|---|---|
1.0 | 2021.06.18 | 데이터 최초 개방 |
구축목적
- 한국수어 인식 인공지능 기술 및 서비스 개발에 활용 가능한 대규모 한국 수어 영상 데이터셋 구축
활용분야
- 농인-청인 간의 커뮤니케이션 분야, 공공장소 안내 서비스 (병원, 지하철, 공항, 역사), 모바일 어플리케이션(한국어-한국수어 실시간 번역 시스템, 텍스트 입력 시스템) 등
소개
- 길찾기/교통/주소와 관련된 한국수어와 지숫자, 지문자의 데이터를 영상 클립으로 생성하고, 영상으로부터 손에 대한 키포인트를 생성하여 총 536,000개의 영상데이터 구축을 목표로 함

구축 내용 및 제공 데이터량
- 총 536,000 수어영상 클립(.mp4 파일)
- 수어문장 2000개, 수어단어 3000개, 지숫자/지문자 1000개에 대한 영상
- 스튜디오 직접 촬영으로 언어제공자 20명에게서 5각도 동시 촬영한 수어문장/단어 영상(500,000 수어영상 클립)
- 크라우드소싱 촬영으로 언어제공자 21명에게서 수집한 지수어 영상(21,000클립)
- 아바타로 제작한 수어문장/단어 영상(15,000 클립) - 총 536,000 수어 영상에 대한 형태소 및 비수지 요소 가공값(json 파일)
- 총 536,000 수어 영상에 대한 30fps 분할 이미지에 대한 keypoint 값(json 파일)
대표도면
수어영상
- 데이터 항목
- 형태소비수지 - json 형태
{"0":
{"metaData":
{"url":"http://52.231.159.158
:[{"start":"1.694","end":"2.020","attributes":
[{"name":"화장실"}]}
,{"start":"2.027","end":"3.648","attributes":
[{"name":"있다","attribute":["의문사없는 의문형"]}]}]}}
영상에서 분활한 이미지
- 데이터 항목 : 특징점(Keypoint) 좌표
- Right hand (21)
- Left hand (21)
- Pose (25)
- Face (68) - json 형태
,"hand_left_keypoints_2d":
[1143.58,974.645,0.654592,1114.86,992.833,0.735167,1097.63,1027.29,0.826771,
1095.71,1060.8,0.792472,1097.63,1087.6,0.794426,1123.47,
1052.18,0.839221,1120.6,1091.43,0.734
... (생략)
,"hand_right_keypoints_2d":
[732.281,968.632,0.606077,756.648,995.923,0.733027,773.218,
1033.94,0.846974,779.066,1072.92,0.688546,777.116,1098.27,0.535953,741.053,
... (생략)
필요성
- 사회적 약자를 위한 기술의 연구 및 개발이 활발히 진행되고 있으며, 그에 따른 서비스 또한 확장되고 있음. 인공지능 기술을 통해 사회적 약자의 생활을 개선할 수 있는 방향으로 연구 분야가 지속적으로 확대 중임
- 많은 수의 농인들은 한국어를 읽거나 이해하지 못하고 수어를 통해서만 의사소통이 가능한 경우가 대부분임. 농인들이 사회에서 다양한 활동을 하기 위해서는 한국어와 수어의 통역이 필요하며 시간과 공간에 제약이 없어야 함
- 수어 인식 인공지능모델 개발 등을 통해 상기 문제에 대해 일부는 도움이 될 것으로 기대됨.
데이터 구조
Keypoint 가공 | Pose | 25개 키포인트 각각의 x,y,confidence값 | ||
---|---|---|---|---|
left hand | 21개 키포인트 각각의 x,y,confidence값 | |||
right hand | 21개 키포인트 각각의 x,y,confidence값 | |||
face | 68개 키포인트 각각의 x,y,confidence값 | |||
형태소/비수지가공 | 구분 | Tag | Attributes | 설명 |
Meta | URL | - | 수어동영상 경로 | |
Meta | Duration | - | 수어동영상 전체 구간 | |
Meta | ExportedOn | - | json 다운로드 받은 날짜 | |
data | start | - | 해당 형태소 구간의 시작 시각 | |
data | end | - | 해당 형태소 구간의 종료 시각 | |
data | attributes | name | 해당 형태소의 표제어 | |
data | attribute | 해당 형태소의 비수지 요소 |
데이터셋 구축 담당자
수행기관(주관) : 테스트웍스
책임자명 | 전화번호 | 대표이메일 | 담당업무 |
---|---|---|---|
AI DATA 사업본부 (테스트웍스) |
02-423-5178 | aiworks_data@testworks.co.kr | · 데이터셋 수집 및 가공 · 저작도구 개발 · 모델 검증 · 시범서비스 ‘지하철 역사 안내 서비스’ 외 1종 개발 |
수행기관(참여)
기관명 | 담당업무 | 기관명 | 담당업무 |
---|---|---|---|
나사렛대학교 | · 수어 원천데이터 선정 및 정제 · 수어 영상 데이터 수집 |
이큐포올 | · 가상데이터 생성 및 제공 · 아바타 서비스 생성 |
KAIST RCV | · 데이터셋 활용한 모델 검증 | 한국농아인협회 | · 데이터셋 수집 · 데이터셋 검수 |
※ 이 데이터에 포함된 인물의 얼굴 등에 대해서는 개인정보 및 초상권의 이용 동의를 받아 제공합니다.