콘텐츠로 건너뛰기 메뉴로 건너뛰기 푸터로 건너뛰기
데이터를 불러오고 있습니다
데이터를 저장하고 있습니다
#인공지능 # 데이터셋 # 수어영상 # 기계학습 # 키포인트 검출 # 수어번역

수어 영상

수어 영상
  • 분야한국어
  • 유형 텍스트 , 비디오
구축년도 : 2020 갱신년월 : 2023-12 조회수 : 26,070 다운로드 : 4,763 용량 :
샘플 데이터 ?

샘플데이터는 데이터의 이해를 돕기 위해 별도로 가공하여 제공하는 정보로써 원본 데이터와 차이가 있을 수 있으며,
데이터에 따라서 민감한 정보는 일부 마스킹(*) 처리가 되어 있을 수 있습니다.

※ 내국인만 데이터 신청이 가능합니다.

  • 데이터 변경이력

    데이터 변경이력
    버전 일자 변경내용 비고
    1.1 2023-12-11 라벨링데이터 수정
    1.0 2021-06-18 데이터 최초 개방

    데이터 히스토리

    데이터 히스토리
    일자 변경내용 비고
    2023-10-11 세부데이터, 구축활용가이드 수정 face 키 포인트 총 개수 수정
    2023-08-08 AI 모델 수정
    2022-10-13 신규 샘플데이터 개방

    소개

    지숫자, 지문자의 데이터 영상 생성을 통해 길찾기, 교통, 주소 등과 관련된 한국수어 인식 인공지능 기술 및 서비스 개발에 활용 가능한 총 536,000개의 영상 데이터 제공

    구축목적

    한국수어 인식 인공지능 기술 및 서비스 개발에 활용 가능한 대규모 한국 수어 영상 데이터셋 구축
  • 구축 내용 및 제공 데이터량

    • 총 536,000 수어영상 클립(.mp4 파일) 
      - 수어문장 2000개, 수어단어 3000개, 지숫자/지문자 1000개에 대한 영상
      - 스튜디오 직접 촬영으로 언어제공자 20명에게서 5각도 동시 촬영한 수어문장/단어 영상(500,000 수어영상 클립)
      - 크라우드소싱 촬영으로 언어제공자 21명에게서 수집한 지수어 영상(21,000클립)
      - 아바타로 제작한 수어문장/단어 영상(15,000 클립)
    • 총 536,000 수어 영상에 대한 형태소 및 비수지 요소 가공값(json 파일)
    • 총 536,000 수어 영상에 대한 30fps 분할 이미지에 대한 keypoint 값(json 파일)
  • 저작도구 설명서 및 저작도구 다운로드

    저작도구 설명서 다운로드 저작도구 다운로드
  • AI 모델 상세 설명서 다운로드

    AI 모델 다운로드
  • 데이터 성능 점수

    측정값 (%)
    기준값 (%)

    데이터 성능 지표

    데이터 성능 지표
    번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수
    1 수어 문장 인식 성능 개선률 Video Recognition 비공개 BLEU 0.9835 0.9883
    2 한국 수어 인식률 Video Recognition weekly supervised learning WER 35 % 26.73958333 %

    ※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.

    ※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)

  • 설명서 및 활용가이드 다운로드

    데이터 설명서 다운로드 구축활용가이드 다운로드

    ※ 이 데이터에 포함된 인물의 얼굴 등에 대해서는 개인정보 및 초상권의 이용 동의를 받아 제공합니다.

     

    데이터 변경이력

    데이터 변경이력
    버전 일자 변경내용 비고
    1.0 2021.06.18 데이터 최초 개방  

    구축목적

    • 한국수어 인식 인공지능 기술 및 서비스 개발에 활용 가능한 대규모 한국 수어 영상 데이터셋 구축

    활용분야

    • 농인-청인 간의 커뮤니케이션 분야, 공공장소 안내 서비스 (병원, 지하철, 공항, 역사), 모바일 어플리케이션(한국어-한국수어 실시간 번역 시스템, 텍스트 입력 시스템) 등

    소개

    • 길찾기/교통/주소와 관련된 한국수어와 지숫자, 지문자의 데이터를 영상 클립으로 생성하고, 영상으로부터 손에 대한 키포인트를 생성하여 총 536,000개의 영상데이터 구축을 목표로 함

     

    수어 영상- 소개

     

    구축 내용 및 제공 데이터량

    • 총 536,000 수어영상 클립(.mp4 파일) 
      - 수어문장 2000개, 수어단어 3000개, 지숫자/지문자 1000개에 대한 영상
      - 스튜디오 직접 촬영으로 언어제공자 20명에게서 5각도 동시 촬영한 수어문장/단어 영상(500,000 수어영상 클립)
      - 크라우드소싱 촬영으로 언어제공자 21명에게서 수집한 지수어 영상(21,000클립)
      - 아바타로 제작한 수어문장/단어 영상(15,000 클립)
    • 총 536,000 수어 영상에 대한 형태소 및 비수지 요소 가공값(json 파일)
    • 총 536,000 수어 영상에 대한 30fps 분할 이미지에 대한 keypoint 값(json 파일)

     

    대표도면

    수어영상
    • 데이터 항목
      - 형태소비수지
    • json 형태
    
    {"0":
    {"metaData":
    {"url":"http://52.231.159.158
    :[{"start":"1.694","end":"2.020","attributes":
    [{"name":"화장실"}]}
    ,{"start":"2.027","end":"3.648","attributes":
    [{"name":"있다","attribute":["의문사없는 의문형"]}]}]}}
    
    
    영상에서 분활한 이미지
    • 데이터 항목 : 특징점(Keypoint) 좌표
      - Right hand (21)
      - Left hand (21)
      - Pose (25)
      - Face (70)수어 영상- 대표도면- 영상에서 분활한 이미지

       

    • json 형태
    
    ,"hand_left_keypoints_2d":
    [1143.58,974.645,0.654592,1114.86,992.833,0.735167,1097.63,1027.29,0.826771,
    1095.71,1060.8,0.792472,1097.63,1087.6,0.794426,1123.47,
    1052.18,0.839221,1120.6,1091.43,0.734 
    ... (생략)
    ,"hand_right_keypoints_2d":
    [732.281,968.632,0.606077,756.648,995.923,0.733027,773.218,
    1033.94,0.846974,779.066,1072.92,0.688546,777.116,1098.27,0.535953,741.053,
     ... (생략)
    
    

    필요성

    • 사회적 약자를 위한 기술의 연구 및 개발이 활발히 진행되고 있으며, 그에 따른 서비스 또한 확장되고 있음. 인공지능 기술을 통해 사회적 약자의 생활을 개선할 수 있는 방향으로 연구 분야가 지속적으로 확대 중임
    • 많은 수의 농인들은 한국어를 읽거나 이해하지 못하고 수어를 통해서만 의사소통이 가능한 경우가 대부분임. 농인들이 사회에서 다양한 활동을 하기 위해서는 한국어와 수어의 통역이 필요하며 시간과 공간에 제약이 없어야 함
    • 수어 인식 인공지능모델 개발 등을 통해 상기 문제에 대해 일부는 도움이 될 것으로 기대됨.

    데이터 구조

    특허 데이터 구축내용 표 (구축년도,데이터종류,포함내용,제공방식)
    Keypoint 가공 Pose 25개 키포인트 각각의 x,y,confidence값
    left hand 21개 키포인트 각각의 x,y,confidence값
    right hand 21개 키포인트 각각의 x,y,confidence값
    face 70개 키포인트 각각의 x,y,confidence값
    형태소/비수지가공 구분 Tag Attributes 설명
    Meta URL - 수어동영상 경로
    Meta Duration - 수어동영상 전체 구간
    Meta ExportedOn - json 다운로드 받은 날짜
    data start - 해당 형태소 구간의 시작 시각
    data end - 해당 형태소 구간의 종료 시각
    data attributes name 해당 형태소의 표제어
    data attribute 해당 형태소의 비수지 요소
  • 데이터셋 구축 담당자

    수행기관(주관) : 테스트웍스
    수행기관(주관)
    책임자명 전화번호 대표이메일 담당업무
    AI DATA 사업본부 02-423-5178 aiworks_data@testworks.co.kr · 데이터셋 수집 및 가공 · 저작도구 개발 · 모델 검증 · 시범서비스 ‘지하철 역사 안내 서비스’ 외 1종 개발
    수행기관(참여)
    수행기관(참여)
    기관명 담당업무
    나사렛대학교 · 수어 원천데이터 선정 및 정제
    · 수어 영상 데이터 수집
    KAIST RCV · 데이터셋 활용한 모델 검증
    이큐포올 · 가상데이터 생성 및 제공
    · 아바타 서비스 생성
    한국농아인협회 · 데이터셋 수집
    · 데이터셋 검수
    데이터 관련 문의처
    데이터 관련 문의처
    담당자명 전화번호 이메일
    AI DATA 사업본부(테스트웍스) 02-423-5178 aiworks_data@testworks.co.kr
보건의료 데이터 개방 안내

보건의료 데이터는 온라인 및 오프라인 안심존을 통해 개방됩니다.

안심존이란 안심존 이용메뉴얼 안심존 이용신청
  • 인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
    * 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
    * 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석

    1. AI 허브 접속
      신청자
    2. 안심존
      사용신청
      신청자신청서류 제출*
    3. 심사구축기관
    4. 승인구축기관
    5. 데이터 분석 활용신청자
    6. 분석모델반출신청자
  • 1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기]
    2. 기관생명윤리위원회(IRB) 승인된 연구계획서
    3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
    4. 안심존 이용 신청서 [다운로드]
    5. 보안서약서 [다운로드]
    ※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다.

  • 신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의

데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.

API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.

리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.

※ 파일 병합 리눅스 명령어

find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"

- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.

- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.

※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.