콘텐츠로 건너뛰기 메뉴로 건너뛰기 푸터로 건너뛰기
데이터를 불러오고 있습니다
데이터를 저장하고 있습니다
#이미지 # 사운드 # 멀티모달 # 상관관계 학습 # 매칭검색

이미지 사운드 매칭 데이터

이미지 사운드 매칭 데이터 아이콘 이미지
  • 분야문화관광
  • 유형 오디오 , 이미지
구축년도 : 2022 갱신년월 : 2023-12 조회수 : 13,301 다운로드 : 126 용량 :
샘플 데이터 ?

샘플데이터는 데이터의 이해를 돕기 위해 별도로 가공하여 제공하는 정보로써 원본 데이터와 차이가 있을 수 있으며,
데이터에 따라서 민감한 정보는 일부 마스킹(*) 처리가 되어 있을 수 있습니다.

※ 내국인만 데이터 신청이 가능합니다.

  • 데이터 변경이력

    데이터 변경이력
    버전 일자 변경내용 비고
    1.1 2023-12-08 데이터 최종 개방
    1.0 2023-07-31 데이터 개방(Beta Version)

    데이터 히스토리

    데이터 히스토리
    일자 변경내용 비고
    2023-12-29 산출물 전체 공개

    소개

    이미지와 사운드라는 서로 다른 특징을 가지는 매체 간의 상관관계를 학습하기 위한 AI 학습용 데이터
     이미지 표상 학습(image representation learning)에 적합한 이미지 데이터
      100,000장
     사운드 표상 학습(sound representation learning)에 적합한 사운드 데이터
      10,000개

    구축목적

    두 개의 다른 모달리티(Modality)를 가지는 매체(이미지, 사운드) 간의 상관관계를 딥러닝 모델을 이용하여 파악하고, 이를 크로스-모달 검색(Cross⎽Modal search) 및 retrieval(매칭 검색)에 활용하기 위한 인공지능학습용 데이터
  •  1. 데이터 구축 규모

       데이터 구축 규모

    데이터 구축 규모
    구분 수집 정제 가공
    이미지 데이터 300,000장 100,000장 100,000장
    사운드 데이터 13,000건 11,000건 10,000건

     

    데이터 분포

    데이터 분포
    구분 이미지 학습 데이터 사운드 학습 데이터
    요리 36,400 3,640
    교통 7,800 780
    생활·가전 25,350 2,535
    농기계 7,200 720
    전통 19,350 1,935
    운동 3,900 390
    100,000 10,000

    클래스별 수량

     
    클래스별 수량
    카테고리 클래스 사운드 이미지 비율
    요리  썰기 1,170 11,700 11.7
    채소 다지기 195 1,950 1.95
    고기 다지기 65 650 0.65
    튀기기 650 6,500 6.5
    전 부치기 260 2,600 2.6
    굽기 260 2,600 2.6
    무치기 195 1,950 1.95
    깍기 260 2,600 2.6
    끓이기 260 2,600 2.6
    따르기 195 1,950 1.95
    탄산따르기 130 1,300 1.3
    교통 차량 주행 260 2,600 2.6
    차량 공회전 260 2,600 2.6
    선박 운항 130 1,300 1.3
    경고음 130 1,300 1.3
    생활 가전 커피 내리기 195 1,950 1.95
    커피콩 갈기 130 1,300 1.3
    커피콩 볶기 65 650 0.65
    드라이어 사용 65 650 0.65
    선풍기 사용 195 1,950 1.95
    압력밥솥 사용 130 1,300 1.3
    믹서기 사용 260 2,600 2.6
    주전자 사용 130 1,300 1.3
    전동 면도하기 130 1,300 1.3
    면도하기 65 650 0.65
    이발하기 195 1,950 1.95
    전동 안마하기 130 1,300 1.3
    안마하기 130 1,300 1.3
    키보드 치기 130 1,300 1.3
    전자레인지 사용 65 650 0.65
    냉장고 사용 65 650 0.65
    에어컨 사용 65 650 0.65
    세탁기 사용 130 1,300 1.3
    캐리어 사용 65 650 0.65
    청소기 사용 195 1,950 1.95
    농기계 콤바인 작업 120 1,200 1.2
    분무기 작업 60 600 0.6
    예초기 작업 120 1,200 1.2
    스프링클러 동작 60 600 0.6
    경운기 작업 180 1,800 1.8
    트렉터 작업 120 1,200 1.2
    양수기 동작 60 600 0.6
    전통 교회 종 60 600 0.6
    사찰 종 60 600 0.6
    구세군 종 60 600 0.6
    학교 차인벨 60 600 0.6
    프론트 벨 60 600 0.6
    식당 벨 60 600 0.6
    버스 벨 60 600 0.6
    초인종 60 600 0.6
    물레방아 60 600 0.6
    풍로 사용 60 600 0.6
    석유풍로 사용 60 600 0.6
    먹 갈기 60 600 0.6
    괘종시계 65 650 0.65
    타자 치기 60 600 0.6
    다듬이질 65 650 0.65
    숫돌 갈기 60 600 0.6
    키질 60 600 0.6
    싸리비 질 60 600 0.6
    확독 갈기 60 600 0.6
    대패질 60 600 0.6
    작두질 60 600 0.6
    절구질 60 600 0.6
    맷돌 갈기 60 600 0.6
    불 지피기 120 1,200 1.2
    횃불 60 600 0.6
    엿장수 120 1,200 1.2
    화투치기 180 1,800 1.8
    떡메질 65 650 0.65
    운동 탁구 치기 65 650 0.65
    당구 치기 65 650 0.65
    골프 치기 65 650 0.65
    자전거 타기 65 650 0.65
    볼링 치기 65 650 0.65
    런닝머신 운동 65 650 0.65
    합계 76개 클래스 10,000 100,000 100

     

  • 저작도구 설명서 및 저작도구 다운로드

    저작도구 설명서 다운로드 저작도구 다운로드
  • AI 모델 상세 설명서 다운로드

    AI 모델 상세 설명서 다운로드 AI 모델 다운로드

    □ 이미지 사운드 매칭 인공지능 모델

     이미지 사운드 매칭 인공지능 모델

             이미지-사운드 Pair Set이 입력되면 이미지와 사운드 데이터는 Inception V3와 YAMNet 알고리즘을 이용하여 특징점을 추출한 후
        Contrastive Learning 알고리즘을 이용하여 동일 클래스에 포함된 이미지와 사운드
         데이터는 상관관계(특징점 거리)가 가까워지도록 학습하고
        Contrastive Learning 알고리즘에 의해 이미지와 사운드 데이터 간의 상관관계가 있는
         이미지-사운드데이터의 특징과 상관관계 정보를 인덱싱하여 이미지와 사운드 데이터
         로 각각 분리하여 DATA BASE를 구축하여
        신규 이미지 또는 사운드데이터가 입력될 경우, KNN 알고리즘을 이용하여 인덱싱
         DATA BASE에서 교차 검색을 통해 이미지-사운드데이터 간의 매칭 적합성이 높은
         5개의 교차 된 데이터를 추출하여 매칭 결과로 합하여 출력함


    Image to Sound
    Sound to Image


      ○ 이미지 사운드 매칭 구조도

    이미지 사운드 매칭 구조도

       신규 이미지가 입력되면 Inception V3 알고리즘으로 이미지 특징점을 추출
        추출된 이미지 특징점 벡터와 유사도가 높은 사운드 특징점을 Sound Embedding
         Indexing DB에서 KNN 알고리즘으로 검색
        Recall@5 검색 결과 리턴
        입력된 이미지의 특징점 추출결과를 KNN 알고리즘이 유사도를 검색하여 정확도    가 높게 리턴된 5개의 결과값 중 사운드와 동일한 클래스에 존재하면 유효성 적합

     ○ Sound-to-Image 매칭
        신규 사운드가 입력되면 YAMNet 알고리즘으로 사운드 특징점을 추출
        추출된 사운드 특징점 벡터와 유사도가 높은 이미지 특징점을 Image Embedding
         Indexing DB에서 KNN 알고리즘으로 검색
        Recall@5 검색 결과 리턴
        입력된 사운드의 특징점 추출 결과를 KNN 알고리즘이 유사도를 검색하여 정확도가 
         높게 리턴된 5개의 결과 중 이미지와 동일 클래스에 존재하면 유효성 적합

     

  • 데이터 성능 점수

    측정값 (%)
    기준값 (%)

    데이터 성능 지표

    데이터 성능 지표
    번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수
    1 이미지 분류 성능 Image Classification Inception V3 AccuracyTop-1 80 % 99.33 %
    2 사운드 분류 성능 Audio Classification YAMNet AccuracyTop-1 65 % 87.35 %
    3 크로스모달 기반 이미지->사운드 매칭 검색 성능 Estimation Inception V3, YAMNet, Contrastive Metric Learning Recall@5 60 % 99.3 %
    4 크로스모달 기반 사운드->이미지 매칭 검색 성능 Estimation Inception V3, YAMNet, Contrastive Metric Learning Recall@5 50 % 86.34 %

    ※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.

    ※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)

  • 설명서 및 활용가이드 다운로드

    데이터 설명서 다운로드 구축활용가이드 다운로드

     

    1. 데이터 포맷

     


       이미지 : JPG

    데이터 포맷 이미지 JPG

       사운드 : WAVE
    사운드 WAVE

    어노테이션 포맷
     이미지 : JSON

     이미지 JSON

     사운드 : JSON

    사운드 JSON

    3. 데이터 구성
       데이터 구성 및 구분정보

    데이터 구성 및 구분정보
    경로 구분 정보 구분자 정보
    1차 경로 데이터 종류(이미지/사운드) 폴더
    2차 경로 원천데이터/라벨링 데이터 폴더
    3차 경로 클래스 구분 폴더

     

    파일명/폴더명 구성 정보

     
    파일명/폴더명 구성 정보

    예시
    세부 구성 설명
    Ÿ 원천 파일명
     - SM_썰기_배추_000001.wav
     - IM_썰기_배추_000001.jpg


    Ÿ 라벨링 파일명
     - SM_썰기_배추_000001.json
     - IM_썰기_배추_000001.json
    Ÿ 원천 파일명
     - 데이터분류_classid(Lv1)_Tag명_이미지 순번.wav
     - 데이터분류_classid(Lv1)_Tag명_이미지 순번.jpg


    Ÿ 라벨링 파일명
     - 데이터분류_classid(Lv1)_Tag명_이미지 순번.json
     - 데이터분류_classid(Lv1)_Tag명_이미지 순번.json

     

  • 데이터셋 구축 담당자

    수행기관(주관) : 전주대학교 산학협력단 컨소시엄
    수행기관(주관)
    책임자명 전화번호 대표이메일 담당업무
    김병오 kbo@jj.ac.kr 사업총괄 책임자
    수행기관(참여)
    수행기관(참여)
    기관명 담당업무
    (유)엔와이텔 수집 : 이미지 데이터, 사운드 데이터
    정제 : 이미지 데이터
    가공 : 이미지 데이터
    응용 : 활용 서비스(웹, 모바일 웹)
    ㈜아큐리스 정제 : 사운드 데이터
    가공 : 사운드 데이터
    (재)전주정보문화산업진흥원 수집 : 사운드 데이터
    홍보 : 언론 및 기관 홍보
    확산 : 경진대회
    ㈜아워텍 인공지능 학습모델
    데이터 관련 문의처
    데이터 관련 문의처
    담당자명 전화번호 이메일
    김병오 kbo@jj.ac.kr
보건의료 데이터 개방 안내

보건의료 데이터는 온라인 및 오프라인 안심존을 통해 개방됩니다.

안심존이란 안심존 이용메뉴얼 안심존 이용신청
  • 인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
    * 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
    * 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석

    1. AI 허브 접속
      신청자
    2. 안심존
      사용신청
      신청자신청서류 제출*
    3. 심사구축기관
    4. 승인구축기관
    5. 데이터 분석 활용신청자
    6. 분석모델반출신청자
  • 1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
    2. 기관생명윤리위원회(IRB) 승인된 연구계획서
    3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
    4. 안심존 이용 신청서 [다운로드]
    5. 보안서약서 [다운로드]
    ※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다.

  • 신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의

데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.

API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.

리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.

※ 파일 병합 리눅스 명령어

find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"

- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.

- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.

※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.