-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.1 2023-12-08 데이터 최종 개방 1.0 2023-07-31 데이터 개방(Beta Version) 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2023-12-29 산출물 전체 공개 소개
이미지와 사운드라는 서로 다른 특징을 가지는 매체 간의 상관관계를 학습하기 위한 AI 학습용 데이터 이미지 표상 학습(image representation learning)에 적합한 이미지 데이터 100,000장 사운드 표상 학습(sound representation learning)에 적합한 사운드 데이터 10,000개
구축목적
두 개의 다른 모달리티(Modality)를 가지는 매체(이미지, 사운드) 간의 상관관계를 딥러닝 모델을 이용하여 파악하고, 이를 크로스-모달 검색(Cross⎽Modal search) 및 retrieval(매칭 검색)에 활용하기 위한 인공지능학습용 데이터
-
메타데이터 구조표 데이터 영역 문화관광 데이터 유형 오디오 , 이미지 데이터 형식 이미지 : JPG 사운드 : WAVE 데이터 출처 이미지 : 직접 촬영 사운드 : 직접 녹음 라벨링 유형 이미지 : 바운딩박스 사운드 : 분류 라벨 라벨링 형식 이미지 : JSON 사운드 : JSON 데이터 활용 서비스 이미지-사운드 매칭 서비스 데이터 구축년도/
데이터 구축량2022년/ 이미지 : 100,000장 사운드 : 10,000개 -
1. 데이터 구축 규모
데이터 구축 규모
구분 수집 정제 가공 이미지 데이터 300,000장 100,000장 100,000장 사운드 데이터 13,000건 11,000건 10,000건 데이터 분포
구분 이미지 학습 데이터 사운드 학습 데이터 요리 36,400 3,640 교통 7,800 780 생활·가전 25,350 2,535 농기계 7,200 720 전통 19,350 1,935 운동 3,900 390 계 100,000 10,000 클래스별 수량
카테고리 클래스 사운드 이미지 비율 요리 썰기 1,170 11,700 11.7 채소 다지기 195 1,950 1.95 고기 다지기 65 650 0.65 튀기기 650 6,500 6.5 전 부치기 260 2,600 2.6 굽기 260 2,600 2.6 무치기 195 1,950 1.95 깍기 260 2,600 2.6 끓이기 260 2,600 2.6 따르기 195 1,950 1.95 탄산따르기 130 1,300 1.3 교통 차량 주행 260 2,600 2.6 차량 공회전 260 2,600 2.6 선박 운항 130 1,300 1.3 경고음 130 1,300 1.3 생활 가전 커피 내리기 195 1,950 1.95 커피콩 갈기 130 1,300 1.3 커피콩 볶기 65 650 0.65 드라이어 사용 65 650 0.65 선풍기 사용 195 1,950 1.95 압력밥솥 사용 130 1,300 1.3 믹서기 사용 260 2,600 2.6 주전자 사용 130 1,300 1.3 전동 면도하기 130 1,300 1.3 면도하기 65 650 0.65 이발하기 195 1,950 1.95 전동 안마하기 130 1,300 1.3 안마하기 130 1,300 1.3 키보드 치기 130 1,300 1.3 전자레인지 사용 65 650 0.65 냉장고 사용 65 650 0.65 에어컨 사용 65 650 0.65 세탁기 사용 130 1,300 1.3 캐리어 사용 65 650 0.65 청소기 사용 195 1,950 1.95 농기계 콤바인 작업 120 1,200 1.2 분무기 작업 60 600 0.6 예초기 작업 120 1,200 1.2 스프링클러 동작 60 600 0.6 경운기 작업 180 1,800 1.8 트렉터 작업 120 1,200 1.2 양수기 동작 60 600 0.6 전통 교회 종 60 600 0.6 사찰 종 60 600 0.6 구세군 종 60 600 0.6 학교 차인벨 60 600 0.6 프론트 벨 60 600 0.6 식당 벨 60 600 0.6 버스 벨 60 600 0.6 초인종 60 600 0.6 물레방아 60 600 0.6 풍로 사용 60 600 0.6 석유풍로 사용 60 600 0.6 먹 갈기 60 600 0.6 괘종시계 65 650 0.65 타자 치기 60 600 0.6 다듬이질 65 650 0.65 숫돌 갈기 60 600 0.6 키질 60 600 0.6 싸리비 질 60 600 0.6 확독 갈기 60 600 0.6 대패질 60 600 0.6 작두질 60 600 0.6 절구질 60 600 0.6 맷돌 갈기 60 600 0.6 불 지피기 120 1,200 1.2 횃불 60 600 0.6 엿장수 120 1,200 1.2 화투치기 180 1,800 1.8 떡메질 65 650 0.65 운동 탁구 치기 65 650 0.65 당구 치기 65 650 0.65 골프 치기 65 650 0.65 자전거 타기 65 650 0.65 볼링 치기 65 650 0.65 런닝머신 운동 65 650 0.65 합계 76개 클래스 10,000 100,000 100 -
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드□ 이미지 사운드 매칭 인공지능 모델
이미지-사운드 Pair Set이 입력되면 이미지와 사운드 데이터는 Inception V3와 YAMNet 알고리즘을 이용하여 특징점을 추출한 후
Contrastive Learning 알고리즘을 이용하여 동일 클래스에 포함된 이미지와 사운드
데이터는 상관관계(특징점 거리)가 가까워지도록 학습하고
Contrastive Learning 알고리즘에 의해 이미지와 사운드 데이터 간의 상관관계가 있는
이미지-사운드데이터의 특징과 상관관계 정보를 인덱싱하여 이미지와 사운드 데이터
로 각각 분리하여 DATA BASE를 구축하여
신규 이미지 또는 사운드데이터가 입력될 경우, KNN 알고리즘을 이용하여 인덱싱
DATA BASE에서 교차 검색을 통해 이미지-사운드데이터 간의 매칭 적합성이 높은
5개의 교차 된 데이터를 추출하여 매칭 결과로 합하여 출력함
Image to Sound
Sound to Image
○ 이미지 사운드 매칭 구조도
신규 이미지가 입력되면 Inception V3 알고리즘으로 이미지 특징점을 추출
추출된 이미지 특징점 벡터와 유사도가 높은 사운드 특징점을 Sound Embedding
Indexing DB에서 KNN 알고리즘으로 검색
Recall@5 검색 결과 리턴
입력된 이미지의 특징점 추출결과를 KNN 알고리즘이 유사도를 검색하여 정확도 가 높게 리턴된 5개의 결과값 중 사운드와 동일한 클래스에 존재하면 유효성 적합○ Sound-to-Image 매칭
신규 사운드가 입력되면 YAMNet 알고리즘으로 사운드 특징점을 추출
추출된 사운드 특징점 벡터와 유사도가 높은 이미지 특징점을 Image Embedding
Indexing DB에서 KNN 알고리즘으로 검색
Recall@5 검색 결과 리턴
입력된 사운드의 특징점 추출 결과를 KNN 알고리즘이 유사도를 검색하여 정확도가
높게 리턴된 5개의 결과 중 이미지와 동일 클래스에 존재하면 유효성 적합 -
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 이미지 분류 성능 Image Classification Inception V3 AccuracyTop-1 80 % 99.33 % 2 사운드 분류 성능 Audio Classification YAMNet AccuracyTop-1 65 % 87.35 % 3 크로스모달 기반 이미지->사운드 매칭 검색 성능 Estimation Inception V3, YAMNet, Contrastive Metric Learning Recall@5 60 % 99.3 % 4 크로스모달 기반 사운드->이미지 매칭 검색 성능 Estimation Inception V3, YAMNet, Contrastive Metric Learning Recall@5 50 % 86.34 %
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드1. 데이터 포맷
이미지 : JPG
사운드 : WAVE
어노테이션 포맷
이미지 : JSON
사운드 : JSON
3. 데이터 구성
데이터 구성 및 구분정보경로 구분 정보 구분자 정보 1차 경로 데이터 종류(이미지/사운드) 폴더 2차 경로 원천데이터/라벨링 데이터 폴더 3차 경로 클래스 구분 폴더 파일명/폴더명 구성 정보
예시세부 구성 설명 원천 파일명
- SM_썰기_배추_000001.wav
- IM_썰기_배추_000001.jpg
라벨링 파일명
- SM_썰기_배추_000001.json
- IM_썰기_배추_000001.json 원천 파일명
- 데이터분류_classid(Lv1)_Tag명_이미지 순번.wav
- 데이터분류_classid(Lv1)_Tag명_이미지 순번.jpg
라벨링 파일명
- 데이터분류_classid(Lv1)_Tag명_이미지 순번.json
- 데이터분류_classid(Lv1)_Tag명_이미지 순번.json -
데이터셋 구축 담당자
수행기관(주관) : 전주대학교 산학협력단 컨소시엄
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 김병오 kbo@jj.ac.kr 사업총괄 책임자 수행기관(참여)
수행기관(참여) 기관명 담당업무 (유)엔와이텔 수집 : 이미지 데이터, 사운드 데이터
정제 : 이미지 데이터
가공 : 이미지 데이터
응용 : 활용 서비스(웹, 모바일 웹)㈜아큐리스 정제 : 사운드 데이터
가공 : 사운드 데이터(재)전주정보문화산업진흥원 수집 : 사운드 데이터
홍보 : 언론 및 기관 홍보
확산 : 경진대회㈜아워텍 인공지능 학습모델 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 김병오 kbo@jj.ac.kr
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.