AI-Hub

데이터 변경이력

데이터 히스토리

소개

• 1인미디어와 메타버스 시대에 인공지능을 통해 새로운 전통음악을 창작하고 전파하여 국악 대중화의 새로운 단계를 이끌 수 있도록 최적의 AI학습용 데이터를 개발

구축목적

• 우리나라 전통음악의 음원 인식과 전통적 특성을 지닌 음원 생성을 위한 통합적 학습데이터 구축

데이터 구축 규모

1. 원천데이터 구축 규모
● 총 구축시간: 154,076초
● 파일당 평균길이: 14초

2. 원천데이터 분포
-장르별 분포 

-악기별 분포

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

1. 장르 분류 모델: Pre-trained CNN

· Keunwoo Choi et. al. (2017). Transfer Learning for Music Classification and Regression Tasks. arXiv preprint arXiv:1703.09179,https://arxiv.org/abs/1703.09179

Exponential Linear Unit(ELU)는 모든 convolution layer에서 활성화 함수(activation function)로 사용된다. (2, 4), (4, 4), (4, 5), (2, 4), (4, 4)의 max-pooling은 모든 convolution layer 후에 각각 적용된다. 모든 convolution layer에서 커널 크기는 (3, 3), 채널 수 N은 32이며 batch normalization이 사용된다. 입력은 single channel, 96 mel bins, 1360 temporal frame이다. 학습 후 1~4층의 feature map은 average pooling을 사용하여 subsampling하고, 5층의 feature map은 이미 스칼라(크기 1 × 1)이기 때문에 그대로 사용한다. 이러한 32차원 feature들을 연결하여 ConvNet feature를 형성한다.

1.1. 설치

1.2 Feature 및 파라미터
 · Log-scale Mel-spectrogram:
 · SAMPLING_RATE=16000, N_FFT=512, N_MELS=96,N_OVERLAP=256

1.3. 전처리: 가상환경 전환 및 csv 파일 만들기
· augmentaion.py
 · 데이터 증강(augmentation) 동안 입력 폴더 경로 할당.
 예: “./dataset/Fusion_gugak_S/”
 · 데이터 증강 배수 N을 main 함수 내에 지정.
 예: N = 2 는 audio 파일내의 1개 샘플당 2 개의 증강된 샘플 생성
 · 증강(augmented)된 audio 샘플은 동일 입력 폴더에 저장
 예: “./dataset/Fusion_gugak_S/”
· prepare_datasets.py
  · 할당: PATH_DATASETS = “./genre_221216_docker_project/dataset/”
  · 할당: FOLDER_CSV = “./genre_221216_docker_project/data_csv/”
  · 할당: folder_dataset_gtg = “./genre_221216_docker_project/dataset/”
  → audio 경로와 해당 라벨의 .csv 파일 생성.

1.4 테스트 셋 검증

· -fp : 테스트 셋 폴더 경로
· -N : 테스트 셋 데이터 개수 입력

2. 음원 분리 모델: Parallel Stacked Hourglass Network (PSHN)

· B. Bhattarai, Y. R. Pandeya and J. Lee, "Parallel Stacked Hourglass Network for Music Source Separation," in IEEE Access, vol. 8, pp. 206016-206027, 2020, doi: 10.1109/ACCESS.2020.3037773.

입력으로 Multiband Spectrogram이 사용된다. Spectrogram은 서로 다른 주파수 대역에서 유사한 패턴을 나타낸다. 특히 저주파는 높은 에너지로 둘러싸여 있고, 고주파는 낮은 에너지와 노이즈를 포함하고 있다. 따라서 Spectrogram을 주파수 축을 따라 반으로 나누어 두 개의 스펙트로그램을 생성하고 각 대역에 다른 convolution filter를 적용한다.

Stacked Hourglass Network(SHN)는 상위 대역, 하위 대역, 전체 대역에서 입력을 받고, 각각 Upper Band Stacked Hourglass Network(UBSHN), Lower Band Stacked Hourglass Network(LBSHN), Full Band Stacked Hourglass Network(FBSHN)를 통과한다. 이 세 가지를 모두 합친 것이 PSHN이다. UBSHN, LBSHN, FBSHN은 각각 총 4개의 Stacked Hourglass Module로 구성된다.

마스크를 추정하고 이전 Parallel hourglass module과 후속 Parallel hourglass module 사이의 spectrogram을 예측하는 과정을 중간 예측(Intermediate Predictions)이라고 한다. 상위 대역, 하위 대역 및 전체 대역 spectrogram을 위한 Stacked Hourglass module이 네 개 있다. 따라서 중간 예측을 위해 3개와 최종 예측을 위한 1개, 총 4개의 손실(loss)을 계산한다.

2.1. 설치

2.2. 전처리

· feature 및 parameter

2.3. 학습

2.4. 테스트 셋 검증

3. 자동 채보 모델: Omnizart (U-net 기반 피아노 채보 모델)

· Wu et al., (2021). Omnizart: A General Toolbox for Automatic Music Transcription. Journal of Open Source Software, 6(68), 3391, https://doi.org/10.21105/joss.03391

CNN(Convolutional Neural Network)은 합성곱 신경망으로 최소한의 전처리를 사용하도록 설계된 다계층 퍼셉트론이며 본 사업에서는 CNN을 통해 음원에서 국악 악기, 음정, 박자등의 특징점을 추출하여 분류, 분리(Separation), 자동 악보 제작(transcription)에 활용

3.1 설치

{dataset_path}에는 gugak_docker을 실행할 서버에 있는 데이터셋을 설치한 dataset 폴더 경로 입력

3.2 Feature 구성요소
· Multiplication of spectrum and cepstrum
· Spectrum of the audio.
· Generalized Cepstrum of Spectrum (GCoS)
· Cepstrum of the audio
· Central frequencies to each feature

3.3. 전처리 및 학습
· 전처리

Dataset은 String, Vocal, Wind 세가지의 폴더로 구성된다. 각 카테고리 별로 Train dataset와 Test dataset으로 나누어준다. Train dataset과 Test dataset은 mid와 wav폴더로 구성된다.
각 wav 파일에서 feature를 추출해서 ‘.hdf’ 파일로 저장하고, 각 mid 파일에서 label(정답 음계)를 추출해서 ‘.pickle’ 파일로 저장한다. 결과적으로 train_feature, test_feature 폴더가 생성된다.
· 학습

3.4 테스트 셋 검증
· 전체 test dataset에 대해 inference를 하려는 경우

· 특정 폴더에 있는 dataset에 대해 inference를 하려는 경우

→ --model에는 string(현악기), vocal(음성), wind(관악기) 선택 가능
· dataset_path로 지정된 폴더 안에는 아래와 같은 구조를 가져야 함.

데이터 성능 점수

설명서 및 활용가이드 다운로드

1. 데이터 포맷

2. 어노테이션 포맷

3. 데이터 구성
라벨링데이터 실제예시

{    "dataset_info": {
        "dataset_id": "2022_2_077_1",
        "dataset_name": "국악 음원 데이터",
        "dataset_src_path": "/data/국악/C_궁중음악",
        "dataset_ver": 6,
        "dataset_type": 3
    },
    "music_source_info": {
        "music_src_nm": "AM_C01_08594",
        "music_src_fmt": "wav",
        "music_src_type": "M",
        "music_nm_kor": "종묘제례악 중 귀인",
        "phrs_nm_kor": "",
        "play_time": 49.714,
        "music_trk_nmbr": 1,
        "multi_trk_src_file_name": "",
        "samplingRate": 44100,
        "bitDepth": 16,
        "channel": "S"
    },
    "get_info": {
        "get_place": "국립국악원"
    },
    "music_type_info": {
        "music_catagory_1": "국악",
        "music_genre_cd": "C01",
        "instrument_cd": "SR02",
        "main_instr_player": ""
    },
    "annotation_data_info": {
        "mode_cd": "MF01",
        "gukak_beat_cd": "NB0013",
        "single_tonguing_cd": [],
        "tempo": [
            {
                "annotation_category": "템포",
                "annotation_ID": 1,
                "annotation_code": 98,
                "start_time": "0.000",
                "end_time": "49.714"
            }
        ],
        "lyrics": []
    }
}

데이터셋 구축 담당자

수행기관(주관) : 전주대 산학협력단

수행기관(참여)

데이터 관련 문의처