AI-Hub

※ AI모델은 추후 공개될 예정입니다.

■ AI 모델 개발 요약표

 초거대AI 데이터 활용 AI 모델 개발 방안
 

 가. Data 1
기존 뉴튠 자체 개발 서양악기 곡 태깅 모델(ResNet기반)을 개량하여 국악 악기 및 합주 구성요소 태깅에 최적화.
기존 서양악기 레이블 체계를 국악 악기로 매핑하고, 부족한 클래스는 신규 학습.
 

- train/test셋 구성: 9:1 비율로 hold-out test set 구성 (총 60시간 중)
- 장르 태깅 모델 Input/Output: Input – 합주곡 오디오, Output – 장르 태그 예측 값
 

 나. Data 2
뉴튠 개발 서양악기 멀티트랙 태깅 및 생성 모델을 개량하여 악기별 태깅, 악기 사운드 생성, 멀티트랙 곡 생성까지 확장.
기존 모델은 Western instruments 대상 → 국악 악기별로 class 확장 및 adaptation.
세부 개발 내용
악기 태깅 모델: 서양악기용 ResNet tagging 모델을 국악 멀티트랙 데이터로 재학습.
악기 사운드 생성 모델: 기존 Diffusion 기반 음색 합성 모델을 국악 악기별로 retrain.
기존 모델 구조 재활용 + 국악 데이터 도메인 적응 학습(Domain Adaptation).
완성된 악기 및 구성요소 태깅 데이터셋과 tagging 모델 공개.
 

- train/test셋 구성: 9:1 비율로 hold-out test set 구성 (총 300여시간 중)
- 장르 태깅 모델 Input/Output: Input – 악기 오디오, Output – 악기 태그 예측 값
- 악기 생성 모델 Input/Output: Input – 빠르기, 조성 등 음악 정보 및 악기 오디오, Output – 생성된 악기 오디오

1. 라벨링 데이터 구성 요소(포맷)
 

2. 라벨링 데이터 예시
   . 0001_정악_풍류음악
 

○ 라벨링데이터(곡단위, 악기) 포맷

○ json 예시(곡 정보, 악기 정보)

{
  "project_name": "0001_정악_풍류음악",
  "master": {
    "file_name": "0001_정악_풍류음악.wav",
    "tags": {
      "sampleRate": 48000,
      "bitDepth": 24,
      "performers": "국립국악원",
      "genreMajor": "정악",
      "genreSub": "풍류음악",
      "genreDetail": "영산회상, 도드리",
      "title": "관악영산회상(삼현영산회상,표정만방지곡) 중 상령산 1장",
      "tempoBpm": 100,
      "timeSignature": "3/8",
      "recordDate": "2025-08-05",
      "moods": [
        {
          "mood": "의례적인",
          "count": 2
        },
        {
          "mood": "장엄한",
          "count": 2
        },
        {
          "mood": "절제된",
          "count": 3
        },
        {
          "mood": "진지한",
          "count": 3
        },
        {
          "mood": "차분한",
          "count": 2
        },
        {
          "mood": "품위 있는",
          "count": 4
        }
      ],
      "western_key": "Ab / Fm"
    }
  },
  "stems": [
    {
      "file_name": "0001_정악_풍류음악_대금.wav",
      "tags": {
        "instrumentMajor": "대금",
        "instrumentSub": "대금"
      }
    },
    {
      "file_name": "0001_정악_풍류음악_소금.wav",
      "tags": {
        "instrumentMajor": "기타",
        "instrumentSub": "소금"
      }
    },
    {
      "file_name": "0001_정악_풍류음악_아쟁.wav",
      "tags": {
        "instrumentMajor": "아쟁",
        "instrumentSub": "아쟁"
      }
    },
    {
      "file_name": "0001_정악_풍류음악_장구.wav",
      "tags": {
        "instrumentMajor": "타악기",
        "instrumentSub": "장구"
      }
    },
    {
      "file_name": "0001_정악_풍류음악_좌고.wav",
      "tags": {
        "instrumentMajor": "타악기",
        "instrumentSub": "좌고"
      }
    },
    {
      "file_name": "0001_정악_풍류음악_피리.wav",
      "tags": {
        "instrumentMajor": "피리",
        "instrumentSub": "피리"
      }
    },
    {
      "file_name": "0001_정악_풍류음악_해금.wav",
      "tags": {
        "instrumentMajor": "해금",
        "instrumentSub": "해금"
      }
    }
  ]
}