AI-Hub

데이터 변경이력

데이터 히스토리

소개

발화를 통하여 퇴행성 뇌질환을 파악할 수 있는 사투리가 심한 부산지역 고령층의 인공지능 데이터 구축

구축목적

사투리 사용 부산지역 고령층의 음성을 토대로 한 퇴행성 뇌질환 음성 데이터 수집을 통하여 지역 노인에 특화된 인공지능 학습용 데이터 구축

가. 데이터 구축 규모

• - 최종 인공지능 음성 데이터 총 2,200건
  - 하위 항목 데이터 각각의 총 개수는 동일, 최종 산출물 파일 형식의 차이를 기재
  - 오디오 원시데이터 2,200건, wav 원천데이터 2,200건, 어노테이션 json파일 2,200건

 나. 데이터 분포

• 구축 음성 데이터 총 개수 : 2,200개
  (1) 클래스별(A, P, N) 기준 분류
   - 환자군 : 알츠하이머(A), 파킨슨(P)
   - 정상군 : N

  가. 데이터 구축 규모

  (개) 구분	클래스별	환자 및 정상군	총합
  알츠하이머(A)	909 (103,109)	환자군 1,200 (133,494)	2,200 (236,971)
  파킨슨(P)	291 (30,385)
  정상군(N)	1,000 (103,477)	1,000 (103,477)

  
  (2) 성별(M, W) 기준 분류 

  (개) 구분	성별	총합
  남(M)	896 (96,468)	2,200 (236,971)
  여(W)	1,304 (140,503)

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

인공지능 데이터 활용 모델 개발

• 인공지능 데이터 활용 모델 개발 요약표

  인공지능 데이터 활용 모델 개발

  데이터명			AI 모델	모델성능지표		응용서비스
  부산지역 퇴행성 뇌질환자와 일반인들의 발화 정보 데이터			ResNet	F1 score		발화 분석을 통한 특정 질환 유사도 유추

  - 인공지능 음성파일 학습데이터를 활용한 2-Stage 모델링 구축 절차
  ◦ 1 Stage : Filtering and Ranking Sentences
  
  [그림  Filtering and Ranking Sentences]
  - 음성파일에 포함된 문장 중 Feature selection 기준(절발화, 반복발화, 오발화, 간투사)을 통해 선정된 중요한 Feature들을 포함한 일부 문장을 선별함
  - 선정된 일부 문장을 MelSpectrogram을 이용해 전처리함
  - 전처리된 학습데이터는 딥러닝 분류모델로 학습하여 검증데이터를 통해 F1-Score로 평가함
  - 평가 결과를 통해 F1-Score가 높은 순으로 문장 순위를 도출함
  ◦ 2 Stage : Optimal Model Selection
  
  [그림  Optimal Model Selection]
  - 도출된 문장 순위를 바탕으로 k개까지의 문장 데이터를 입력 데이터로 활용함
  - 본 AI 활용모델에서는 2 Stage 중 2-Dimension Vectorization을 적용함
  - 훈련데이터를 활용하여 ResNet 기반 분류모델을 학습하여 모델 구축 후 검증데이터를 통해 F1-Score로 평가함
  - 평가결과를 통해 최적 모델을 도출하여 테스트데이터를 이용한 F1-Score 측정을 통한 성과지표 달성

데이터 성능 점수

설명서 및 활용가이드 다운로드

가. 데이터 정보 요약

나. 데이터 포맷

• (1) 정의
  - 원시데이터 : 발화 wav파일
  - 라벨링 제공 데이터 : json파일(유니코드 기반의 UTF-8 기준으로 함)
  - 어노테이션 파일 포맷은 특정 소프트웨어에 종속되지 않고 쉽게 열고 편집할 수 있으며 어노테이션 구조를 저장하기 적합한 포맷 사용
  (2) 기본 포맷 : wav + json file 한 쌍

다. 라벨링 및 어노테이션 구조 정의

• - 라벨링 데이터는 방언 구축 시 사용된 구조를 1차 활용하되, 퇴행성 뇌질환에서 활용되는 구조를 준용함

  구분		항목명	타입	필수여부	설명	범위	비고
  1		id	String	M	지정된 파일의 이름
  2		metadata	Object	M	데이터셋정보
  	2-1	age	String	M	개인정보 확인후 자동 처리
  	2-2	gender	String	M	성별	M: 남성 F: 여성
  	2-3	state	String	M	녹음자의 특징	N: 정상 P: 파킨슨 A: 알츠하이머
  	2-4	record_date	Date	M	yyyy.mm.dd.	yyyy-mm-dd
  	2-8	bitratio	String	M	bit per second	“16,000”
  	2-5	mmseScore	Number	C	일반인의 경우 미해당	0~100
  	2-6	grade	Number	C	알츠하이머만 해당	1~5
  3		utterance	Object	M	라벨링정보 모음
  	3-1	utterance[].seq	number	M		N
  	3-2	utterance[].start	Time	M	시작점	00:00:00:00
  	3-3	utterance[].end	Time	M	끝점	00:00:00:00
  	3-4	utterance[].label	String	M	해당 라벨링 지점의 특징	정상, 단절발화, 반복발화, 오발화, 간투어
  	3-5	utterance[].note	String	M	부산 사람의 특징적 발화가 있을 경우 사투리, 없을 경우 nan 라벨링	사투리, nan

  
  ● 상기 구조에 따른 json 샘플은 다음과 같음

  {   "id": “07-09(new_9)”,   "metadata": {        "age": “64”,     "gender": "M",     "state": "A",     “record_date”: “2021-09-16”,     “bitratio": "16,000“   },   "utterance": [         {         "seq": 1,       "start": "00:00:01:23",       "end": "00:00:02:01",       "label": "오발화“,       "note": "사투리"     },     {             “seq”: 2,       "start": "00:00:03:25",       "end": "00:00:04:27",           "label": "반복발화“,            "note": "nan“     }   ] }

   

라. 데이터 구성

• - 데이터 저장소 : S3서버 > 06.품질검증 > 1.Dataset
  
  (1) 원시데이터
  
  
  (2) 원천데이터 및 라벨링데이터 : 원시데이터와 구성방식 동일

데이터셋 구축 담당자

수행기관(주관) : 동아대학교의료원

수행기관(참여)