멀티모달영상 학습지원도구

소개
  • ‘학습지원도구’는 데이터 검증용 AI 모델을 전처리, 학습, 배포, 테스트가 가능하도록 지원하는 GUI 기반 서비스입니다.
  • 사용자는 데이터 검증용 AI 모델을 코드 수정 필요 없이 하이퍼파라미터 등 원하는 설정값을 입력하여 AI 모델을 개발할 수 있습니다.
데이터 검증용 AI 모델 내용
개체 인식 영상 내 개체의 위치를 감지하고, 개체의 종류를 인식
성별/나이 인식 이미지 내 인물의 나이와 성별을 인식
음성 인식 화자의 음성을 인식하여 문장으로 출력
멀티모달 감정 인식 텍스트, 오디오, 이미지 감정에 대한 통합 감정을 인식
텍스트 감정 인식 텍스트에 대한 감정 인식
음성 감정 인식 음성에 대한 감정 인식
이미지 감정 인식 이미지에 대한 감정 인식
단일 발화의도 분석 발화 문장 입력 시 문장의 발화의도 분석
복수 발화의도 분석 인물들의 대화를 중심으로 관심사 분석
관계분석 이미지 내 개체의 종류 인식 및 개체 간의 관계를 인식
멀티모달 영상 질의응답 입력된 이미지와 질문을 분석하여 단답형 정답을 출력

< 데이터 검증용 AI 모델>

*사용자는 데이터 검증용 AI 모델을 코드 수정 필요 없이 하이퍼파라미터 등 원하는 설정값을 입력하여 AI 모델을 개발할 수 있습니다.

필요성
  • 학습지원도구를 제공함으로써 AI 분야의 높은 진입장벽을 완화하고, AI 모델 및 서비스 개발 시 사용자 친화적인 개발 환경을 조성합니다.
원본 데이터
  • 학습지원도구에 활용되는 멀티모달 영상 AI 데이터는 데이터 검증용 AI 모델이 개발 가능하도록 다양한 의미 정보가 부착되어 있습니다.
  • 데이터 구조는 감정, 성별, 연령대, 발화 스크립트, 개체 및 관계 정보, 상황 설명 정보, 발화별 대화 의도 및 대화 전략 등 정보를 포함하며 각 구조 정보는 아래 그림 및 표와 같이 구성되어 있습니다.

 

image
< 데이터 구조도 >

 

항목 설명
결과물의 형태 1~3분 내외의 대화를 포함하는 영상 파일과 영상을 설명하는 메타파일
인물 감정 기쁨, 슬픔, 분노, 놀람, 공포, 경멸, 혐오, 중립(총 8종) 표기
arousal(감정의 강도): 1(약함)~10(강함)의 값을 가지며 중간값은 5
valence(감정의 긍부정도): 1(부정)~10(긍정)의 값을 가지며 중간값은 5
인물 별 성별 영상에 나오는 인물 별 성별 2종(남, 여) 표기
인물 별 연령대 10대 이하, 10대, 20대, 30대, 40대, 50대, 60대 이상 (총 7종) 표기
발화 스크립트 인물 별 발화 스크립트 표기
개체 정보 개체 위치, 개체 분류
관계 정보 17종의 개체 관계(위치/행동 관계)
상황 설명 정보 대화 전체의 주제에 대한 설명
질문/답변 이미지에 대한 질문/답변 정보
발화 의도 진술/주장, 질문, 명령/요청, 약속, 표출, 응대/답변, 인사/부르기/환기, 기타 등 8종 내외의 발화 의도 표기
대화 전략 분류 정보 CMU RAPT 데이터셋의 7가지 대화전략 카테고리 기반 정보 표기: 자기대화(SD), 질문대화(QESD), 공감대화(RSD), 칭찬대화(PR), 비윤리적대화(VSN), 완곡대화(IN), 비언어적대화(BC)

< 데이터 항목 및 설명 >

 

*학습지원도구에 활용되는 데이터의 자세한 설명 및 구조는 데이터 소개 매뉴얼을 참고하세요. 

사용방법
  •  학습지원도구는 Create – Train – Release&Run – Test 단계로 구성되어 있습니다.

 

  • Create(학습 데이터 생성) 
    AI 모델을 학습하는데 사용할 데이터를 생성하는 단계로 학습할 데이터 크기를 정하고, 데이터 전처리 과정을 수행합니다.
image
<Create화면>
  • Train(학습)
    AI 모델의 학습을 수행하는 단계로 하이퍼파라미터 설정을 통한 학습 수행 기능을 비롯하여, 학습 중지, 학습 이력 확인, 텐서보드를 통한 학습 현황을 파악할 수 있습니다.
image
<Train 화면>

 

  • Release&Run(AI 모델 실행)
    학습된 AI 모델을 실행하는 단계로 사용자가 원하는 성능의 모델을 선택하고 실행합니다. 

 

image
<Release&Run 화면>
  • Test(모델 테스트)
    데이터를 사용자가 실행한 모델에 입력하여 테스트를 수행합니다.
image
<Test 화면: 관계분석 테스트 예시>

*학습지원도구의 자세한 사용방법 및 설치 방법은 매뉴얼을 참고하세요.