멀티모달 영상 AI 데이터

Multimodal Video AI Training Dataset

• AI 개발에 공통적으로 활용 가능한 데이터셋 확보
• 영상, 음성, 텍스트 등의 데이터 타입을 제공함으로써 다양한 AI 분야에 적용 가능
• 하나의 상황에 대해 여러 타입의 데이터를 제공함으로써 멀티모달 데이터 분석 가능

• 지능형 서비스 로봇
• CCTV 영상 분석
• 챗봇 어플리케이션

• ㈜아크릴의 Jonathan Intelligence System에 탑재된 감성 인식, 객체 인식 기술에 활용

100시간 분량의 멀티모달 영상 데이터셋 구축

• AI 8종 임무유형을 고려한 의미정보 부착
  - 감정, 성별, 연령대, 발화 스크립트, 개체 및 관계 정보, 상황 설명 정보, 발화별 대화 의도 및 대화 전략 정보
  * AI 8종 임무유형: 감정인식, 개체인식, 성별/나이 인식, 관계분석, 멀티모달 영상 질의응답, 단일 발화 의도 분석, 복수 발화 의도 분석, 음성인식

• 현재 공개된 멀티모달 영상 데이터는 인공지능 학습 데이터로 사용하기에는 규모가 크지 않아 대규모의 학습 데이터의 제작이 필요함 
• 기존 데이터는 저작권 및 초상권 문제, 연구개발 목적으로의 사용 제약 등 데이터 활용에 제한이 있음
• 국내 서비스에 적용하기 위해서는 국내 상황에 맞는 인물(감정), 개체, 대화내용(맥락), 상황정보 등 의미정보가 포함된 대규모의 데이터가 필요함

• 110시간 17분 분량의 멀티모달 영상 데이터셋 구축
  - 총 6,000개 영상 클립
  - 총 발화 정보: 85,077개
• AI 8종 임무유형을 고려한 감정, 성별, 연령대, 발화 스크립트, 개체 및 관계 정보, 상황 설명 정보, 발화별 대화 의도 및 대화 전략 정보 의미정보 부착
• 감정인식, 개체인식, 성별/나이 인식, 관계분석, 멀티모달 영상 질의응답, 단일 발화 의도 분석, 복수 발화 의도 분석, 음성인식 등 AI 서비스 개발이 가능하도록 데이터 구축

• 데이터 폴더 구조

• ./0001-0400/clip_(id)/[clip_(id).json, clip_(id).mp4] - 1번 clip 부터 400번 clip 까지 모아둔 폴더명 : 0001-0400 - clip id 원본 영상 데이터와 어노테이션 json 파일이 묶여있는 폴더명 : clip_(id) - clip id 원본 영상 데이터 : clip_(id).mp4 - clip id 원본 영상 어노테이션 데이터 json 파일 : clip_(id).json
• 데이터 구조는 감정, 성별, 연령대, 발화 스크립트, 개체 및 관계 정보, 상황 설명 정보, 발화별 대화 의도 및 대화 전략 등 정보를 포함하며 각 구조 정보는 아래 그림 및 표와 같이 구성

[ 데이터 항목 및 설명 ]

[ 각 데이터 항목에 대한 라벨명 및 예시 ]

수행기관(주관) : ㈜아크릴

수행기관(참여)