Name: 멀티모달 영상
Published: 2019-11-20
License: http://aihub.or.kr/intro/policy

데이터셋명	멀티모달 영상
데이터 분야	비전	데이터 유형		비디오, 텍스트, 오디오
구축기관	아크릴	데이터 관련 문의처	담당자명	이현호(아크릴)
가공기관			전화번호	02-557-4958
검수기관			이메일	support@acryl.ai
구축 데이터량	100시간	구축년도		2019년
버전	1.0	최종수정일자		2019. 12. 31
소개	AI 8종 임무 유형을 고려한 감정, 성별, 연령대, 발화 스크립트, 개체 및 관계 정보, 상황 설명 정보, 발화별 대화 의도 및 대화 전략 정보 의미 정보를 구축한 영상 데이터 제공
주요 키워드	감정인식, 개체인식, 성별인식, 관계분석, 멀티모달 영상 질의응답, 음성인식
저작권 및 이용정책	본 데이터는 과학기술정보통신부가 주관하고 한국지능정보사회진흥원이 지원하는 '인공지능 학습용 데이터 구축사업'으로 구축된 데이터입니다 [데이터 이용정책 상세보기]
데이터설명서	자료보기	구축활용가이드		자료보기
샘플데이터	다운로드	교육활용동영상
저작도구	다운로드	AI모델

데이터 변경이력

데이터 변경이력
버전	일자	변경내용	비고
1.0	2019.12.31	데이터 최초 개방

구축목적

AI 개발에 공통적으로 활용 가능한 데이터셋 확보
영상, 음성, 텍스트 등의 데이터 타입을 제공함으로써 다양한 AI 분야에 적용 가능
하나의 상황에 대해 여러 타입의 데이터를 제공함으로써 멀티모달 데이터 분석 가능

활용분야

지능형 서비스 로봇
CCTV 영상 분석
챗봇 어플리케이션

사례

㈜아크릴의 Jonathan Intelligence System에 탑재된 감성 인식, 객체 인식 기술에 활용

구축량

100시간 분량의 멀티모달 영상 데이터셋 구축

AI 8종 임무유형을 고려한 의미정보 부착
- 감정, 성별, 연령대, 발화 스크립트, 개체 및 관계 정보, 상황 설명 정보, 발화별 대화 의도 및 대화 전략 정보
* AI 8종 임무유형: 감정인식, 개체인식, 성별/나이 인식, 관계분석, 멀티모달 영상 질의응답, 단일 발화 의도 분석, 복수 발화 의도 분석, 음성인식

대표도면

필요성

현재 공개된 멀티모달 영상 데이터는 인공지능 학습 데이터로 사용하기에는 규모가 크지 않아 대규모의 학습 데이터의 제작이 필요함
기존 데이터는 저작권 및 초상권 문제, 연구개발 목적으로의 사용 제약 등 데이터 활용에 제한이 있음
국내 서비스에 적용하기 위해서는 국내 상황에 맞는 인물(감정), 개체, 대화내용(맥락), 상황정보 등 의미정보가 포함된 대규모의 데이터가 필요함

구축내용

110시간 17분 분량의 멀티모달 영상 데이터셋 구축
- 총 6,000개 영상 클립
- 총 발화 정보: 85,077개
AI 8종 임무유형을 고려한 감정, 성별, 연령대, 발화 스크립트, 개체 및 관계 정보, 상황 설명 정보, 발화별 대화 의도 및 대화 전략 정보 의미정보 부착
감정인식, 개체인식, 성별/나이 인식, 관계분석, 멀티모달 영상 질의응답, 단일 발화 의도 분석, 복수 발화 의도 분석, 음성인식 등 AI 서비스 개발이 가능하도록 데이터 구축

데이터 구조

데이터 폴더 구조

./0001-0400/clip_(id)/[clip_(id).json, clip_(id).mp4] - 1번 clip 부터 400번 clip 까지 모아둔 폴더명 : 0001-0400 - clip id 원본 영상 데이터와 어노테이션 json 파일이 묶여있는 폴더명 : clip_(id) - clip id 원본 영상 데이터 : clip_(id).mp4 - clip id 원본 영상 어노테이션 데이터 json 파일 : clip_(id).json
데이터 구조는 감정, 성별, 연령대, 발화 스크립트, 개체 및 관계 정보, 상황 설명 정보, 발화별 대화 의도 및 대화 전략 등 정보를 포함하며 각 구조 정보는 아래 그림 및 표와 같이 구성

[ 데이터 항목 및 설명 ]

상식 데이터 구축내용 표 (구축년도,데이터종류,포함내용,제공방식)
항목	설명
결과물의 형태	1~3분 내외의 대화를 포함하는 영상 파일과 영상을 설명하는 메타파일
인물 감정	기쁨, 슬픔, 분노, 놀람, 공포, 경멸, 혐오, 중립(총 8종) 표기 arousal(감정의 강도): 1(약함)~10(강함)의 값을 가지며 중간값은 5 valence(감정의 긍부정도): 1(부정)~10(긍정)의 값을 가지며 중간값은 5
인물 별 성별	영상에 나오는 인물 별 성별 2종(남, 여) 표기
인물 별 연령대	10대 이하, 10대, 20대, 30대, 40대, 50대, 60대 이상 (총 7종) 표기
발화 스크립트	인물 별 발화 스크립트 표기
개체 정보	개체 위치, 개체 분류
관계 정보	17종의 개체 관계(위치/행동 관계)
상황 설명 정보	대화 전체의 주제에 대한 설명
질문/답변	이미지에 대한 질문/답변 정보
발화 의도	진술/주장, 질문, 명령/요청, 약속, 표출, 응대/답변, 인사/부르기/환기, 기타 등 8종 내외의 발화 의도 표기
대화 전략 분류 정보	CMU RAPT 데이터셋의 7가지 대화전략 카테고리 기반 정보 표기: 자기대화(SD), 질문대화(QESD), 공감대화(RSD), 칭찬대화(PR), 비윤리적대화(VSN), 완곡대화(IN), 비언어적대화(BC)

[ 각 데이터 항목에 대한 라벨명 및 예시 ]

상식 데이터 구축내용 표 (구축년도,데이터종류,포함내용,제공방식)
데이터 항목	라벨 한글명	라벨 영어명	예시
감정	기쁨	happy	오늘 정말 기분이 좋아
	놀람	surprise	믿을 수가 없어!
	분노	angry	여기는 동네 단골을 이런 식으로 대하나?
	슬픔	sad	나 진짜 너무 속상해 엄마.
	혐오	dislike	아이고, 잘도 그러겠다.
	공포	fear	이러다가 영영 안되는거아닐까 걱정되어요
	경멸	contempt	너라는 사람 정말 지긋지긋하다
	중립	neutral	이거 한번 볼래?
성별	남성	male
성별	여성	female
연령대	10대 이하	under_10s
	10대	10s
	20대	20s
	30대	30s
	40대	40s
	50대	50s
	60대	over_60s
위치 관계	~ 위에 있다	on
	~ 아래에 있다	under
	~ 앞에 있다	ahead
	~ 뒤에 있다	behind
	가까이 있다	close
	닿아 있다	reach
	~ 안에 있다	in
행동 관계	잡다	catch
	들다	lift
	밀다/당기다	pull_push
	기대다	lean
	사용하다/착용하다	use_wear
	먹다/마시다	eat_drink
	앉다	sit
	눕다	lie
	따라가다	follow
	때리다	hit
상황 설명 정보	사회	society
	패션	fashion
	연애	relationship
	교육	education
	예술	art
	문화	culture
	과학	science
	IT	it
	방송	media
	연예	entertainment
	주거	living
	음식	foods
	스포츠	sports
	여행	travel
	건강	health
질문/ 답변	질문/답변	QA	Q: 남자가 몇 명 있나요? A: 1명
발화 의도	진술/주장	statement	이렇게 해서는 장사가 안됩니다.
	질문	question	거기까지 가는데 얼마나 걸리는데?
	명령/요청	request	오늘 청소 좀 해줬으면 좋겠는데
	약속	promise	이건 내가 내일까지 해올게
	표출	expression	아이고 억울해 주겠어
	응대/답변	response	내가 안했다니까 그러네
	인사/부르기/환기	greeting_call	그건 그렇고, 어제는 무슨 일 있었어?
	기타	others
대화 전략	자기대화	SD	나는 애완동물을 좋아해
	질문대화	QESD	그래서, 너는 어디에 사니?
	공감대화	RSD	너도 xbox 게임을 좋아하니?
	칭찬대화	PR	이번에 정말 잘했어
	비윤리적대화	VSN	기분 잡치네 진짜
	완곡대화	IN	어쩌면 그게 아닐 수도 있어
	비언어적대화	BC	(머리 끄덕임, 웃음)

데이터 구축 담당자

수행기관(주관) : 아크릴

데이터 구축 담당자(주관)
책임자명	전화번호	대표이메일	담당업무
이현호	02-557-4958	support@iacryl.com	· AI 학습용 데이터 제작 · 영상 어노테이션 저작도구 개발 · 시범서비스 "GUI 기반 학습지원도구" 개발