멀티모달 영상
| 데이터셋명 | 멀티모달 영상 | |||
|---|---|---|---|---|
| 데이터 분야 | 비전 | 데이터 유형 | 비디오, 텍스트, 오디오 | |
| 구축기관 | 아크릴 | 데이터 관련 문의처 | 담당자명 | |
| 가공기관 | 전화번호 | 02-557-4958 | ||
| 검수기관 | 이메일 | support@iacryl.com | ||
| 구축 데이터량 | 100시간 | 구축년도 | 2019년 | |
| 버전 | 1.0 | 최종수정일자 | 2019. 12. 31 | |
| 소개 | AI 8종 임무 유형을 고려한 감정, 성별, 연령대, 발화 스크립트, 개체 및 관계 정보, 상황 설명 정보, 발화별 대화 의도 및 대화 전략 정보 의미 정보를 구축한 영상 데이터 제공 | |||
| 주요 키워드 | 감정인식, 개체인식, 성별인식, 관계분석, 멀티모달 영상 질의응답, 음성인식 | |||
| 저작권 및 이용정책 | 본 데이터는 과학기술정보통신부가 주관하고 한국지능정보사회진흥원이 지원하는 '인공지능 학습용 데이터 구축사업'으로 구축된 데이터입니다 [데이터 이용정책 상세보기] | |||
| 데이터설명서 | 자료보기 | 구축활용가이드 | 자료보기 | |
| 샘플데이터 | 다운로드 | 교육활용동영상 | ||
| 저작도구 | 다운로드 | AI모델 | ||
데이터 변경이력
| 버전 | 일자 | 변경내용 | 비고 |
|---|---|---|---|
| 1.0 | 2019.12.31 | 데이터 최초 개방 |
구축목적
- AI 개발에 공통적으로 활용 가능한 데이터셋 확보
- 영상, 음성, 텍스트 등의 데이터 타입을 제공함으로써 다양한 AI 분야에 적용 가능
- 하나의 상황에 대해 여러 타입의 데이터를 제공함으로써 멀티모달 데이터 분석 가능
활용분야
- 지능형 서비스 로봇
- CCTV 영상 분석
- 챗봇 어플리케이션
사례
- ㈜아크릴의 Jonathan Intelligence System에 탑재된 감성 인식, 객체 인식 기술에 활용
구축량
100시간 분량의 멀티모달 영상 데이터셋 구축
- AI 8종 임무유형을 고려한 의미정보 부착
- 감정, 성별, 연령대, 발화 스크립트, 개체 및 관계 정보, 상황 설명 정보, 발화별 대화 의도 및 대화 전략 정보
* AI 8종 임무유형: 감정인식, 개체인식, 성별/나이 인식, 관계분석, 멀티모달 영상 질의응답, 단일 발화 의도 분석, 복수 발화 의도 분석, 음성인식
대표도면
필요성
- 현재 공개된 멀티모달 영상 데이터는 인공지능 학습 데이터로 사용하기에는 규모가 크지 않아 대규모의 학습 데이터의 제작이 필요함
- 기존 데이터는 저작권 및 초상권 문제, 연구개발 목적으로의 사용 제약 등 데이터 활용에 제한이 있음
- 국내 서비스에 적용하기 위해서는 국내 상황에 맞는 인물(감정), 개체, 대화내용(맥락), 상황정보 등 의미정보가 포함된 대규모의 데이터가 필요함
구축내용
- 110시간 17분 분량의 멀티모달 영상 데이터셋 구축
- 총 6,000개 영상 클립
- 총 발화 정보: 85,077개 - AI 8종 임무유형을 고려한 감정, 성별, 연령대, 발화 스크립트, 개체 및 관계 정보, 상황 설명 정보, 발화별 대화 의도 및 대화 전략 정보 의미정보 부착
- 감정인식, 개체인식, 성별/나이 인식, 관계분석, 멀티모달 영상 질의응답, 단일 발화 의도 분석, 복수 발화 의도 분석, 음성인식 등 AI 서비스 개발이 가능하도록 데이터 구축
데이터 구조
- 데이터 폴더 구조
- ./0001-0400/clip_(id)/[clip_(id).json, clip_(id).mp4] - 1번 clip 부터 400번 clip 까지 모아둔 폴더명 : 0001-0400 - clip id 원본 영상 데이터와 어노테이션 json 파일이 묶여있는 폴더명 : clip_(id) - clip id 원본 영상 데이터 : clip_(id).mp4 - clip id 원본 영상 어노테이션 데이터 json 파일 : clip_(id).json
- 데이터 구조는 감정, 성별, 연령대, 발화 스크립트, 개체 및 관계 정보, 상황 설명 정보, 발화별 대화 의도 및 대화 전략 등 정보를 포함하며 각 구조 정보는 아래 그림 및 표와 같이 구성
[ 데이터 항목 및 설명 ]
| 항목 | 설명 |
|---|---|
| 결과물의 형태 |
1~3분 내외의 대화를 포함하는 영상 파일과 영상을 설명하는 메타파일 |
| 인물 감정 | 기쁨, 슬픔, 분노, 놀람, 공포, 경멸, 혐오, 중립(총 8종) 표기 arousal(감정의 강도): 1(약함)~10(강함)의 값을 가지며 중간값은 5 valence(감정의 긍부정도): 1(부정)~10(긍정)의 값을 가지며 중간값은 5 |
| 인물 별 성별 | 영상에 나오는 인물 별 성별 2종(남, 여) 표기 |
| 인물 별 연령대 |
10대 이하, 10대, 20대, 30대, 40대, 50대, 60대 이상 (총 7종) 표기 |
| 발화 스크립트 |
인물 별 발화 스크립트 표기 |
| 개체 정보 | 개체 위치, 개체 분류 |
| 관계 정보 | 17종의 개체 관계(위치/행동 관계) |
| 상황 설명 정보 | 대화 전체의 주제에 대한 설명 |
| 질문/답변 | 이미지에 대한 질문/답변 정보 |
| 발화 의도 | 진술/주장, 질문, 명령/요청, 약속, 표출, 응대/답변, 인사/부르기/환기, 기타 등 8종 내외의 발화 의도 표기 |
| 대화 전략 분류 정보 |
CMU RAPT 데이터셋의 7가지 대화전략 카테고리 기반 정보 표기: 자기대화(SD), 질문대화(QESD), 공감대화(RSD), 칭찬대화(PR), 비윤리적대화(VSN), 완곡대화(IN), 비언어적대화(BC) |
[ 각 데이터 항목에 대한 라벨명 및 예시 ]
| 데이터 항목 |
라벨 한글명 | 라벨 영어명 | 예시 |
|---|---|---|---|
| 감정 | 기쁨 | happy | 오늘 정말 기분이 좋아 |
| 놀람 | surprise | 믿을 수가 없어! | |
| 분노 | angry | 여기는 동네 단골을 이런 식으로 대하나? | |
| 슬픔 | sad | 나 진짜 너무 속상해 엄마. | |
| 혐오 | dislike | 아이고, 잘도 그러겠다. | |
| 공포 | fear | 이러다가 영영 안되는거아닐까 걱정되어요 | |
| 경멸 | contempt | 너라는 사람 정말 지긋지긋하다 | |
| 중립 | neutral | 이거 한번 볼래? | |
| 성별 | 남성 | male | |
| 여성 | female | ||
| 연령대 | 10대 이하 | under_10s | |
| 10대 | 10s | ||
| 20대 | 20s | ||
| 30대 | 30s | ||
| 40대 | 40s | ||
| 50대 | 50s | ||
| 60대 | over_60s | ||
| 위치 관계 |
~ 위에 있다 | on | |
| ~ 아래에 있다 | under | ||
| ~ 앞에 있다 | ahead | ||
| ~ 뒤에 있다 | behind | ||
| 가까이 있다 | close | ||
| 닿아 있다 | reach | ||
| ~ 안에 있다 | in | ||
| 행동 관계 |
잡다 | catch | |
| 들다 | lift | ||
| 밀다/당기다 | pull_push | ||
| 기대다 | lean | ||
| 사용하다/착용하다 | use_wear | ||
| 먹다/마시다 | eat_drink | ||
| 앉다 | sit | ||
| 눕다 | lie | ||
| 따라가다 | follow | ||
| 때리다 | hit | ||
| 상황 설명 정보 |
사회 | society | |
| 패션 | fashion | ||
| 연애 | relationship | ||
| 교육 | education | ||
| 예술 | art | ||
| 문화 | culture | ||
| 과학 | science | ||
| IT | it | ||
| 방송 | media | ||
| 연예 | entertainment | ||
| 주거 | living | ||
| 음식 | foods | ||
| 스포츠 | sports | ||
| 여행 | travel | ||
| 건강 | health | ||
| 질문/ 답변 |
질문/답변 | QA | Q: 남자가 몇 명 있나요? A: 1명 |
| 발화 의도 |
진술/주장 | statement | 이렇게 해서는 장사가 안됩니다. |
| 질문 | question | 거기까지 가는데 얼마나 걸리는데? | |
| 명령/요청 | request | 오늘 청소 좀 해줬으면 좋겠는데 | |
| 약속 | promise | 이건 내가 내일까지 해올게 | |
| 표출 | expression | 아이고 억울해 주겠어 | |
| 응대/답변 | response | 내가 안했다니까 그러네 | |
| 인사/부르기/환기 | greeting_call | 그건 그렇고, 어제는 무슨 일 있었어? | |
| 기타 | others | ||
| 대화 전략 |
자기대화 | SD | 나는 애완동물을 좋아해 |
| 질문대화 | QESD | 그래서, 너는 어디에 사니? | |
| 공감대화 | RSD | 너도 xbox 게임을 좋아하니? | |
| 칭찬대화 | PR | 이번에 정말 잘했어 | |
| 비윤리적대화 | VSN | 기분 잡치네 진짜 | |
| 완곡대화 | IN | 어쩌면 그게 아닐 수도 있어 | |
| 비언어적대화 | BC | (머리 끄덕임, 웃음) |
데이터 구축 담당자
수행기관(주관) : 아크릴
| 책임자명 | 전화번호 | 대표이메일 | 담당업무 |
|---|---|---|---|
| - | 02-557-4958 | support@iacryl.com | · AI 학습용 데이터 제작 · 영상 어노테이션 저작도구 개발 · 시범서비스 "GUI 기반 학습지원도구" 개발 |
수행기관(참여)
| 기관명 | 담당업무 |
|---|---|
| ㈜테스트웍스 | · AI 학습용 데이터 어노테이션 |
