한국인 감정인식을 위한 복합 영상

한국인 감정인식을 위한 복합 영상

데이터셋명 한국인 감정인식을 위한 복합 영상
데이터 분야 비전 데이터 유형 이미지
구축기관 한국과학기술원 데이터 관련 문의처 담당자명 박주용(한국과학기술원)
가공기관 메트릭스리서치, 소리자바, 데이터헌트 전화번호 042-350-2924
검수기관 메트릭스리서치, 소리자바, 데이터헌트 이메일 juyongp@kaist.ac.kr
구축 데이터량 50만 구축년도 2020년
버전 1.0 최종수정일자 2021.06.18
소개 장면의 맥락 정보를 통한 감정 분석을 위한 얼굴 표정 이미지 데이터
주요 키워드 감정 분석, 표정 분석
저작권 및 이용정책 본 데이터는 과학기술정보통신부가 주관하고 한국지능정보사회진흥원이 지원하는 '인공지능 학습용 데이터 구축사업'으로 구축된 데이터입니다. [데이터 이용정책 상세보기]
데이터설명서 자료보기 구축활용가이드 자료보기
샘플데이터 다운로드 교육활용동영상
저작도구 다운로드 AI모델 다운로드
데이터 변경이력
버전 일자 변경내용 비고
1.0 2021.06.18 데이터 최초 개방  
구축 목적
  • 한국인의 얼굴 표정과 장소 맥락을 고려하여 인공지능이 사람의 감정을 이해할 수 있는 학습 모델 개발
활용 분야
  • 감정분석을 통한 소비자의 만족도 측정, 감정기록을 통한 멘탈 헬스케어, 감정인식을 통한 감성 컴퓨팅(Affective Computing) 분야 등
소개
  • 성별, 연령, 장소 등의 다양한 상황ㆍ맥락을 고려한 인공감성지능 학습모델을 구현하고, 각종 문화예술 산업에 활용될 수 있는 감정인식 서비스를 개발
구축 내용 및 제공 데이터량
  • 원천 데이터 50만 건 (감정표현이 능숙한 전문 배우의 데이터 약 25만건, 일반인 데이터 약 25만건, 기쁨, 당황, 분노, 불안, 상처, 슬픔, 중립 감정을 균등분배)을 활용
  • 3인의 어노테이터가 안면 이미지에 대한 바운딩박스 작업, 감정에 대한 판별, 장소에 대해 판별
  • 모델 개발자의 의도에 따라, 감정의 참값(Ground Truth)을 이미지 게시자와 어노테이터의 보고된 감정상태를 활용할 수 있도록 데이터 설계
카테고리(종) 이미지 개수(개) 분포(%)
기쁨 70,735 14.47%
당황 70,457 14.41%
분노 68,835 14.08%
불안 69,965 14.31%
상처 70,103 14.34%
슬픔 70,508 14.42%
중립 68,173 13.94%
평균 69,825 14.28
대표도면
한국인 감정인식을 위한 복합 영상 대표도면

 

필요성
  • 현재 구글·아마존·마이크로소프트 등 기업과 학계에서는 사람의 얼굴 표정 데이터를 사용해 감정분석을 하는 인공지능은 연구 및 서비스하고 있으나, 개인·사회에 따라 감정을 신체로 표현하는 방식이 다르기에 얼굴 표정이 감정을 표현한다고 전제하기 어렵다는 문제 제기도 존재함. 
  • 인간의 감정은 단지 표정에서만 추출하기 어려우며, 언어적·비언어적 행위와 해당 감정이 발현되는 장소·상황·맥락을 함께 고려해야 하는 복합적인 것임.
  • 또한, 기존에 구축된 감정인식을 위한 안면 데이터는 서구인을 중심으로 수집되었기 때문에, 한국인에 특화된 감정인식 데이터셋은 부족한 실정.
  • 본 과제에서 구축한 한국인 감정인식 AI 데이터는 얼굴 표정뿐 아니라 장소 정보가 포함되어 있어 다양한 감정 정보를 학습하기 적합해 종합적 정보를 통한 감정인식 기술 발달을 선도할 데이터로 활용될 것.
데이터 구조
  • 데이터 구성데이터 구성 이미지
    - 이미지 학습용 데이터의 원본 파일명에는 감정, 전문인/일반인 여부로 구별되며,
성별 및 연령대 정보는 ‘원본 파일명’ 과 일치하는 JSON 파일 형태로 구성
    - JSON 파일과 이미지 데이터는 1:N 관계로, 하나의 JSON 파일 안에 모든 이미지 데이터에 해당하는 메타데이터가 포함되어 있음
  • 어노테이션 포맷
    No 항목 길이 타입 필수여부 비고
    한글명 영문명
    1 성별 gender 1 String Y  
    2 나이대 age 3 Int Y  
    3 업로더 감정 정보 faceExp_uploader 10 String Y  
    4 업로더 배경 정보 bg_uploader 20 String Y  
    5 어노테이터 A bounding box 정보 faceBB_A 2 List Y boxes: [
    maxX, maxY, minX, minY: 좌표값 / 
    label: 감정 정보 
    ]
    entireLabel: 배경 정보
    6 어노테이터 B bounding box 정보 faceBB_B 2 List Y 위와 동일
    7 어노테이터 C bounding box 정보 faceBB_C 2 List Y 위와 동일
데이터셋 구축 담당자
수행기관(주관) : 한국과학기술원
수행기관(주관) 표
책임자명 전화번호 대표이메일 담당업무
박주용 042-350-2924 juyongp@kaist.ac.kr · 컨소시엄 운영 및 사업기획
· API 서버 및 웹 서비스 개발

 

수행기관(참여)
수행기관(참여) 표
기관명 담당업무 기관명 담당업무
메트릭스 리서치 · 크라우드소싱 시스템 개발/운용
· 크라우드워커 모집 및 리워드
· 데이터 정제 및 가공
· 저작도구 개발 및 운용
데이터헌트 · 어노테이션 툴 제공
· 데이터 가공/정제
소리자바 · 감정인식 이미지 수집
· 이미지 분류/정제
액션파워 · 감정인식 인공지능 모델 구축 및 학습, 테스트
리콘랩스 · 감정인식 기반 모바일 앱 평가 서비스 개발 아트센터 나비 미술관 · 감정인식 데이터셋을 활용한 앱 서비스 기획
· 심리 및 감정 상태를 파악하여 향후 심리치료 및 의료 서비스로서의 활용성 제시

 

※ 이 데이터에 포함된 인물의 얼굴 등에 대해서는 개인정보 및 초상권의 이용 동의를 받아 제공합니다.