• 한국인의 얼굴 표정과 장소 맥락을 고려하여 인공지능이 사람의 감정을 이해할 수 있는 학습 모델 개발

• 감정분석을 통한 소비자의 만족도 측정, 감정기록을 통한 멘탈 헬스케어, 감정인식을 통한 감성 컴퓨팅(Affective Computing) 분야 등

• 성별, 연령, 장소 등의 다양한 상황ㆍ맥락을 고려한 인공감성지능 학습모델을 구현하고, 각종 문화예술 산업에 활용될 수 있는 감정인식 서비스를 개발

• 원천 데이터 50만 건 (감정표현이 능숙한 전문 배우의 데이터 약 25만건, 일반인 데이터 약 25만건, 기쁨, 당황, 분노, 불안, 상처, 슬픔, 중립 감정을 균등분배)을 활용
• 3인의 어노테이터가 안면 이미지에 대한 바운딩박스 작업, 감정에 대한 판별, 장소에 대해 판별
• 모델 개발자의 의도에 따라, 감정의 참값(Ground Truth)을 이미지 게시자와 어노테이터의 보고된 감정상태를 활용할 수 있도록 데이터 설계

• 현재 구글·아마존·마이크로소프트 등 기업과 학계에서는 사람의 얼굴 표정 데이터를 사용해 감정분석을 하는 인공지능은 연구 및 서비스하고 있으나, 개인·사회에 따라 감정을 신체로 표현하는 방식이 다르기에 얼굴 표정이 감정을 표현한다고 전제하기 어렵다는 문제 제기도 존재함. 
• 인간의 감정은 단지 표정에서만 추출하기 어려우며, 언어적·비언어적 행위와 해당 감정이 발현되는 장소·상황·맥락을 함께 고려해야 하는 복합적인 것임.
• 또한, 기존에 구축된 감정인식을 위한 안면 데이터는 서구인을 중심으로 수집되었기 때문에, 한국인에 특화된 감정인식 데이터셋은 부족한 실정.
• 본 과제에서 구축한 한국인 감정인식 AI 데이터는 얼굴 표정뿐 아니라 장소 정보가 포함되어 있어 다양한 감정 정보를 학습하기 적합해 종합적 정보를 통한 감정인식 기술 발달을 선도할 데이터로 활용될 것.

• 데이터 구성
  - 이미지 학습용 데이터의 원본 파일명에는 감정, 전문인/일반인 여부로 구별되며,
성별 및 연령대 정보는 ‘원본 파일명’ 과 일치하는 JSON 파일 형태로 구성
  - JSON 파일과 이미지 데이터는 1:N 관계로, 하나의 JSON 파일 안에 모든 이미지 데이터에 해당하는 메타데이터가 포함되어 있음
• 어노테이션 포맷

  한국인 감정인식을 위한 복합 영상-데이터구조표-1

  No	항목		길이	타입	필수여부	비고
  	한글명	영문명
  1	성별	gender	1	String	Y
  2	나이대	age	3	Int	Y
  3	업로더 감정 정보	faceExp_uploader	10	String	Y
  4	업로더 배경 정보	bg_uploader	20	String	Y
  5	어노테이터 A bounding box 정보	faceBB_A	2	List	Y	boxes: [ maxX, maxY, minX, minY: 좌표값 /  label: 감정 정보  ] entireLabel: 배경 정보
  6	어노테이터 B bounding box 정보	faceBB_B	2	List	Y	위와 동일
  7	어노테이터 C bounding box 정보	faceBB_C	2	List	Y	위와 동일

수행기관(주관) : 한국과학기술원

수행기관(참여)