AI-Hub

데이터 변경이력

데이터 히스토리

소개

소셜 로봇이 고객의 속성과 상태, 서비스 상황을 이해하고 적절한 서비스 
행동을 수행하기 위한 인공지능 모델 구축을 위한 데이터 수집

구축목적

본 세부과제에서는 소셜로봇이 고객의 속성과 상태, 서비스 상황을 이해하고 적절한 서비스 행동을 수행하기 위한 인공지능 모델을 구축하고자 함

1. 데이터구축 수량
 영상 : 301,435개

2. 데이터 분포
 2-1 고객 성별 분포

 2-2 고객 연령 분포

 2-3 고객 발화의도별 분포

 2-4 로봇 행위별 분포

 2-5 고객 표정별 분포

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

o 학습모델
 • 고객 얼굴 표정 분류 모델 
  - 얼굴 표정 분류 모델은 비디오 및 이미지에서 사람의 감정이 비교적 잘 드러나는 얼굴을 통해 어떤 표정(감정)인지 분류하는 모델이다.
  - 데이터 셋 분할

<데이터 사용 단계>

<모델 학습 예시>

 • 고객 행동 설명문 생성 모델
  - DVC(Dense-Video-Captioning) 분야는 영상에 대한 캡션을 생성하는 Video-Captioning 분야보다 고도화된 분야로, 비디오 내의 행동들에 대한 시간적 위치 및 캡션을 생성한다.

  - 데이터 셋 분할

<데이터 사용 단계>

<모델 학습 예시>

 • 소셜 로봇 질의 응답 모델
  - 비디오 내의 사람의 행동과 표정, 발언을 입력받아 적절한 답변을 생성 할 수 있는 모델로, 많은 딥러닝 모델들의 기본 구조로 사용되는 Transformer 모델을 선정했다. 
  - 데이터 셋 분할

<데이터 사용 단계>

<모델 학습 예시>

o 활용서비스
 • 소셜 로봇 플랫폼
  - 감성표현을 위한 로봇 얼굴 기술
   · 하드웨어 장치, 아바타, 프로젝션 등 다양한 접근 방법을 기반으로 사용자, 환경 및 상호작용 상황에 따라 풍부한 감정을 표현할 수 있는 로봇 얼굴의 디자인, 제작 및 제어 기술
  - 유연한 제스처와 자세 표현 기술
   · 고개 움직임, 팔 동작, 몸체 자세 등 상호작용 상황에 적합한 다양한 자세와 동작을 유연하고 효율적으로 표현 할 수 있는 하드웨어 제작 및 제어 기술 

 • 상황인식과 표현
  - 로봇 영상 기반 사용자 행동 인식 기술
   · 사용자의 제스처, 자세, 활동을 인식하는 기술
  - 멀티모달 신호 기반 사용자 감정 인식 기술
   · 영상과 음성 신호를 기반으로 표정, 말투, 음운 등의 정보를 검출하여 사용자의 감정을 인식하는 기술
  - 멀티모달 감정 표현 기술
   · 상황 변화에 따라 감정 상태를 제어하는 로봇 감정 모델과 이를 기반으로 로봇의 다양한 표현 메커니즘을 융합하여 효과적으로 감정을 표현하는 기술

 • 콘텐츠/서비스 통합운영
  - 멀티모달 대화 시나리오 저작 기술
   · 로봇의 멀티모달 표현 기능을 활용하는 대화 기반의 상호작용 시나리오를 효율적으로 저작할 수 있는 언어 체계와 저작 도구
  - 멀티모달 상호작용 실행 엔진 기술
   · 저작된 시나리오를 해석하여 상호작용 상황에 적합한 로봇 행위를 결정하고 실행하는 실행 엔진 기술
  - 멀티모달 인식제어 통합
   · 소셜 로봇의 상호작용 능력을 실현하는데 필요한 다수의 SW 모듈을 대상으로 연동 체계, 처리 흐름, 자원 관리 등을 통합 제어하는 기술
  - IoT 및 클라우드 서비스 연동 기술
   · 로봇 자체 플랫폼뿐 아니라 환경 내 IoT 장치와 클라우드로부터 정보를 획득하여 활용하고 제어함으로써 서비스의 양과 질을 향상하고, 클라우드를 통해 로봇 간의 정보 공유와 협업을 이룩하는 연동 기술

데이터 성능 점수

설명서 및 활용가이드 다운로드

1. 데이터 설명

2. 라벨링 데이터 어노테이션 포맷

3. 라벨링 데이터 실제 예시 
{
  "video": {
    "video_id": "ES001_10_E07_1027_color",
    "video_frames": 419,
    "video_fps": 30.0,
    "video_duration": 14.0,
    "video_width": 1280,
    "video_height": 720,
    "video_file_name": "02.전시관/07.티켓구매/mp4/ES001_10_E07_1027",
    "date_captured": "2022-10-27",
    "location": "방그레",
    "client_gender": 2,
    "client_age": 33,
    "client_accessory": "['모자', '목걸이']",
    "client_appearance": "[1, 6, 10]",
    "client_number": 1,
    "interactions": [
      {
        "human_event": {
          "start": "00:02.4000",
          "end": "00:06.7700",
          "actions": [
            {
              "action_class": "[1]",
              "action_start": "00:02.4000",
              "action_end": "00:06.7700"
            }
          ],
          "utterances": [
            {
              "utterance_intend": "[1]",
              "utterance_cap": "요 앞에서 보니까 KT 쓰면 50% 할인된다는데, 여기서 핸드폰 보여드리면 돼요?",
              "utterance_start": "00:02.4000",
              "utterance_end": "00:06.7700"
            }
          ]
        },
        "faces": [
          {
            "face_bbox": null,
            "face_class": null
          }
        ],
        "robot_response": [
          {
            "answer": "휴대폰의 KT 멤버십 어플에서 팸플릿의 안내에 따라 선예매 후 저희에게 보여주시면 이용안내 도와드리겠습니다.",
            "start": "00:07.1000",
            "end": "00:13.7100",
            "action_class": "[1]"
          }
        ]
      }
    ]
  }
}

데이터셋 구축 담당자

수행기관(주관) : 스파크엑스

수행기관(참여)

데이터 관련 문의처