• 얼굴 인식 분야의 위변조 방지를 위한 인공지능 모델 학습

• 프린트, 영상 리플레이, 3D 마스크를 사용한 얼굴 위변조 공격 데이터를 일반 RGB 카메라를 통해 확보함으로써 face anti-spoofing을 위한 인공지능 모델 학습을 위한 데이터셋을 제공

• 안면 위변조 감지 (Face Recognition Detection) 알고리즘 학습을 위한 싱글 모달(RGB) 데이터셋 구축
  ‒ 스마트폰, 테블릿 등 총 20여종의 스마트 디바이스를 이용한 싱글 모달(RGB) 데이터셋 구축
  ‒ 3,040명 이상의 촬영 대상자별로 총 54,150 개의 동영상 데이터셋 구축
  ‒ 다양한 종류의 안면 위변조 시도 (Print, Media Replay, 3D Mask) 등의 영상을 생성, 분류하여 데이터셋을구축, 안면위변조 감지 알고리즘 학습에 기여
  ‒ 안면 위변조 시나리오를 작성하고 이를 바탕으로 동영상을 획득한다. 정제된 원시데이터는 RGB 영상 가공자동화 공정을 통해 동영상의 프레임에서 지정된 수량의 이미지들을 추출하고 마스킹 처리를 한 뒤 인공지능 학습에 적합한 이미지로 정제하여 RGB 영상학습 데이터셋을 구축

• 1. 데이터 구축 규모
  - 카메라별 구축 규모

- 위변조 학습 데이터셋 규모

- 전체 동영상 개수

- 전체 3D Mask 동영상 개수

- 전체 추출 이미지 개수

- 전체 Masking 이미지 개수

- 데이터셋의 용도별 수량 정보

• Live 원본 이미지 예시
  

• Live Masking 이미지 예시

• Print Attack 원본 이미지 예시
   

• Print Attack Masking 이미지 예시
   

• Replay Attack 원본 이미지 예시
  

• Replay Attack Masking 이미지 예시

• 안면인식 시스템에 대한 공격 증가
  ‒ 안면인식 시스템의 증가에 따라서 정교한 얼굴 도용 및 위변조를 통해서 안면인식 시스템을 무력화하려는 시도도 증가
  ‒ 이러한 시도를 프레젠테이션 공격 또는 스푸핑(Spoofing)이라고 함
  ‒ 프레젠테이션 공격(스푸핑)의 종류
       사진 또는 비디오 공격: 인터넷 또는 개인의 소셜미디어 계정을 통해서 구한 인물 사진 또는 비디오를 이용
      ⊙ 합성 비디오(Synetic Video) 또는 딥 페이크(Deepfake): 촬영한 사진 또는 비디오를 애니매이션 소프트웨어로 편집함으로써 특정인이 대화하거나 얼굴을 움직이는 모습을 재현
      ⊙ 모델 및 3D 마스크: 정교하게 타인의 얼굴을 모방한 모델 또는 3D 입체마스크를 제작 착용
   
• 안면 위변조 감지 (Face Liveness Detection)
  ‒ 얼굴 인식은 해당 얼굴이 누구인지를 확인하는 과정임에 반해서 안면 위변조 감지는 탐지한 얼굴이 실제 얼굴(Live Face)인지를 확인
  ‒ 안면 위변조 감지(Face Liveness Detection)가 구현된 안면인식 시스템은 다음과 같은 측면에서 매우 중요하고 유용한 인증 수단임
    < 방어적 측면 >
        ⊙ 얼굴 인증 솔루션 사용 증가에 따라서 정교한 얼굴 도용 및 위조를 통해 안면인식 시스템을 무력화하려는 시도도 증가하므로 이를 차단 또는 방어해야 함
        ⊙ 얼굴 인식 알고리즘은 얼굴 이미지의 일치 여부는 확인하지만, 라이브 상태의 얼굴 이미지와 그렇지 않은 이미지를 구별해내는 기능은 없음
        ⊙ 안면 위변조 감지 기능이 없는 얼굴 인증 솔루션을 공개된 장소에서 이용하는 경우 제삼자의 모니터링이 가능하므로 큰 문제가 없으나 스마트폰과 같이 원격에서 이용하는 경우 가짜 계정 생성 및 타인 계정 침해 등 심각한 위험을 초래할 수 있음
  
    < 공세적 측면 >
        ⊙ 타인 얼굴 사진, 딥페이크 동영상, 가면 또는 분장 등을 통해서 온라인 계정을 생성하거나 액세스하는 것을 원천 봉쇄
        ⊙ 완벽한 안면 위변조 감지 기능 구현은 가짜 계정 생성, 타인 계정에 대한 불법 또는 대리 접속을 원천적으로 차단할 수 있는 유일한 수단
        ⊙ 즉, 안면 인증 솔루션과 안면 위변조 감지 기능의 결합하면 얼굴의 라이브니스 여부 확인이 완료된 안면 이미지 데이터는 일회용 키 역할을 하며 접속할 때마다 사용된 적이 없는 새로운 키를 사용하게 되므로 완벽한 계정 보안 달성 가능
  
  ‒ 안면 위변조 감지을 위한 데이터셋 부재
      ⊙ 국내에서 제작된 안면 위변조 감지(Face Liveness Detection) 연구용 공개 데이터셋이 없으며, 해외의 경우에도 19개에 불과
      ⊙ 대부분의 기존 안면위변조 감지 학습용 데이터셋은 대상자 및 영상의 수가 작은 편임. 즉, 제한된 규모의 연구 외에 실생활에서 적용하기 위한 안면 위변조 감지 알고리즘 연구를 위해서 미흡.
      ⊙ 한편, CASIA-SURF 데이터셋 2종만이 1,000명 이상의 대상자와 20,000개 이상의 비디오로 구성되어 가장 효과적인 데이터셋으로 인정 받고 있음
      ⊙ 학습 모델에 사용한 데이터 타입의 수에 따른 결과 수치를 비교해 보면, 단일 모달리티 보다는 CASIA-SURF와 같이 복수개의 모달리티를 활용한 데이터셋의 스푸핑 공격에 대한 검출 능력이 훨씬 뛰어난 것을 확인할 수 있음.

•     ⊙ SWIR, BRSU, MLFP, WMCA 데이터 셋의 경우도 멀티 모달리티의 데이터셋을 활용하여 개발되었으나, 대상 데이터셋의 크기가 매우 작고 연구실 환경에서의 검증에 가까워 실제 학습 모델로의 적합성이 검증되기 어려움.
      ⊙ 이러한 이유들로 현재 안면 위변조 감지를 위해 가장 실제 환경에 유사하게 검증된 모델은 CASIA-SURF 가 유일한 모델임.
   
• 안면 위변조 감지(Face Liveness Detection) 연구용 공개 데이터셋의 필요성
  ‒ 안면 위변조 감지는 안면인식 솔루션의 보안성 및 사용자 경험(User Experience)을 향상시키는 필수 생체 인식 기술
  ‒ 그러나 해외의 연구기관 및 관련 업체들에 비해서 상대적으로 국내 기술 개발 수준이 뒤처져 있음
  ‒ 하지만 얼굴 인식 기술에 대한 수요는 급격히 확대되고 있으며 해외 시장 규모도 급성장하고 있으므로 얼굴 인식 기술 상용화의 핵심 요소인 안면 위변조 감지 알고리즘 연구 및 솔루션 개발을 위한 유용한 데이터셋의 확보가 반드시 필요함

• 1. 데이터 구성

• 2. 어노테이션 포맷

수행기관(주관) : 씨유박스

수행기관(참여)