딥페이크 변조영상

딥페이크 변조영상 AI데이터

구축목적
  • 신경망 기반의 변조 알고리즘을 통해 생성된 변조 영상(딥페이크)을 탐지·검출하는 AI 기술 개발을 위한 학습용 변조영상 데이터 구축
활용분야
  • 본 데이터셋을 활용한 딥페이크 탐지 분야 인공지능 기술의 예는 다음과 같음
    - 딥페이크 탐지 기술 개발 (다양한 변조 모델, 한국인 중심 데이터, 탐지 방해 고려)
    - 랜드마크 기반 얼굴 변조/합성 기술 개발
주요 키워드
  • 딥페이크, 딥페이크 변조, 딥페이크 탐지, 딥페이크 탐지 방해, 변조영상 데이터 구축
소개
  • 범람하는 딥페이크에 대항하여, 변조된 영상을 식별하는 탐지 모델을 더욱 쉽고 강력하게 개발할 수 있도록 하기의 내용을 반영한 변조영상 데이터셋 구축
    - 변조의 다양한 방법론 반영
    - 탐지 방해의 가능성을 고려
    - 한국인 얼굴 중심의 관련 데이터 구축
구축 내용 및 제공 데이터량
특허 데이터 구축내용 표 (구축년도,데이터종류,포함내용,제공방식)
원시영상 데이터 수량 인당 90초 이상 영상 150개 이상, 총 60,000개 이상
분량 총 1,500시간 이상 (프레임 162,000,000장 이상)
각도 되도록 정면 유지 (상하좌우 대략 30도 이내)
조도 실내외, 얼굴 명도 고려, 극단적 환경 지양
가림 얼굴을 가리는 제스처와 장식 지양 (e.g. 안경)
감정 중립, 긍정, 부정
해상도 1920 x 1080
fps 30
변조영상 데이터 수량 15초 이상 영상 총 150,000개 이상
분량 총 625시간 이상 (프레임 67,500,000장 이상)
변조모델 변조모델 5종 이상
해상도 1920 x 1080
fps 30
대표도면

img
< 원본 데이터 예시 > 

 

img
< 합성 데이터 예시 >

 

img
< 데이터 분포 그림 >

 

필요성
  • 딥페이크 영상이 대중의 화제를 일으키고 각종 AI 기반 얼굴 합성/변조 기술이 사업적인 관심을 받으면서 탐지에 대한 필요성이 대두
  • 변조/합성 분야가 높은 관심을 받으며 활발히 연구되는 데 비해 변조/합성 탐지 연구에는 상대적으로 적은 관심
  • 기존 레퍼런스의 데이터의 문제
    - 데이터가 서양인 위주로 편중되어 있음
    - 성비가 불균형
    - 데이터의 절대량이 부족함
    - 영상당 길이와 포맷이 상이한 경우가 있어 일관성이 저해
    - 얼굴 변조 접근법의 선택 기준이 명확하지 않음 (낙후된 모델을 사용하거나 저자 본인의 모델 선택)
    - 촬영자 ID 분포 등에 대해서 명확히 기록한 메타데이터가 부족
    - 탐지방해 요소를 전혀 고려하지 않음
    - 벤치마크 모델의 공개의무가 없음
  • 이에 따라 딥페이크 탐지모델 학습과 동시에 여러 조건의 강인함을 테스트하고 분석하는 용도의 한국인 영상 데이터가 필수적이며, 이는 공개용 데이터셋 구축이라는 사업의 취지와도 부합함
데이터 구조

img

 

컬럼명 비고
영상ID 영상의 고유 번호
UUID 촬영자의 고유 번호
촬영시작 촬영 시작 날짜를 기재
감정분류 neutral, negative, positive의 3감정 기재
진위분류 영상이 원본 영상인지 합성 영상인지를 기재
안경여부 촬영자가 안경을 착용했는지 여부를 기재
idle 말을 하지 않고 단순히 정면을 바라보는 영상인지 여부를 기재
내외부 촬영장소가 실내인지 실외인지를 기재
조명종류 촬영의 조명이 자연광인지 인공광인지를 기재
조명수준 조명수준을 밝음, 중간, 낮음 으로 분류하여 기재
소음수준 주변 환경 소음을 조용, 중간, 심함으로 분류하여 기재
데이터셋 구축 담당자
수행기관(주관) : 머니브레인

 

 
책임자명 전화번호 대표이메일 담당업무
박인철 02-858-5683 leo.park@moneybrain.ai · 공개된 합성 기술을 이용해 15초 내외의 합성 동영상
총 15만 건(약 67,500,000장 프레임) 생성
· 딥페이크 생성 모델 개발
· 딥페이크 탐지 모델 개발
수행기관(참여)
 
 
기관명 책임자명 전화번호 대표이메일 담당업무
크라우드웍스 조성우 02-6954-2960 chosw@crowdworks.kri · 1분 30초 내외의 셀프 동영상 및 스튜디오
촬영 동영상(MPEG 4.0)총 6만 건 및 데이터 가공
· 사용자의 동의를 얻은 얼굴 데이터
크라우드소싱 및 저작 도구 구축
· 데이터 검수 및 정제
서울대학교 이정범 02-880-1406 jbeom.lee93@gmail.com · 데이터 생성용 합성 모델 시험, 검증, 평가
· 구축한 데이터를 활용, 딥페이크 탐지 해커톤 개최
· 해커톤 우수팀과의 딥페이크 탐지 공동연구
논문 인용 정보