딥페이크 변조영상

딥페이크 변조영상

데이터셋명 딥페이크 변조영상
데이터 분야 비전 데이터 유형 비디오
구축기관 ㈜딥브레인AI(舊머니브레인) 데이터 관련 문의처 담당자명 하태종(㈜딥브레인AI)
가공기관 크라우드웍스 전화번호 02-858-5683
검수기관 서울대학교 산학협력단 이메일 tei@deepbrainai.io
구축 데이터량 1,500시간 이상 (원시영상 데이터), 625시간 이상 (변조영상 데이터) 구축년도 2020년
버전 1.0 최종수정일자 2021.06.18
소개 신경망 기반의 변조 알고리즘을 통해 생성된 변조 영상(딥페이크)을 탐지·검출하는 AI 기술 개발을 위해 다양한 탐지 방해의 가능성을 고려하여 학습용 변조영상 데이터 구축
주요 키워드 딥페이크, 딥페이크 변조, 딥페이크 탐지, 딥페이크 탐지 방해, 변조영상 데이터 구축, 한국인 얼굴 중심 데이터
저작권 및 이용정책 본 데이터는 과학기술정보통신부가 주관하고 한국지능정보사회진흥원이 지원하는 '인공지능 학습용 데이터 구축사업'으로 구축된 데이터입니다. [데이터 이용정책 상세보기]
데이터설명서 자료보기 구축활용가이드 자료보기
샘플데이터 다운로드 교육활용동영상 영상보기
저작도구 AI모델
데이터 변경이력
버전 일자 변경내용 비고
1.0 2021.06.18 데이터 최초 개방  
구축목적
  • 신경망 기반의 변조 알고리즘을 통해 생성된 변조 영상(딥페이크)을 탐지·검출하는 AI 기술 개발을 위한 학습용 변조영상 데이터 구축
활용분야
  • 본 데이터셋을 활용한 딥페이크 탐지 분야 인공지능 기술의 예는 다음과 같음
    - 딥페이크 탐지 기술 개발 (다양한 변조 모델, 한국인 중심 데이터, 탐지 방해 고려)
    - 랜드마크 기반 얼굴 변조/합성 기술 개발
주요 키워드
  • 딥페이크, 딥페이크 변조, 딥페이크 탐지, 딥페이크 탐지 방해, 변조영상 데이터 구축
소개
  • 범람하는 딥페이크에 대항하여, 변조된 영상을 식별하는 탐지 모델을 더욱 쉽고 강력하게 개발할 수 있도록 하기의 내용을 반영한 변조영상 데이터셋 구축
    - 변조의 다양한 방법론 반영
    - 탐지 방해의 가능성을 고려
    - 한국인 얼굴 중심의 관련 데이터 구축
구축 내용 및 제공 데이터량
구축 내용 및 제공 데이터량 표
원시영상 데이터 수량 인당 90초 이상 영상 150개 이상, 총 60,000개 이상
분량 총 1,500시간 이상 (프레임 162,000,000장 이상)
각도 되도록 정면 유지 (상하좌우 대략 30도 이내)
조도 실내외, 얼굴 명도 고려, 극단적 환경 지양
가림 얼굴을 가리는 제스처와 장식 지양 (e.g. 안경)
감정 중립, 긍정, 부정
해상도 1920 x 1080
fps 30
변조영상 데이터 수량 15초 이상 영상 총 150,000개 이상
분량 총 625시간 이상
변조모델 변조모델 5종 이상
해상도 1920 x 1080
fps 30
대표도면
원본이미지 예시

<원본이미지 예시>

 

합성이미지 예시

<합성이미지 예시>

 

img
< 데이터 분포 그림 >

 

필요성
  • 딥페이크 영상이 대중의 화제를 일으키고 각종 AI 기반 얼굴 합성/변조 기술이 사업적인 관심을 받으면서 탐지에 대한 필요성이 대두
  • 변조/합성 분야가 높은 관심을 받으며 활발히 연구되는 데 비해 변조/합성 탐지 연구에는 상대적으로 적은 관심
  • 기존 레퍼런스의 데이터의 문제
    - 데이터가 서양인 위주로 편중되어 있음
    - 성비가 불균형
    - 데이터의 절대량이 부족함
    - 영상당 길이와 포맷이 상이한 경우가 있어 일관성이 저해
    - 얼굴 변조 접근법의 선택 기준이 명확하지 않음 (낙후된 모델을 사용하거나 저자 본인의 모델 선택)
    - 촬영자 ID 분포 등에 대해서 명확히 기록한 메타데이터가 부족
    - 탐지방해 요소를 전혀 고려하지 않음
    - 벤치마크 모델의 공개의무가 없음
  • 이에 따라 딥페이크 탐지모델 학습과 동시에 여러 조건의 강인함을 테스트하고 분석하는 용도의 한국인 영상 데이터가 필수적이며, 이는 공개용 데이터셋 구축이라는 사업의 취지와도 부합함
데이터 구조

img

 

컬럼명 비고
영상ID 영상의 고유 번호
UUID 촬영자의 고유 번호
촬영시작 촬영 시작 날짜를 기재
감정분류 neutral, negative, positive의 3감정 기재
진위분류 영상이 원본 영상인지 합성 영상인지를 기재
안경여부 촬영자가 안경을 착용했는지 여부를 기재
idle 말을 하지 않고 단순히 정면을 바라보는 영상인지 여부를 기재
내외부 촬영장소가 실내인지 실외인지를 기재
조명종류 촬영의 조명이 자연광인지 인공광인지를 기재
조명수준 조명수준을 밝음, 중간, 낮음 으로 분류하여 기재
소음수준 주변 환경 소음을 조용, 중간, 심함으로 분류하여 기재
데이터셋 구축 담당자
수행기관(주관) : ㈜딥브레인AI(舊머니브레인)
수행기관(주관) 표
책임자명 전화번호 대표이메일 담당업무
서승호 02-858-5683 seunghosuh@deepbrainai.io · 공개된 합성 기술을 이용해 15초 내외의 합성 동영상
총 15만 건(약 67,500,000장 프레임) 생성
· 딥페이크 생성 모델 개발
· 딥페이크 탐지 모델 개발
수행기관(참여)
수행기관(참여) 표
기관명 책임자명 전화번호 대표이메일 담당업무
크라우드웍스 조성우 02-6954-2960 chosw@crowdworks.kri · 1분 30초 내외의 셀프 동영상 및 스튜디오
촬영 동영상(MPEG 4.0)총 6만 건 및 데이터 가공
· 사용자의 동의를 얻은 얼굴 데이터
크라우드소싱 및 저작 도구 구축
· 데이터 검수 및 정제
서울대학교 이정범 02-880-1406 jbeom.lee93@gmail.com · 데이터 생성용 합성 모델 시험, 검증, 평가
· 구축한 데이터를 활용, 딥페이크 탐지 해커톤 개최
· 해커톤 우수팀과의 딥페이크 탐지 공동연구

 

※ 이 데이터에 포함된 인물의 얼굴 등에 대해서는 개인정보 및 초상권의 이용 동의를 받아 제공합니다.