AI 학습용 영상 데이터셋 플랫폼

소개
  • AI 학습용 영상 데이터셋 플랫폼에서는 업로드되어 있는 영상을 사용자의 목적에 맞게 검색하고, 레이블링 툴을 이용하여 레이블링 정보를 수정할 수 있으며, 데이터 검증 모델을 테스트 해볼 수 있는 플랫폼형 서비스입니다.
image
필요성
  • 구축한 이상행동 영상을 검색을 하거나 새로운 영상을 가지고 추가 레이블링을 하여 해당 검증 모델에 테스트를 해볼 수 있습니다. 다양한 영상을 테스트 할 수 있는 기반이 됩니다.
     
원본 데이터
  • 데이터 명: 이상행동 CCTV 영상
  • 상세 데이터 항목: 
    현실에서 벌어진 이상행동의 비율을 기반으로 영상 촬영을 이용하여 717시간의 영상 데이터 구축
  • 데이터의 개요:
    사건(Event)은 12가지 이상행동(폭행, 싸움, 절도, 기물파손, 실신, 배회, 침입, 투기, 강도, 데이트폭력 및 추행, 납치, 주취행동)을 의미하며, 동작(Action)은 총 20가지(휘두르기, 차기, 밀치기 등 Event별로 상이함)로 구성되어 있습니다.
  • 사용된 데이터 비율:
image

 

  • 레이블링 데이터의 구조 :
<xml 파일의 구조>
Level1 Level2 Level3 Level4
folder      
filename      
source database    
  annotation    
size width    
  height    
  depth    
header duration    
  fps    
  frames    
  location    
  weather    
  time    
event eventname    
  starttime    
  duration    
object name    
  position keyframe  
    keypoint x
      y
  action actionname  
    frame start
      end

 

  • 레이블링 데이터의 설명 :
<xml Level 별 Description>
Key Description
Level1
folder 상위 이상행동 폴더 명
filename 원본데이터 명(영상파일과 동일)
source 버전 정보
size 영상 크기 정보
header 시나리오 정보
event 이상행동 정보
object 이상행위 정보
Level2
database Database 버전 명
annotation annotation 구조 명
width xml 파일에 대응되는 영상의 width 값
height xml 파일에 대응되는 영상의 heights 값
depth xml 파일에 대응되는 영상의 channels 값
duration 영상 길이
  초당 프레임 수
frames 영상의 총 프레임 수
location 영상 속 장소
weather 영상 속 날씨
time 시간대
eventname 이상행동 명
starttime 이상행동 발생 시간
duration 이상행동 지속 시간
objectname object 명
position object의 위치 정보
action action의 정보(복수)
key Description
Level3
positionframe object의 위치 정보
keypoint 위 프레임에서 object의 위치
actionname action명
actionframe action이 발생하는 시작프레임과 끝 프레임을 리스트로 나타냄
Level4
x keypoint의 x축 좌표
y keypoint의 y축 좌표
start frame의 시작 지점
end frame의 종료 지점

 

  • 학습모델명: 이상행동 CCTV 검출을 위한 알고리즘 개발
image
<3D ConvNet 기반의 신경망 알고리즘 구조>
  •  데이터 검증 모델은 3D ConvNet 기반의 이상행동 탐지 모델 기반이며, 기존의 레이블링 데이터와 비교하여 알고리즘이 예측한 부분과 실제 레이블링이 된 부분과 비교하여 얼마나 비슷한지를 비교합니다.
사용방법
image
< 데이터 검색 화면 >

 

image
< 데이터 검색 화면 >
  • 데이터 검색 탭에서는 업로드 된 영상 데이터에 대한 메타 정보(실내/실외, 장소, 시간대, 계절, 날씨, 인원수, 성별/연령대, 이상행동의 종류 등)를 확인할 수 있고, 세부 검색을 통해 원하는 레이블링 정보를 가진 영상만을 검색할 수 있습니다. 또한, 파일명 옆의 통합 다운 버튼을 통해 해당 영상의 xml 파일을 다운로드 할 수 있고, 영상 파일명을 클릭하게 되면 해당 영상에 대한 레이블링 작업을 직접 할 수 있는 레이블링 툴로 이동하게 됩니다.

 

image
< 레이블링 툴 활용 화면 >
  •  레이블링 툴 탭에서는 사용자의 목적에 맞게 레이블링을 수정할 수 있으며, 수정을 마친 뒤 화면 우측 하단의 작업 저장 버튼을 눌러 레이블링 정보를 저장하여 데이터 검색 탭에서 해당 영상의 수정된 레이블링 정보를 다운로드 받을 수 있습니다.
image
< 데이터 검증 모델 >
  • 데이터 검증 모델 탭에서는 12가지 이상행동(폭행, 싸움, 절도, 기물파손, 실신, 배회, 침입, 투기, 강도, 데이트폭력 및 추행, 납치, 주취행동)에 대해 학습시킨 학습 모델에 적용시켜 보고 싶은 영상을 열어 확인해볼 수 있습니다.