AI데이터 구축 일자리 참여

이상행동CCTV 영상

이상행동 CCTV 영상 AI데이터

Abnormal Event CCTV Video AI Training Dataset

구축목적
  • 공공 보안용 CCTV에서 이상행동 발생 시 검출하기 위한 인공지능 학습용 데이터
활용분야
  • 공공분야 지능형 CCTV 분야
사례
  • 수원시 도시통합안전센터 시범서비스 적용
구축량
  • 12가지의 이상행동(폭행, 싸움, 절도, 기물파손, 실신, 배회,침입, 투기, 강도, 데이트폭력 및 추행, 납치, 주취행동), 총 700시간(8400컷) 비디오 데이터셋 촬영 및 구축
상식 데이터 구축내용 표 (구축년도,데이터종류,포함내용,제공방식)
이상행동명칭 영상 개수 영상 시간
01.폭행(Assault) 913 78:05:41
02.싸움(Fight) 1174 99:54:45
03.절도(Burglary) 839 69:33:24
04.기물파손(Vandalism) 490 41:28:46
05.실신(Swoon) 912 84:26:16
06.배회(Wander) 645 55:24:50
07.침입(Trespass) 259 22:03:15
08.투기(Dump) 259 22:03:15
09.강도(Robbery) 259 22:03:15
10.데이트폭력 및 추행(Datefight) 693 58:21:45
11.납치(Kidnap) 262 22:24:08
12.주취행동(Drunken) 1262 104:20:37
합계 8436 717:03:33
대표도면
ㄴㅇㄹㄴㅇ

 

필요성
CCTV 영상의 특수성 인식 및 양질의 데이터 구축 필요
 
  • CCTV 데이터는 안면인식, 의료 등과 더불어 규제가 특히 심한 부문임
    -  개인정보보호법 및 시행령, 시행규칙과 지방자치단체의 CCTV 설치 및 운영 규정, 공공기관 CCTV 관리 가이드라인 등에 의거하여 CCTV 화상정보의 수집·처리 관련 행위가 엄격하게 제한됨
    -  정부·공공 주도하에 공개 가능한 CCTV 영상 데이터의 구축 및 공개·유통은 민간기업의 AI 기술 발전을 위해 큰 의의를 지님

  • 한국형 CCTV 영상 데이터 필요성 대두
    - 공개된 해외 CCTV 영상은 한국의 환경에 적용하기 어려움(Ex. 총격, 폭발 등의 이상행동 케이스)
    - 정부차원에서 관리하는 5대 중대범죄 중심의 이상행동 정의 및 그에 따른 AI 학습용 CCTV 영상 데이터 필요
    - 실제 지자체 CCTV 환경과 유사한 데이터, 한국 생활에 밀접한 데이터 필요 (Ex. 상대적으로 조건이 열악한 도로변이나 주택가, 낮은 해상도, 어두운 골목길 등의 배경 상황, 쓰레기나 의심물체의 유기, 주택 주변 배회, 담을 넘는 행위 등) 

     

민·관 협력하여 대규모 데이터 구축 및 개방 필요
 
  •  주요국은 AI·데이터 분야 선제적 투자 및 대규모 데이터 확보 및 개방
    - 미국, 유럽 등 AI 선도국에서는 정부와 민간 협업과 투자로 대규모의 데이터를 구축하여 공개
    - 국내 중소·벤처기업들은 AI 학습용 원천 데이터의 확보가 어렵고, 데이터의 자체 구축과 가공에 많은 시간과 비용 소요

  • 선진국과의 기술격차를 줄이기 위한 노력 필요
    - 데이터, AI 분야별 육성전략과 융합촉진을 위한 정책을 통해 다양한 영역에서 데이터와 AI 발전 도모

  • 한국정보화진흥원(NIA) AI 허브 계획 중
    - 데이터셋, 알고리즘, 컴퓨팅 파워의 원스톱 지원을 위한 AI 혁신 생태계 

     

웹 기반의 데이터셋 관련 생태계 구축
 
  •  웹 기반의 레이블링, 검증, 검색 및 관리 기능을 포함하는 개방형 데이터셋 플랫폼을 개발하여, 데이터셋 생성 및 사용에 대한 접근성을 극대화하고 데이터셋 확산 생태계를 구축

구축내용
  • 12가지의 이상행동(폭행, 싸움, 절도, 기물파손, 실신, 배회, 침입, 투기, 강도, 데이트폭력 및 추행, 납치, 주취행동), 총 717시간(8436컷) 이상행동 영상 데이터셋 촬영 및 구축
     
데이터 구조
이상행동 검출 데이터셋은 다음과 같이 두 가지 형태의 데이터로 구성됨
 
  • CCTV 동영상 mp4 파일
  • 정보 xml 파일 : 각 동영상 내의 action 및 anomaly를 포함하는 event 등의 정보를 가지고 있는 xml 형식의 텍스트 파일 (정보 xml 파일은 레이블링 툴의 출력임)
<xml 파일의 구조>
Level1 Level2 Level3 Level4
folder      
filename      
source database    
  annotation    
size width    
  height    
  depth    
header duration    
  fps    
  frames    
  location    
  weather    
  time    
event eventname    
  starttime    
  duration    
object name    
  position keyframe  
    keypoint x
      y
  action actionname  
    frame start
      end
<xml Level 별 Description>
Key Description
Level1
folder 상위 이상행동 폴더 명
filename 원본데이터 명(영상파일과 동일)
source 버전 정보
size 영상 크기 정보
header 시나리오 정보
event 이상행동 정보
object 이상행위 정보
Level2
database Database 버전 명
annotation annotation 구조 명
width xml 파일에 대응되는 영상의 width 값
height xml 파일에 대응되는 영상의 heights 값
depth xml 파일에 대응되는 영상의 channels 값
duration 영상 길이
  초당 프레임 수
frames 영상의 총 프레임 수
location 영상 속 장소
weather 영상 속 날씨
time 시간대
eventname 이상행동 명
starttime 이상행동 발생 시간
duration 이상행동 지속 시간
objectname object 명
position object의 위치 정보
action action의 정보(복수)
key Description
Level3
positionframe object의 위치 정보
keypoint 위 프레임에서 object의 위치
actionname action명
actionframe action이 발생하는 시작프레임과 끝 프레임을 리스트로 나타냄
Level4
x keypoint의 x축 좌표
y keypoint의 y축 좌표
start frame의 시작 지점
end frame의 종료 지점
데이터셋 구축 담당자
수행기관(주관) : ㈜마인즈랩

 

 
책임자명 전화번호 대표이메일 담당업무
안준환 031-625-4349 pworks@mindslab.ai · 이상행동 CCTV 영상 데이터 구축 및 검수
· AI모델, 데이터셋플랫폼
· 테스트베드 구축 및 검증
수행기관(참여)
 
 
기관명 담당업무 기관명 담당업무
㈜마인즈앤컴퍼니 · 학습데이터 분류체계 구축 및
· 설계 영상 데이터 검수
수원시청 · 이상행동 CCTV 테스트베드 제공 및 운영
가이드라인 다운로드