AI-Hub

데이터 변경이력

데이터 히스토리

소개

주거 및 공용공간 내 CCTV 또는 보안 카메라로부터 입력되는 동영상에서 이상행동을 탐지하는 지능형 영상 인식 인공지능 의 학습 개발에 활용하기 위한 데이터셋

구축목적

거주지역 내 이상행동 탐지를 통해 거주 지역 내 범죄를 사전에 예방, 능동적 치안서비스 제공

1. 데이터 구축 규모

• 영상 데이터 9000건 (절도 244건 ,주거침입 953건, 아동학대 4139건, 폭행 3664건)을 활용하여 총 9000건의 라벨링 데이터 도출
  

2. 데이터 분포

3. 행동의 분류

4. 행동간 구분 기준

•  구간 정보를 나누는 기준 : ‘전조 증상’과 ‘의심 행동’은 영상 파일 제목에 코드로 지정된 행동을 기준으로 하며, 해당 행동이 시작하려는 지점이 시작점
•  정상 행동은 전조 증상이 시작하기 전 혹은 사람이 화면 밖으로 벗어났을 때를 기준으로 전조 증상과 의심 행동으로 지정된 구간 외의 구간

  symptom	전조 현상		action	의심 행동
  SY01	아이가 서성거림		A01	아동 방임
  SY02	아이가 고개를 숙이고 있음		A02	성인이 아이를 밀침
  SY03	아이가 절뚝거림		A03	성인이 아이를 발로 위협
  SY04	성인과 아이가 무관심한 상태로 걸어감		A04	성인이 아이를 손으로 위협
  SY07	아이가 벽(기둥, 문 등)에 기대어 있음		A05	유모차 방치
  SY08	성인의 무관심함과 아이가 성인의 몸(팔, 발, 옷 등)을 잡아당김		A06	유모차를 세게 밀침
  SY09	성인이 아이에게 삿대질함		A07	유모차를 발로 참
  SY10	성인이 아이의 몸(팔, 발, 옷 등)을 잡아당김		A08	유모차를 세게 올려내리침
  SY13	성인이 유모차 주변에서 (또는 유모차를 잡고) 두리번거림		A17	초인종을 계속 누름
  SY15	사람이 문 앞으로 다가가 서성거림		A18	문 오픈 계속 시도
  SY16	사람이 문 앞으로 다가가 서있음		A19	문을 발로 계속 참
  SY17	사람이 문 앞으로 다가가 앉아있음		A20	문 안쪽을 보려고 계속 시도
  SY21	사람이 다른 사람에게 삿대질함		A21	문을 오래 두드림
  SY22	사람이 다른 사람을 계속 쳐다봄		A22	칼로 위협
  SY23	사람이 다른 사람의 길을 방해함		A23	방망이로 위협
  SY25	사람이 택배 앞으로 다가가 서성거림		A24	주먹으로 침
  SY26	사람이 택배 앞으로 다가가 서있음		A25	뺨때리기
  SY28	사람이 차량 앞으로 다가가 서성거림		A26	발차기
  SY29	사람이 차량 주변으로 다가가 서있음		A30	택배 훔쳐가기
  SY30	사람이 차량 주변으로 다가가 앉아있음		A31	차량 절도 시도
  SY32	사람이 벽(또는 기둥)에 기대어 있음

   

5. 행동간 구분 예시
1) 정상행동 → 전조증상 → 의심행동

• A03 [성인이 아이를 발로 참] SY08 [아이가 성인의 몸을 잡아당김] 
  
• A24 [주먹으로 침] SY23 [사람이 다른 사람의 길을 방해함] 
  

2) 정상행동 → 전조증상 → 의심행동 → 정상행동 

• A19 [문을 발로 참] SY16 [사람이 문 앞으로 다가가 서 있음] 
  

3) 정상행동 → 의심행동 

• A31 [차량 절도 시도] SY29 [사람이 차량 주변으로 다가가 서 있음] 
  

5. 전조현상과 의심행동 Mapping 기준

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

1. 개요

• 본 프로젝트에서는 각 9000개의 동영상 Dataset과 json Dataset을 사용
  • 첫 번째 동영상 Dataset은 이상행동이 포함된 CCTV 영상
  • 두 번째 Dataset은 JSON 형식의 데이터로 사람의 핵심 관절의 위치를 x, y 좌푯값으로 저장한 데이터
• 2가지의 Dataset을 효과적으로 사용하기 위해서 첫 번째 동영상 데이터를 사용하는 M1 Model과 JSON 형식의 데이터를 사용하는 M2 모델을 설계 및 개발하였으며, 추가로 M1 Model과 M2 Model의 결과값을 입력으로 받아 최종적으로 이상행동을 예측하는 M3 Model을 설계 및 개발

2. M1(영상 분석)  Model

• M1 Model은 입력으로 들어온 동영상을 프레임단위로 이미지를 저장후, 저장된 이미지를 통해 해당 영상의 행동을 예측
  • 예측은 한 클립 단위(Model의 한 클립의 길이는 16)
  • 클립이 예측하는 방식: 0번 프레임부터 15번 프레임까지의 프레임들이 모아 첫 번째 Clip으로 통합, 통합된 첫 번째 Clip을 기반으로 전체 행동 중에서 가장 가능성이 큰 행동으로 유추
• 그 다음 첫 번째 clip에서 0번 Frame이 나가고 16번 Frame이 들어오게 되며 두번째 Clip됨. 첫 번째 Clip과 마찬가지로 1번 Frame 또한, 전체 행동 중 가장 유력한 행동을 예측하고, 이 과정을 클립에 마지막 Frame이 포함될 때까지 반복. 생성된 각 Clip별 행동 예측이 끝나면 전체 Clip 중 가장 많이 예측된 행동이 해당 영상에 대한 예측으로 선택
• 
  
  [M1모델 이상행동 분류 Process]

3. M2(스켈레톤 분석)  Model

• M2모델의 경우 JSON데이터에서 인간의 관절좌표값(skeleton point)을 추출
  • JSON데이터를 먼저 dictionary형태로 받아오고 조건문과 반복문을 통해 관절 좌표값을 추출
  • 추출된 관절 좌표값은 bitmap 이미지로 바꾸기 위해서 검정색 이미지에 해당 관절좌표 위치를 하얀색으로 바꿈으로써 2차원 이미지를 추출
  • 그리고 2차원 이미지가 M2모델에서 사용될 수 있도록 3차원의 이미지로 바꾸는 과정을 거쳐 전처리 과정이 완료
• M2모델의 특징은 동영상의 공간적 특징을 처리하기 위해 CNN구조(Convolutional Neural Network)를 사용
  • CNN의 경우 이미지 분류(Image Classification)에서 강력한 성능을 보이기 때문에 위에서 전처리 된 이미지의 중요 feauture들을 추출하기 위해 사용
• 이렇게 CNN 구조에서 추출해낸 주요 feature들은 RNN 구조의 입력으로 들어가기 위해서 추가적인 전처리 과정을 거치게 되는데, Masking 방식을 사용
  • Masking된 데이터를 GRU와 같은 반복 계층으로 구성된 Sequence 모델에 제공
  • Sequence 모델을 사용하게 된다면 JSON데이터만으로 시간적 특성을 가질 수 있다는 장점이 존재
• 위와 같은 데이터 전처리 과정을 거쳐서 최종적으로 RNN구조로 들어가게 되고 RNN구조는 해당 JSON 데이터가 어떤 이상행동을 하는지 예측하며, 예측한 이상행동의 라벨값으로 결과값을 해당 이상행동의 라벨값이 반환
• 
  
  [M2모델 이상행동 분류 Process]

4. M3(영상+스켈레톤 통합 분석)  Model

• M3의 모델의 경우 M1의 output과 M2의 output 그리고 실제 label값을 입력
  • M3 모델에서 M1 , M2의 output 및 실제 label값을 입력으로 받음으로 최종적으로 해당 데이터(영상,JSON)의 이상행동의 예측 수행
• M3모델의 경우 직전 M1, M2모델의 경우와는 달리 validation data가 사용
  • 우선적으로 전체데이터중 train data에 해당하는 M1의output, M2의 output, Label값을 표준화를 진행
  • 표준화된 각각의 train data를 사용하여 GridCV방식으로 최고의 하이퍼 파라미터 값을 검색
• 이렇게 얻은 하이퍼 파라미터 값은 최종적으로 test data를 테스트 하는데 사용
  • 테스트를 통해서 해당 데이터가 어떤 이상행동을 하는지 최종적으로 예측한 이상행동 라벨을 반환 
• 
  
  [M3모델 이상행동 분류 Process]

5. 영상 내 이상행동 탐지

• 학습
  • AI 영상감시 분야의 이상행동 탐지(Anomaly Detecion) 과정 중 시공간적 특징을 잃지 않게 되는 3D Convolution Network를 포함하는 C3D 모델을 사용하여 이상행동의 전조부터 발생을 탐지한다. 탐지과정 중 영상을 16프레임의 조각으로 나누어 이상행동의 세부 분야를 구분하며 영상의 구간을 분석한다. 
  •  

    1. 개요

    메인 분야 인덱스	세부 분야 인덱스

    [검출을 위한 분류 카테고리]
     
  •  

    메인 분야 accuracy	세부 분야 loss

    [메인 분야를 학습시킬 때 Epoch를 10으로 맞춘 모델 학습의 결과]
     
  • Epoch가 10일 때, 정확도와 손실이 준수하게 나온다는 것을 확인할 수 있다.
  •  

    메인 분야 accuracy	세부 분야 loss

    [세부 분야 학습시킬 때에 Epoch를 10으로 맞춘 모델 학습의 결과]
     
  • 세부 분야 또한 Epoch가 10일 때 정확도와 손실이 준수하게 나온다는 것을 검증 결과를 통해서 확인할 수 있었다.

데이터 성능 점수

설명서 및 활용가이드 다운로드

1. 소개

• 주거 및 공용공간 내 CCTV 또는 보안 카메라로부터 입력되는 동영상에서 이상행동을 탐지하는 지능형 영상 인식 인공지능 의 학습 개발에 활용하기 위한 데이터셋을 구축하고, 이를 활용하는 모델의 시범 개발
  

2. 원천데이터 예시

• 2분 길이의 영상데이터(.mp4)

3. 라벨링데이터 구성

4. 라벨링데이터 실제예시

데이터셋 구축 담당자

수행기관(주관) : ㈜이투온

수행기관(참여)