소개
- AI 학습용 영상 데이터셋 플랫폼에서는 업로드되어 있는 영상을 사용자의 목적에 맞게 검색하고, 레이블링 툴을 이용하여 레이블링 정보를 수정할 수 있으며, 데이터 검증 모델을 테스트 해볼 수 있는 플랫폼형 서비스입니다.
필요성
- 구축한 이상행동 영상을 검색을 하거나 새로운 영상을 가지고 추가 레이블링을 하여 해당 검증 모델에 테스트를 해볼 수 있습니다. 다양한 영상을 테스트 할 수 있는 기반이 됩니다.
원본 데이터
- 데이터 명: 이상행동 CCTV 영상
- 상세 데이터 항목:
현실에서 벌어진 이상행동의 비율을 기반으로 영상 촬영을 이용하여 717시간의 영상 데이터 구축 - 데이터의 개요:
사건(Event)은 12가지 이상행동(폭행, 싸움, 절도, 기물파손, 실신, 배회, 침입, 투기, 강도, 데이트폭력 및 추행, 납치, 주취행동)을 의미하며, 동작(Action)은 총 20가지(휘두르기, 차기, 밀치기 등 Event별로 상이함)로 구성되어 있습니다. - 사용된 데이터 비율:
- 레이블링 데이터의 구조 :
| Level1 | Level2 | Level3 | Level4 |
|---|---|---|---|
| folder | |||
| filename | |||
| source | database | ||
| annotation | |||
| size | width | ||
| height | |||
| depth | |||
| header | duration | ||
| fps | |||
| frames | |||
| location | |||
| weather | |||
| time | |||
| event | eventname | ||
| starttime | |||
| duration | |||
| object | name | ||
| position | keyframe | ||
| keypoint | x | ||
| y | |||
| action | actionname | ||
| frame | start | ||
| end |
- 레이블링 데이터의 설명 :
| Key | Description |
|---|---|
| Level1 | |
| folder | 상위 이상행동 폴더 명 |
| filename | 원본데이터 명(영상파일과 동일) |
| source | 버전 정보 |
| size | 영상 크기 정보 |
| header | 시나리오 정보 |
| event | 이상행동 정보 |
| object | 이상행위 정보 |
| Level2 | |
| database | Database 버전 명 |
| annotation | annotation 구조 명 |
| width | xml 파일에 대응되는 영상의 width 값 |
| height | xml 파일에 대응되는 영상의 heights 값 |
| depth | xml 파일에 대응되는 영상의 channels 값 |
| duration | 영상 길이 |
| 초당 프레임 수 | |
| frames | 영상의 총 프레임 수 |
| location | 영상 속 장소 |
| weather | 영상 속 날씨 |
| time | 시간대 |
| eventname | 이상행동 명 |
| starttime | 이상행동 발생 시간 |
| duration | 이상행동 지속 시간 |
| objectname | object 명 |
| position | object의 위치 정보 |
| action | action의 정보(복수) |
| key | Description |
| Level3 | |
| positionframe | object의 위치 정보 |
| keypoint | 위 프레임에서 object의 위치 |
| actionname | action명 |
| actionframe | action이 발생하는 시작프레임과 끝 프레임을 리스트로 나타냄 |
| Level4 | |
| x | keypoint의 x축 좌표 |
| y | keypoint의 y축 좌표 |
| start | frame의 시작 지점 |
| end | frame의 종료 지점 |
- 학습모델명: 이상행동 CCTV 검출을 위한 알고리즘 개발
- 데이터 검증 모델은 3D ConvNet 기반의 이상행동 탐지 모델 기반이며, 기존의 레이블링 데이터와 비교하여 알고리즘이 예측한 부분과 실제 레이블링이 된 부분과 비교하여 얼마나 비슷한지를 비교합니다.
사용방법
- 데이터 검색 탭에서는 업로드 된 영상 데이터에 대한 메타 정보(실내/실외, 장소, 시간대, 계절, 날씨, 인원수, 성별/연령대, 이상행동의 종류 등)를 확인할 수 있고, 세부 검색을 통해 원하는 레이블링 정보를 가진 영상만을 검색할 수 있습니다. 또한, 파일명 옆의 통합 다운 버튼을 통해 해당 영상의 xml 파일을 다운로드 할 수 있고, 영상 파일명을 클릭하게 되면 해당 영상에 대한 레이블링 작업을 직접 할 수 있는 레이블링 툴로 이동하게 됩니다.
- 레이블링 툴 탭에서는 사용자의 목적에 맞게 레이블링을 수정할 수 있으며, 수정을 마친 뒤 화면 우측 하단의 작업 저장 버튼을 눌러 레이블링 정보를 저장하여 데이터 검색 탭에서 해당 영상의 수정된 레이블링 정보를 다운로드 받을 수 있습니다.
- 데이터 검증 모델 탭에서는 12가지 이상행동(폭행, 싸움, 절도, 기물파손, 실신, 배회, 침입, 투기, 강도, 데이트폭력 및 추행, 납치, 주취행동)에 대해 학습시킨 학습 모델에 적용시켜 보고 싶은 영상을 열어 확인해볼 수 있습니다.