AI 학습용 영상 데이터셋 플랫폼
소개
- AI 학습용 영상 데이터셋 플랫폼에서는 업로드되어 있는 영상을 사용자의 목적에 맞게 검색하고, 레이블링 툴을 이용하여 레이블링 정보를 수정할 수 있으며, 데이터 검증 모델을 테스트 해볼 수 있는 플랫폼형 서비스입니다.

필요성
- 구축한 이상행동 영상을 검색을 하거나 새로운 영상을 가지고 추가 레이블링을 하여 해당 검증 모델에 테스트를 해볼 수 있습니다. 다양한 영상을 테스트 할 수 있는 기반이 됩니다.
원본 데이터
- 데이터 명: 이상행동 CCTV 영상
- 상세 데이터 항목:
현실에서 벌어진 이상행동의 비율을 기반으로 영상 촬영을 이용하여 717시간의 영상 데이터 구축 - 데이터의 개요:
사건(Event)은 12가지 이상행동(폭행, 싸움, 절도, 기물파손, 실신, 배회, 침입, 투기, 강도, 데이트폭력 및 추행, 납치, 주취행동)을 의미하며, 동작(Action)은 총 20가지(휘두르기, 차기, 밀치기 등 Event별로 상이함)로 구성되어 있습니다. - 사용된 데이터 비율:

- 레이블링 데이터의 구조 :
Level1 | Level2 | Level3 | Level4 |
---|---|---|---|
folder | |||
filename | |||
source | database | ||
annotation | |||
size | width | ||
height | |||
depth | |||
header | duration | ||
fps | |||
frames | |||
location | |||
weather | |||
time | |||
event | eventname | ||
starttime | |||
duration | |||
object | name | ||
position | keyframe | ||
keypoint | x | ||
y | |||
action | actionname | ||
frame | start | ||
end |
- 레이블링 데이터의 설명 :
Key | Description |
---|---|
Level1 | |
folder | 상위 이상행동 폴더 명 |
filename | 원본데이터 명(영상파일과 동일) |
source | 버전 정보 |
size | 영상 크기 정보 |
header | 시나리오 정보 |
event | 이상행동 정보 |
object | 이상행위 정보 |
Level2 | |
database | Database 버전 명 |
annotation | annotation 구조 명 |
width | xml 파일에 대응되는 영상의 width 값 |
height | xml 파일에 대응되는 영상의 heights 값 |
depth | xml 파일에 대응되는 영상의 channels 값 |
duration | 영상 길이 |
초당 프레임 수 | |
frames | 영상의 총 프레임 수 |
location | 영상 속 장소 |
weather | 영상 속 날씨 |
time | 시간대 |
eventname | 이상행동 명 |
starttime | 이상행동 발생 시간 |
duration | 이상행동 지속 시간 |
objectname | object 명 |
position | object의 위치 정보 |
action | action의 정보(복수) |
key | Description |
Level3 | |
positionframe | object의 위치 정보 |
keypoint | 위 프레임에서 object의 위치 |
actionname | action명 |
actionframe | action이 발생하는 시작프레임과 끝 프레임을 리스트로 나타냄 |
Level4 | |
x | keypoint의 x축 좌표 |
y | keypoint의 y축 좌표 |
start | frame의 시작 지점 |
end | frame의 종료 지점 |
- 학습모델명: 이상행동 CCTV 검출을 위한 알고리즘 개발

- 데이터 검증 모델은 3D ConvNet 기반의 이상행동 탐지 모델 기반이며, 기존의 레이블링 데이터와 비교하여 알고리즘이 예측한 부분과 실제 레이블링이 된 부분과 비교하여 얼마나 비슷한지를 비교합니다.
사용방법
- 데이터 검색 탭에서는 업로드 된 영상 데이터에 대한 메타 정보(실내/실외, 장소, 시간대, 계절, 날씨, 인원수, 성별/연령대, 이상행동의 종류 등)를 확인할 수 있고, 세부 검색을 통해 원하는 레이블링 정보를 가진 영상만을 검색할 수 있습니다. 또한, 파일명 옆의 통합 다운 버튼을 통해 해당 영상의 xml 파일을 다운로드 할 수 있고, 영상 파일명을 클릭하게 되면 해당 영상에 대한 레이블링 작업을 직접 할 수 있는 레이블링 툴로 이동하게 됩니다.

- 레이블링 툴 탭에서는 사용자의 목적에 맞게 레이블링을 수정할 수 있으며, 수정을 마친 뒤 화면 우측 하단의 작업 저장 버튼을 눌러 레이블링 정보를 저장하여 데이터 검색 탭에서 해당 영상의 수정된 레이블링 정보를 다운로드 받을 수 있습니다.
- 데이터 검증 모델 탭에서는 12가지 이상행동(폭행, 싸움, 절도, 기물파손, 실신, 배회, 침입, 투기, 강도, 데이트폭력 및 추행, 납치, 주취행동)에 대해 학습시킨 학습 모델에 적용시켜 보고 싶은 영상을 열어 확인해볼 수 있습니다.