AI-Hub

데이터 변경이력

구축 목적

• 안면 표정 및 특징점 변화를 통해 운전자의 상태를 모니터링하는 AI기술 및 응용서비스 개발 활성화를 위한 학습용 데이터 구축

활용 분야

• 졸음운전 방지 및 운전자 피로 감지, 의료 목적, 안면 표정 인식을 통한 인간-컴퓨터 간 상호작용 시스템 구축, 사회화된 로봇

소개

• 실제 도로 주행 데이터, 준 통제 환경 데이터, 통제 환경 데이터 등 3가지 환경에서 운전자 상태 영상 데이터를 수집함. 수집된 데이터는 개인정보 문제가 없도록 데이터 제공자 전원의 개인정보제공동의를 받음. 수집된 동영상 데이터는 이미지 데이터로 정제하고 연령, 성별 등의 다양성 지표를 고려하여 최종 인공지능 학습 데이터 셋을 가공 및 구축함

   

구축 내용 및 제공 데이터량

대표도면

대표도면

	Keypoint 준통제 환경 데이터	Bounding Box 통제 환경 데이터	Bounding Box 실제 도로 주행 데이터
이미지 예시
총 데이터 가공량	image+json: 50,000 Set	image+json: 112,500 Set	image+json: 192,500 Set
폴더명 구조	수집환경_운전 연기자 고유ID_나이_성별_ 시나리오 번호_마스크 착용 여부_안경 착용 여부_ 모자 착용 여부_프레임 이미지 번호	UserID_시나리오그룹번호_ 시나리오번호_ 광원정보_ 주시방향_행위_촬영날짜_ 촬영시각_프레임 이미지 번호	수집환경_운전자고유ID_나이_성별_ 수집영상 고유번호_마스크 착용 여부_ 안경 착용 여부_모자 착용 여부_ 프레임 이미지 번호
어노테이션 파일 예시

필요성

• 실제 도로 주행 데이터

  - 다양한 차종, 다양한 디자인 및 운전자의 성향 등에 대한 다양성 확보
  - 실차환경 주행 데이터에서 사용하는 데이터 수집 장비 및 활용하여 실차 환경에서 졸음 및 부주의 상황에 대한 얼굴 특징 데이터셋을 수집
  - 데이터셋의 서비스화를 고려한 실제 운전 데이터셋 수집
  - 국내 공개목적의 실제 운전 데이터셋을 최초로 구축
  - 졸음운전의 촬영을 위해서 통제?준통제 환경에서 데이터를 수집하며, 통제?준통제 환경에서의 촬영이 실제 운전 데이터와 차이가 있을 수도 있는 단점을 극복하기 위해서 실제 운전 데이터를 추가적으로 수집함

   

• 준 통제 환경 데이터

  - 정지 상태의 차 안에서 졸음 및 부주의 연기를 통해 실차 환경의 자연광 환경에서 다양한 광원소스를 반영하면서 졸음 및 부주의 상황에 대한 데이터셋을 수집
  - 실차 환경 데이터 및 시뮬레이터 환경 데이터와 함께 학습 데이터의 다양성의 향상시켜 강건한 AI를 만들 수 있는 데이터셋 구축에 기여함

   

• 통제 환경 데이터

  - 데이터 수집을 위한 신뢰성 있는 졸음 및 부주의 상황을 판단하기 위한 다양성, 정밀성, 정량적 예측가능성 확보
  - 실차환경 주행 중 사고위험으로 다양한 조건에서 졸음 및 부주의 상황 재현에 한계
  - 실차환경과 유사한 시뮬레이터 환경에서 졸음 및 부주의 상황에 대한 얼굴 특징 데이터셋을 빠르게 수집 할 필요가 있음

   

데이터 구조

• 데이터 구성

  - 공개 데이터 셋은 아래 표와 같은 인원을 대상으로 수집한 영상 데이터, 정제한 이미지 데이터, 이미지 데이터와 1:1로 매칭되는 json 가공 파일로 구성

  데이터 구성 표

  구분	수집 인원(명)	수집 동영상(시간)	정제 이미지 파일 수	어노테이션 json 파일 수
  실제 도로 주행 데이터	650	225	192,500	192,500
  준 통제 환경 데이터	100	50	50,000	50,000
  통제 환경 데이터	250	125	112,500	112,500
  합계	1,000	400	355,000	355,000

   

• 어노테이션 포맷

  - 어노테이션 포맷은 아래 표와 같은 상세 구조를 가지며, 실제 도로 주행 데이터, 준 통제 환경 데이터, 통제 환경 데이터 3가지 데이터셋이 공통된 구조를 사용

  어노테이션 포맷 표

  Depth1	Depth2	Depth3	Depth4	Type	설명
  FileInfo	FileName			String	파일명
  	Width			Int	이미지 가로 길이
  	Height			Int	이미지의 세로 길이
  	Channel			Int	이미지의 채널 (RGB:3, Gray:1)
  UserInfo	ID			Int	사용자 식별자
  	Gender			Int	0: Unknowm, 1: Man, 2: Woman
  	Age			Bool	나이
  Accessory	Mask			Bool	Mask 착용 여부
  	Glasses			Bool	안경/선글라스 착용 여부
  	Cap			Bool	모자/헬멧 착용 여부
  Annotation				Int	1. BoundingBox, 2: KeyPoints
  ObjectInfo	KeyPoints	Count		int	0: 작업X, 70: 작업O
  		Points		Int Array	좌표 리스트 [x,yx,y,....]
  	Bounding Box	Face	isVisible	Int	객체 존재 유무
  			Position	Int Array	Boung box 좌표 [xtl, ytl, xbr,. ybr]
  		Leye	isVisible	Bool	객체 존재 유무
  			Opened	Bool	False: 닫힘, True: 열림
  			Position	Int Array	BoundingBox좌표[xtl, ytl, xbr, ybr]
  		Reye	isVisible	Bool	객체 존재 유무
  			Opened	Bool	False: 닫힘, True: 열림
  			Position	Int Array	BoundingBox좌표[xtl, ytl, xbr, ybr]
  		Mouth	isVisible	Bool	객체 존재 유무
  			Opened	Bool	False: 닫힘, True: 열림
  			Position	Int Array	BoundingBox 좌표[xtl, ytl, xbr, ybr]
  		Cigar	isVisible	Bool	객체 존재 유무
  			Position	Int Array	BoundingBox좌표[xtl, ytl, xbr, ybr]
  		Phone	isVisible	Bool	객체 존재 유무
  			Position	Int Array	BoundingBox좌표[xtl, ytl, xbr, ybr]