실내 라이다 및 카메라 동기화 영상

실내 라이다 및 카메라 동기화 영상

데이터셋명 실내 라이다 및 카메라 동기화 영상
데이터 분야 비전 데이터 유형 이미지, 센서
구축기관 3D융합산업협회 데이터 관련 문의처 담당자명 이용이(SOS Lab)
가공기관 SOS Lab 전화번호 062-973-5051
검수기관 SOS Lab 이메일 yongyi.lee@soslab.co
구축 데이터량 10.8만 구축년도 2020년
버전 1.0 최종수정일자 2021.06.18
소개 실내 환경에서 보행자 추적 기술을 개발하기 위한 AI 영상 데이터
주요 키워드 라이다, 융복합 센서, 추적기술, 3D
저작권 및 이용정책 본 데이터는 과학기술정보통신부가 주관하고 한국지능정보사회진흥원이 지원하는 '인공지능 학습용 데이터 구축사업'으로 구축된 데이터입니다. [데이터 이용정책 상세보기]
데이터설명서 자료보기 구축활용가이드 자료보기
샘플데이터 다운로드 교육활용동영상 영상보기
저작도구 다운로드 AI모델 다운로드
데이터 변경이력
버전 일자 변경내용 비고
1.0 2021.06.18 데이터 최초 개방  
구축 목적
  • 라이다-카메라 융합 센서를 이용하여 실내 보행자의 연속적인 동선을 추적하기 위한 객체 인식 딥러닝 모델 학습용 데이터셋 구축
활용 분야
  • 보행자 인식/추적 기술을 통해 고객의 동선 정보를 파악하고, 이를 기반으로 매장 설계, 상품 전시 전략, 머천다이징, 마케팅 등에 활용
주요 키워드
  • 라이다-카메라 센서 퓨전, 실내 보행자 인식, 보행자 동선 추적
소개
  • 실내 보행자의 인식 및 연속적인 동선 추적을 위한 객체 인식 딥러닝 모델 학습용 데이터셋으로, 라이다-카메라 융합 센서를 이용하여 시간, 공간적으로 동기화된 라이다 3차원 점 군 데이터와 카메라 RGB 영상 데이터를 확보하고, 보행자 정보에 대한 2D/3D 바운딩박스 레이블링 및 영상 내 개인정보 비식별화 처리가 완료된 학습용 데이터셋 구축
<라이다-카메라 융합 센서 기반 데이터 수집 시스템>
구축 내용 및 제공 데이터량
  • 실내 라이다-카메라 동기화 원천 데이터 300시간
  • 촬영 장소 : 테스트베드, 전시장(킨텍스, 코엑스), 마트, 제주공항 등
  • 객체 인식/추적 모델 학습용 2D/3D 바운딩박스 데이터 108,000set
구축 내용 및 제공 데이터량 표
구분 구축량
원천데이터 전방향 전방향 라이다-카메라 193시간
단방향 단방향 라이다-카메라 112시간
합 계 305시간
학습용 데이터셋 전방향 전방향 라이다-카메라 72,178set
라이다 점 군 (bin) 72,178장
라이다 레이블 (txt) 72,178개
카메라 영상 (png) 360,890장
카메라 레이블 (txt) 360,890개
통합 레이블 (json) 72,178개
단방향 단방향 라이다-카메라 36,025set
라이다 점 군 (bin) 36,025장
라이다 레이블 (txt) 36,025개
카메라 영상 (png) 36,025장
카메라 레이블 (txt) 36,025개
통합 레이블 (json) 36,025개
합계 108,203set
대표도면
필요성
명시적 객체 인식 알고리즘의 한계 극복
  • 규칙 기반 알고리즘은 응용 분야 및 대상 환경이 매우 제한적이고, 객체 인식 정확도가 떨어지며, 낮은 확장성을 가짐
  • 딥러닝 기법을 통해 객체 인식 성능을 향상시키고, data-driven model 기반 응용 분야 확장성 확보가 필수
  • 딥러닝 기반 인식 모델을 개발하기 위해서는 센서 특성을 반영하는 대량의 학습 데이터셋 요구가 증가

 

센서 맞춤형 데이터셋, AI 모델 개발 요구
  • 기존 라이다-카메라 공개 데이터셋은 자율주행 분야를 대상으로 해외/실외 환경에 대해 구축이 주를 이루어 360도 회전형 기계식 라이다 중심인 반면 대규모 쇼핑 단지에서 보행자 추적을 위한 데이터셋은 부족
  • 고해상도 고정형 라이다에 특화된 데이터셋 및 센서 맞춤형 AI 인지 솔루션 개발이 필요
데이터 구조
  • 학습용 데이터 속성 및 폴더 구조
    - 실내에 존재하는 동적 객체인 보행자, 유모차, 카트, 휠체어를 인식할 수 있는 딥러닝 기반 객체 검출 및 추적 모델의 학습을 위한 2D/3D 바운딩박스 레이블 데이터
데이터 구조 표1
학습용 데이터 어노테이션 속성
라이다
라벨링
데이터
TrackingID 객체 추적용 ID
Type 객체 카테고리 (0: 보행자(pedestrian)
1: 유아차(stroller), 2: 카트(cart), 3: 휠체어(wheelchair))
3D Bbox
Position
바운딩 박스 위치
(center_x, center_y, center_z [m])
3D Bbox
Dimension
바운딩 박스 크기
(length, width, height [m])
Heading 움직이는 방향
(h_angle [rad])
Difficulty 객체 검출 난이도
(0: easy, 1: moderate, 2: hard)
카메라
라벨링
데이터
TrackingID 객체 추적용 ID (0~99)
Type 객체 카테고리 (0: 보행자(pedestrian)
1: 유아차(stroller), 2: 카트(cart), 3: 휠체어(wheelchair))
2D Bbox
Position
2D 바운딩 박스 위치
(center_x, center_y [pixel])
2D Bbox
Dimension
2D 바운딩 박스 크기
(width, height [pixel])
Difficulty 객체 검출 난이도
(0: easy, 1: moderate, 2: hard)
데이터 구조 표2
폴더명 파일명 설명
시스템 수집 일시 데이터 종류 데이터 타입 파일명 파일 포맷
velo YYYY-MM-DD-HH-SS-## cam01 calb calibration txt 라이다-카메라 캘리브레이션 데이터
cam ###### png 카메라 원천 데이터
cam_label clab_###### txt 카메라 2D 바운딩박스 레이블
cam02 위 파일 구조와 동일
cam03
cam04
cam05
json   ###### json 라이다-카메라 통합 레이블 (구문진단규칙 참고)
lidar lidar ###### bin 라이다 원천 데이터
lidar_label llab_###### txt 라이다 3D 바운딩박스 레이블
sos YYYY-MM-DD-HH-SS-## cam01 calb calibration txt 라이다-카메라 캘리브레이션 데이터
cam ###### png 카메라 원천 데이터
cam_label clab_###### txt 카메라 2D 바운딩박스 레이블
json   ###### json 라이다-카메라 통합 레이블 (구문진단규칙 참고)
lidar lidar ###### bin 라이다 원천 데이터
lidar_label llab_###### txt 라이다 3D 바운딩박스 레이블
데이터셋 구축 담당자
수행기관(주관) : 3D융합산업협회
수행기관 (주관)
책임자명 전화번호 대표이메일 담당업무
강승철(이용이) 062-973-5051 yongyi.lee@soslab.co · 데이터구축 총괄
· 라이다-카메라 융합 센서 개발
· 저작도구(데이터 정제/가공 SW) 개발
· AI 모델 개발
수행기관(참여)
수행기관(참여)
기관명 담당업무 기관명 담당업무
웨슬리퀘스트 · 단방향 라이다-카메라 원천데이터 수집
· 데이터 정제 및 가공
한국전자기술연구원 · 전방향 라이다-카메라 원천데이터 수집
· 개인정보 비식별화
3D융합산업협회 · 데이터 품질검수 미르시스템 · 보행자 동선 추적 기술 기반 응용서비스 개발