• 라이다-카메라 융합 센서를 이용하여 실내 보행자의 연속적인 동선을 추적하기 위한 객체 인식 딥러닝 모델 학습용 데이터셋 구축

• 보행자 인식/추적 기술을 통해 고객의 동선 정보를 파악하고, 이를 기반으로 매장 설계, 상품 전시 전략, 머천다이징, 마케팅 등에 활용

• 라이다-카메라 센서 퓨전, 실내 보행자 인식, 보행자 동선 추적

• 실내 보행자의 인식 및 연속적인 동선 추적을 위한 객체 인식 딥러닝 모델 학습용 데이터셋으로, 라이다-카메라 융합 센서를 이용하여 시간, 공간적으로 동기화된 라이다 3차원 점 군 데이터와 카메라 RGB 영상 데이터를 확보하고, 보행자 정보에 대한 2D/3D 바운딩박스 레이블링 및 영상 내 개인정보 비식별화 처리가 완료된 학습용 데이터셋 구축

• 실내 라이다-카메라 동기화 원천 데이터 300시간
• 촬영 장소 : 테스트베드, 전시장(킨텍스, 코엑스), 마트, 제주공항 등
• 객체 인식/추적 모델 학습용 2D/3D 바운딩박스 데이터 108,000set

명시적 객체 인식 알고리즘의 한계 극복

• 규칙 기반 알고리즘은 응용 분야 및 대상 환경이 매우 제한적이고, 객체 인식 정확도가 떨어지며, 낮은 확장성을 가짐
• 딥러닝 기법을 통해 객체 인식 성능을 향상시키고, data-driven model 기반 응용 분야 확장성 확보가 필수
• 딥러닝 기반 인식 모델을 개발하기 위해서는 센서 특성을 반영하는 대량의 학습 데이터셋 요구가 증가

센서 맞춤형 데이터셋, AI 모델 개발 요구

• 기존 라이다-카메라 공개 데이터셋은 자율주행 분야를 대상으로 해외/실외 환경에 대해 구축이 주를 이루어 360도 회전형 기계식 라이다 중심인 반면 대규모 쇼핑 단지에서 보행자 추적을 위한 데이터셋은 부족
• 고해상도 고정형 라이다에 특화된 데이터셋 및 센서 맞춤형 AI 인지 솔루션 개발이 필요

• 학습용 데이터 속성 및 폴더 구조
  - 실내에 존재하는 동적 객체인 보행자, 유모차, 카트, 휠체어를 인식할 수 있는 딥러닝 기반 객체 검출 및 추적 모델의 학습을 위한 2D/3D 바운딩박스 레이블 데이터

수행기관(주관) : 3D융합산업협회

수행기관(참여)