AI-Hub

데이터 변경이력

데이터 히스토리

소개

• 로봇의 수송역량이 가능한 물리적 공간에서의 자율주행을 위한 학습용 인공지능 데이터 획득을 통해 배송용 로봇의 시각 확보 기반 마련
• 구축된 학습용 데이터를 활용하여 자율주행 로봇 비즈니스모델과 프로세스 정립에 활용되어 AI 데이터를 적절하게 관리하고 효율적인 사용이 가능한 기반을 제공할 수 있는 배송용 시각 영상 데이터 마련
• 택배와 같은 말단 배송 수요가 증가하는 가운데, 아파트나 빌딩 등 고밀도 집적 시설 내 배송 효율성을 높이고 증가하는 수요에 대응할 수 있는 자동 화물 운송 셔틀 운영 시스템 개발을 위한 주변 환경 데이터의 구축

구축목적

국내 특화 자율주행 기술 및 서비스 개발 고도화를 위하여 다양한 주행 환경에서 로봇 관점의 주행 영상기반의 고품질 인공지능 학습용 데이터를 구축

데이터 통계

• 데이터 구축 규모
  – 데이터 구축공정에 따른 구축량
   : 목표 구축량은 영상데이터 100시간, 이미지 300,000장
   : 영상데이터 1파일 당 40분, 10FPS, 2,000장의 이미지 추출
   : 이미지는 영상의 변화가 충분히 반영된 1.2초 당 1장으로 추출하였으며, 40분 영상에서는 2,000장의 이미지를 획득할 수 있음

  데이터 통계

  구분		획득	가공1	가공2	활용
  카메라	데이터구축량	150시간	150시간	100시간 300,000장	100시간 300,000장
  	데이터형태	MP4	MP4	MP4 JPG, JSON	MP4 JPG, JSON
  3D LiDAR +RGB-D 카메라 융합데이터	데이터구축량	12시간	10시간		10시간
  	데이터형태	xyz	xyz		xyz

  
  – 일반상황 시나리오 영상 데이터 (일반적인 배송임무 영상 데이터)

  구분	주요 내용	구축량(TB)	비고
  원시데이터	FHD(1920x1080), 10FPS 이상, MP4, 115시간 이상 * 1.5GB(60분) × 115개 = 172.5GB	180GB 이상	-
  원천데이터	40분 내외 FHD(1920x1080) MP4 영상 115개(영상 클립당 1GB 내외) : 76시간 이상	115GB 이상	-
  라벨링 이미지	영상 1.2초 간격으로 FHD 화질의 jpg 이미지 파일 추출 : 총 23 만장 구축	115GB 이상	-
  어노테이션 파일	JSON 파일 약 23만개 (이미지당 1개)	500MB 이상	-
  데이터 저장소	데이터 백업을 고려하여 전체 구축데이터의 2배에 이상의 대용량 NAS 서버 저장소 확보	약 1TB	-

  
  – 돌발상황 시나리오 영상 데이터 (임무 중 사고 발생 대응 영상 데이터)

  구분	주요 내용	구축량(TB)	비고
  원천데이터	FHD(1920x1080), 10FPS 이상, MP4, 35시간 이상 * 1.5GB(60분) × 35개 = 52.5GB	60GB 이상	-
  원시데이터	40분 내외 FHD(1920x1080) MP4 영상 35개(영상 클립당 1GB 내외) : 23시간 이상	70GB 이상	-
  라벨링 이미지	영상 1.2초 간격으로 FHD 화질의 jpg 이미지 파일 추출 : 총 7 만장 구축	70GB 이상	-
  어노테이션 파일	JSON 파일 약 7만개 (이미지당 1개)	300MB 이상	-
  3D 공간 구축데이터	Spot 당 2,000,000개의 Point Cloud Data 구축	120GB 이상	시각화 도구 포함
  데이터 저장소	데이터 백업을 고려하여 전체 구축데이터의 2배에 이상의 대용량 NAS 서버 저장소 확보	약 400GB	-

  
  – 시나리오별 데이터 분포

  구분		산출물 수량
  		시간(분)	장
  일반상황	기본배송	1,482분	74,100
  	물품환경	1,012분	50,600
  	외부환경	2,530분	126,500
  돌발상황	기후변화	1,012분	50,600
  합계		6,036분	301,800

  
  – 데이터 수집 장소별 영상 데이터

  번호	수집장소	산출물 수량
  		시간(분)	장
  1	공공시설_오전	1.306분	64,600
  2	공공시설_오후	1.306분	64,600
  3	주거단지	1.232분	61,600
  4	상업시설	1.296분	64,800
  5	대학시설_실외	560분	28,000
  6	대학시설_실내	336분	16,800
  합계		6,036분 (100.6시간)	300,400

  
  – 라벨링 대상 객체 분포

  (단위: 개)
  구분	동적객체	정적 객체
  		정적 장애물	지형	상호작용 가능한 객체	조작 가능한 객체	인식용 객체
  			장애물
  기존 (전체)	26 (39%)	21 (32%)	8 (12%)	6 (9%)	5 (8%)	0 (0%)
  기존 (그룹핑)	6 (24%)	6 (24%)	5 (20%)	2 (8%)	6 (24%)	0 (0%)
  기존 (반영후)	5 (20%)	1 (4%)	1 (4%)	7 (28%)	8 (32%)	3 (12%)

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

인공지능 모델/알고리즘 필요성

• 사람이 눈을 사용하여 필요한 정보를 획득하듯 배송용 로봇은 카메라로 인식된 시각정보를 기반으로 주행하면서 발생되는 외부적 요인을 로봇 스스로 해결 필요
• 물체의 종류와 형태, 그리고 로봇이 이동 가능한 영역을 인식하는 것은 물류/배송로봇의 자율주행과 물체 조작에 매우 중요한 기능이며, 정확하고 실시간으로 동작하는 영상기반 물체인식 기술이 필요
• 물체 또는 장애물을 인지하는 것 외에 실외에서 이동하는 배송로봇은 보도와 같이 로봇이 주행 가능한 영역을 인지하는 것도 필요.
• 비식별화된 영상 데이터를 기반으로 여러 사물을 동시에 검출하고 인식할 수 있는 모델을 이용하여 배송 로봇의 자율주행 안정성 확보가 필요함
• 이 과제에서는 최근 관련 연구를 조사하여 이동객체에 대한 검지 및 인식 성능이 높다고 알려진 Swin-L, Scaled-YOLOv4 CSP  모델을 적용함

인공지능 모델/알고리즘 연구개발 방안 및 목표

다중 객체 인식 모델 (bounding box, polygon)	다중 객체 행위 인식 모델

인공지능 알고리즘 구성도 분석 범위

• (알고리즘 구성도 분석 범위) 수집된 데이터에 대한 기계학습 기반 데이터 자동 분류기술 및 유사도, 의존도 연산 알고리즘 개발
  – 베이지안 네트워크 등의 알고리즘을 이용하여 입력 데이터를 분류하고 의존도 연산하는 S/W 개발
  
  [통합 시스템 구조 및 데이터 처리 시스템 구조도 예시]
• (데이터 수집 시스템 설계 범위) 데이터 수집, 저장, 처리가 가능한 시스템이 설계되어있으며, 데이터셋 구조 데이터시스템 설계에 대한 특징표현 가능
  
  [데이터 수집 시스템 구성 및 전처리 데이터베이스]
  – 데이터처리 시스템은 인플럭스 DB, OpenTSDB에 원본 데이터를 저장하고 전처리된 데이터는 카산드라DB에 저장, 활용 가능
  – 카산드라 DB는 분석알고리듬 수행에 필요한 입력데이터를 저장, 처리하며, 분석된 데이터를 가시화 플랫폼에 전송하는 기능 담당 수행
  
  [고속 시계열 데이터 처리를 위한 시스템 구조 및 구현]
  
  [데이터 분석/활용을 위한 통합처리 시스템 구조]

설명서 및 활용가이드 다운로드

데이터 포맷

• 기본 포맷 : mp4, jpg, json file, xyz file
  – 로봇 관점의 주행에 대하여 사람이 직접 촬영하거나 로봇이 촬영한 영상 데이터

  데이터 포맷

  단계	데이터 설명	분류	포맷
  획득 및 정제 단계	고프로, 스마트폰을 통해 수집된 영상데이터	동영상	MP4
  	자율주행 로봇에 부착된 3D LiDAR와 RGBD 카메라 정합 데이터	RGBD +3D LiDAR	xyz
  가공단계	영상데이터를 일정 간격으로 슬라이싱하여 라벨링 수행	이미지	jpg
  구축단계	이미지 속성과 라벨링 정보가 담긴 파일	Json File	JSON

  – (로봇 영상 데이터 취득) 데이터 수집 허가 승인 시설에서 로봇주행에  자율주행 로봇을 활용하여 영상 취득
  – (작업자 취득) 데이터 수집 허가 승인 시설 및 장소에서 동적 장애물 또는 로봇주행이 어려운 공간에서 데이터를 취득하기 위해 인력을 활용해 영상 취득

어노테이션 포맷

• 어노테이션이 완료된 데이터는 어노테이션 도구를 통해 산출하게 되면 .jpg 이미지 파일과 라벨링 정보를 담고있는 .json 파일이 생성
• 생성된 json 파일은 COCO1.0의 형식을 따름
• JSON 파일은 각 라벨에 대한 어노테이션 정보를 포함

[라벨 구성요소]

데이터 포맷

• 기본 포맷 : jpg, json file, xyz file
  – 로봇 관점의 주행에 대하여 사람이 직접 촬영하거나 로봇이 촬영한 영상 데이터

  분류	예시	데이터 항목
  영상		배송용 로봇 관점 주행 영상
  이미지		객체 종류 객체 상황 속성 위치 관계 정보
  JSON		객체 정의 객체 번호 객체명 대분류 이미지정보 이미지번호 라이센스 파일명 이미지 사이즈 (가로, 세로) 어노테이션 정보 라벨링 번호 이미지 번호 bbox 좌표 segmentation 좌표 라벨링 영역 넓이 세부 속성 객체 가림 정보 트랙킹 id 객체 트랙킹 여부 객체 상세 속성

데이터셋 구축 담당자

수행기관(주관) : 흥일기업(주)

수행기관(참여)

데이터 관련 문의처