-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.1 2023-11-21 데이터 최종 개방 1.0 2023-07-31 데이터 개방(Beta Version) 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2023-12-27 산출물 전체 공개 소개
인공지능 학습용 데이터에 기반한 De_noising 기술은 다양한 악천후 환경에서도 신호 산란에 의한 잡음과 이상치를 강건하게 제거함으로써, 신뢰도 높은 라이다 데이터를 제공함
구축목적
기존 자율주행을 위한 딥러닝 학습데이터는 다양한 환경 조건에 대한 정확한 기준 없이 제공되어 미세먼지 등 악천후 환경(비, 안개 등)의 환경 변수를 가지고 있는 조건에서 사용하기에는 한계점이 있다. 실차 기반 인공지능 학습용 데이터 획득 및 객체 추출 알고리즘 최적화를 통한 다양한 운전 환경을 기반으로 양질의 학습데이터 확보가 필요함
-
메타데이터 구조표 데이터 영역 교통물류 데이터 유형 이미지 데이터 형식 PCD 데이터 출처 수집장치를 부착한 차량의 도로주행 / 테스트베드(K-CITY)의 기상환경재현시설 라벨링 유형 3D Segmentation 라벨링 형식 JSON 데이터 활용 서비스 자율주행 분야 인공지능, 3D 데이터 활용서비스 데이터 구축년도/
데이터 구축량2022년/원천데이터 (노이즈 LiDAR, 형식:PCD)-50,000장, 원천데이터 (디노이즈 LiDAR, 형식:PCD)-50,000장, 라벨링데이터 (노이즈 LiDAR, 형식:JSON)-50,000장, 라벨링데이터 (디노이즈 LiDAR, 형식:JSON)-50,000장 -
1. 데이터 구축 규모
1) 원천데이터센서종류 유형 포맷 해상도 규모(파일수) 노이즈 LiDAR 포인트클라우드 pcd 128CH 50,000장 디노이즈 LiDAR 128CH 50,000장 2) 라벨링 데이터
데이터 종류 유형 포맷 해상도 규모(파일수) 노이즈 LiDAR 라벨링 데이터 3D 객체 검출정보 데이터 json 128CH 50,000장 디노이즈 LiDAR 라벨링 데이터 128CH 50,000장 3) 참조데이터
센서종류 유형 포맷 해상도 규모(파일수) Camera 정지영상(이미지) - 전 png 1920 X 1080 50,000장 정지영상(이미지) - 후 png 1920 X 1080 50,000장 정지영상(이미지) - 좌 png 1920 X 1080 50,000장 정지영상(이미지) - 우 png 1920 X 1080 50,000장 GPS 텍스트 CSV 50,000장 반사강도 reflec png 50,000장 de_reflec png 50,000장 정합 데이터 라이다-이미지 센서 캘리브레이션 정보 txt 3장 2. 데이터분포
1) Training구분 1차 경로 2차경로 파일포맷 제출수량 합계 원천데이터 수집차량_3 lidar_D pcd 9,285 80,228 lidar_N pcd 9,285 수집차량_4 lidar_D pcd 8,430 lidar_N pcd 8,430 수집차량_5 lidar_D pcd 22,399 lidar_N pcd 22,399 라벨링데이터 수집차량_3 json_D json 9,285 80,228 json_N json 9,285 수집차량_4 json_D json 8,430 json_N json 8,430 수집차량_5 json_D json 22,399 json_N json 22,399 2) Validation
구분 1차 경로 2차경로 파일포맷 제출수량 합계 원천데이터 수집차량_3 lidar_D pcd 1,160 9,772 lidar_N pcd 1,160 수집차량_4 lidar_D pcd 936 lidar_N pcd 936 수집차량_5 lidar_D pcd 2,790 lidar_N pcd 2,790 라벨링데이터 수집차량_3 json_D json 1,160 9,772 json_N json 1,160 수집차량_4 json_D json 936 json_N json 936 수집차량_5 json_D json 2,790 json_N json 2,790 3) Test
구분 1차 경로 2차경로 파일포맷 제출수량 합계 원천데이터 수집차량_3 lidar_D pcd 1,160 10,000 lidar_N pcd 1,160 수집차량_4 lidar_D pcd 1,040 lidar_N pcd 1,040 수집차량_5 lidar_D pcd 2,800 lidar_N pcd 2,800 라벨링데이터 수집차량_3 json_D json 1,160 10,000 json_N json 1,160 수집차량_4 json_D json 1,040 json_N json 1,040 수집차량_5 json_D json 2,800 json_N json 2,800 4) Other (참조데이터)
분류 1차 경로 2차경로 파일포맷 제출 수량 합계 Training 수집차량_3 de_reflec png 9,285 300,891 gps csv 9,285 image_B png 9,285 image_F png 9,285 image_L png 9,285 image_R png 9,285 lidar-image_calib txt 1 reflec png 9,285 수집차량_4 de_reflec png 8.43 gps csv 12,448 image_B png 12,448 image_F png 12,448 image_L png 12,448 image_R png 12,448 lidar-image_calib txt 1 reflec png 8,430 수집차량_5 de_reflec png 22,399 gps csv 22,399 image_B png 22,399 image_F png 22,399 image_L png 22,399 image_R png 22,399 lidar-image_calib txt 1 reflec png 22,399 Validation 수집차량_3 de_reflec png 1,160 38,885 gps csv 1,160 image_B png 1,160 image_F png 1,160 image_L png 1,160 image_R png 1,160 lidar-image_calib txt 1 reflec png 1,160 수집차량_4 de_reflec png 936 gps csv 1,872 image_B png 1,872 image_F png 1,872 image_L png 1,872 image_R png 1,872 lidar-image_calib txt 1 reflec png 936 수집차량_5 de_reflec png 2,790 gps csv 2,790 image_B png 2,790 image_F png 2,790 image_L png 2,790 image_R png 2,790 lidar-image_calib txt 1 reflec png 2,790 Test 수집차량_3 de_reflec png 1,160 35,233 gps csv 1,160 image_B png 1,160 image_F png 1,160 image_L png 1,160 image_R png 1,160 lidar-image_calib txt 1 reflec png 1,160 수집차량_4 de_reflec png 1,040 gps csv 1,086 image_B png 1,086 image_F png 1,086 image_L png 1,086 image_R png 1,086 lidar-image_calib txt 1 reflec png 1,040 수집차량_5 de_reflec png 2,800 gps csv 2,800 image_B png 2,800 image_F png 2,800 image_L png 2,800 image_R png 2,800 lidar-image_calib txt 1 reflec png 2,800 5) 가공 객체 수량
노이즈 라이다 라벨링 데이터 노이즈 라이다 라벨링 데이터 분류 클래스 객체수 분류 클래스 객체수 동적객체 Vehicle 363,508 동적객체 Vehicle 365,608 Pedestrian 10,125 Pedestrian 11,831 정적객체 Structure 9,035 정적객체 Structure 9,035 Fog 12,572 Fog Rain 32,404 Rain Dust 5,006 Dust 합계 432,650 합계 386,474 -
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드1. 3D AI 활용 모델 설명
개발 언어 Python 3.8.8 프레임워크 CUDA V11.1.105 Pytorch 1.8.0 학습 알고리즘 SPVConv(Sparse Point-Voxel Convolution)
고해상도 포인트 클라우드 데이터의 고유한 속성을 유지하면서 제한된 하드웨어 리소스에서 어려웠던 여러 개의 작은 개체의 성능을 향상시키는 경량 3D 모듈인 SPVConv 구성된 새로운 네트워크
학습 조건 epoch 15 batch 2 optimizer = SGD loss = Cross Entropy, lr_scheduler = cosine_schedule_with_warmup 파일 형식 • 원천 데이터: PCD • 라벨링 데이터: JSON 모델 학습 과정별
데이터 분류 및 비율 정보Velodyne Ouster 수량 비율 수량 비율 Training 20,508장 73.27% 17,714장 80.48% Validation 3,572장 12.76% 2,059장 9.35% Test 3,909장 13.97% 2,238장 10.17% 서비스 활용 시나리오
1. 고수준 자율주행 가속화를 위해 악천 후 환경에서도 강인한 라이다 인지 시스템 개발에 기여
2. 이상적인 환경에서 구축된 데이터들과 달리 본 데이터는 다양한 환경의 라이다 데이터셋 구축을 통해 라이다 양산에 필요한 소프트웨어 기초 연구 자원 마련에 기여
3. Point-wise 노이즈 분석이 가능한 데이터셋을 통해 양질의 국내 연구 지원에 활용될 수 있을 것으로 기대서비스 활용 예시
안개에 따른 신호 산란에 의한 데이터 손실 및 이상치 발생 -
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 3D 시멘틱 세그멘테이션 객체 탐지 성능 (노이즈 데이터) 3D Object Detection SPVConv mIoU 30 % 72.54 % 2 3D 시멘틱 세그멘테이션 객체 탐지 성능 (디노이즈 데이터) 3D Object Detection SPVConv mIoU 18 % 76.75 % 3 Lidar Denoising 탐지 성능 Object Detection SPVConv mIoU 80 % 80.63 %
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드1. 데이터 구성
1) 클래스종류분류 클래스 클래스ID 설명 동적객체 Vehicle 20 승용차, SUV, 버스, 트럭 등 모든 차량 Pedestrian 30 무동력으로 움직일 수 있는 자전거 일체 엔진 동력으로 움직일 수 있는 모터사이클 일체, 전동휠 등 정적객체 Structure 52 도로, 인도, 횡단보도 등의 공간에 위치한 사람 일체 Fog 100 육교, 다리, 터널, 톨게이트 등 도로 상에 위치한 구조물 Rain 101 안개 Dust 103 강우 2) 도로유형별 분류
도로유형 도심로 자동차전용도로 3) 도로형태별 분류
도심로 도로형태 코드번호 도로상황 단일로 A01 버스/트럭 정지 A02 측방 이륜차 A03 측방 이륜차 컷인 A04 전방이륜차 추종 A05 도로내 평행이동 보행자 A06 차로 변경, 전방 대항차량 A07 직선/곡선로 대항차량 A08 직선/곡선로 대항이륜차 A16 전방차량 추종 교차로 A09 교차로 대항차량 합류 A11 교차로 이륜차 합류 A14 교차로 보행자 도로횡단 자동차전용도로 도로형태 코드번호 도로상황 단일로 B01 본선 주행 일반 (*40KPH 초과) B03 교차로 B04 휴게소/졸음쉼터 B05 톨게이트 입/출입 B06 JC / IC주행 테스트베드 형태 코드 도로상황 테스트베드 T 테스트베드에서 노이즈 상황 TD 테스트베드에서 디노이즈 상황 4) 날씨 / 시간대 분류
날씨유형 코드 시간대 유형 코드 강우 rain 일출/일몰 sunrise/sunset 안개 fog 출근 mrh 먼지 dust 주간 day 퇴근 erh 야간 night 5) 폴더구조
1.Training 원천데이터 수집차량_3 lidar_D lidar_N 수집차량_4 lidar_D lidar_N 수집차량_5 lidar_D lidar_N 라벨링데이터 수집차량_3 json_D json_N 수집차량_4 json_D json_N 수집차량_5 json_D json_N 2.Validation 원천데이터 수집차량_3 lidar_D lidar_N 수집차량_4 lidar_D lidar_N 수집차량_5 lidar_D lidar_N 라벨링데이터 수집차량_3 json_D json_N 수집차량_4 json_D json_N 수집차량_5 json_D json_N 3.Test 원천데이터 수집차량_3 lidar_D lidar_N 수집차량_4 lidar_D lidar_N 수집차량_5 lidar_D lidar_N 라벨링데이터 수집차량_3 json_D json_N 수집차량_4 json_D json_N 수집차량_5 json_D json_N 5.Other Training 수집차량_3 de_reflec gps image_B image_F image_L image_R lidar-image_calib reflec 수집차량_4 de_reflec gps image_B image_F image_L image_R lidar-image_calib reflec 수집차량_5 de_reflec gps image_B image_F image_L image_R lidar-image_calib reflec Validation 수집차량_3 de_reflec gps image_B image_F image_L image_R lidar-image_calib reflec 수집차량_4 de_reflec gps image_B image_F image_L image_R lidar-image_calib reflec 수집차량_5 de_reflec gps image_B image_F image_L image_R lidar-image_calib reflec Test 수집차량_3 de_reflec gps image_B image_F image_L image_R lidar-image_calib reflec 수집차량_4 de_reflec gps image_B image_F image_L image_R lidar-image_calib reflec 수집차량_5 de_reflec gps image_B image_F image_L image_R lidar-image_calib reflec 6) 파일명 구조
파일 종류 파일 이름 2D IMAGE 데이터 <수집기관>_<도로형태>_<도로상황>__<날씨>_<계절>_<일련번호>_<카메라위치>.png Annotation 데이터 <수집기관>_<도로형태>_<도로상황>_<해상도>_<날씨>_<계절>_<일련번호>.json 3D LiDAR 데이터 <수집기관>_<도로형태>_<도로상황>_<해상도>_<날씨>_<계절>_<일련번호>.pcd 2. 어노테이션 포맷
NO 항목명 길이 타입 필수 비고 한글명 영문명 1 어노테이션정보 annotations 데이터 라벨링 정보 1-1 삼차원포인트정보 3D_points array Y 객체 영역 정보 [x y, z] 1-2 클래스 class 16 string Y 객체의 클래스 1-3 클래스식별자 class_ID 2 number Y 클래스 고유 번호 1-4 거리 distance 20 number Y ego차량과 객체 간 거리 1-5 객체식별자 id 4 number Y 객체 고유 번호 1-6 라벨링타입 labeling_type 24 string Y 데이터 라벨링 방식 2 수집기관 company 2 string Y 원시데이터 수집 기관 3 파일명 pcd_filename 50 string Y 원천데이터 파일명 4 코드정보 road 3 string Y 시나리오 코드명 5 계절 season 6 string Y 원시데이터가 수집된 계절 6 센서정보 sensor 4 string Y 라이다 센서 종류 7 시간 time 7 string Y 원시데이터가 수집된 시간대 8 날씨 weather 5 string Y 원시데이터가 수집된 날씨 3. 예시
원천데이터 
노이즈 라이다 데이터 디노이즈 라이다 데이터 라벨링 상태 이미지 
노이즈 라이다 라벨링 데이터 디노이즈 라이다 라벨링 데이터 JSON 파일 
<노이즈 라이다 JSON 파일> 
<디노이즈 라이다 JSON 파일> -
데이터셋 구축 담당자
수행기관(주관) : ㈜컴버스테크
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 남용태 02-6299-5151 namyt@combus.co.kr 데이터 정제 / 데이터 가공 / 품질 관리 / AI 모델링 및 유효성 검증 / 외부 품질검증 대응 수행기관(참여)
수행기관(참여) 기관명 담당업무 한국자동차연구원 데이터 구조 및 시나리오 설계 / 데이터 수집 ㈜뷰런테크놀로지 데이터 수집 ㈜에스유엠 데이터 수집 ㈜브레인컨테이너 데이터 가공 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 남용태 02-6299-5151 namyt@combus.co.kr
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.