-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.1 2023-11-24 데이터 최종 개방 1.0 2023-05-31 데이터 개방(Beta Version) 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2023-11-24 산출물 전체 공개 소개
다양한 환경에서 객체를 인식하기 위한 3D 데이터를 고도화하여 재정제 및 3D 세그멘테이션으로 전방위 가공하여 구축한 학습데이터
구축목적
보다 높은 수준의 정제 방법과 가공방법을 적용하여 3D 데이터의 많은 활용을 목적으로 하여 본 구축 사업의 데이터는 point cloud 단위로 세밀하게 가공을 하기 때문에 불필요한 point 즉 noise가 최소화되어 정밀한 객체 분리가 가능한 데이터로 고도화 하였다.
-
메타데이터 구조표 데이터 영역 교통물류 데이터 유형 3D , 이미지 데이터 형식 PCD, JPG(라벨링 참고용) 데이터 출처 AI-HUB 라벨링 유형 3D Segmentation 라벨링 형식 JSON 데이터 활용 서비스 자율주행 분야 인공지능, 3D 데이터 활용서비스 데이터 구축년도/
데이터 구축량2022년/원천데이터(3D 라이다데이터, 형식:PCD) : 315,525장/라벨링데이터 (형식:JSON) : 315,525장 -
1. 데이터 구축규모
데이터 종류 기구축 데이터 규모 결과물 규모 원천데이터 Image(JPG) 360,014장 315,525장 LiDAR(PCD) 360,014장 315,525장 라벨링데이터 Annotation(JSON) 360,014장 315,525장 * 이미지데이터는(JPG)는 라벨링 참고용 데이터
어노테이션 타입 어노테이션 대상 어노테이션 내용 상세 3D Segmentation sedan,suv, truck, bus, unknown, bicycle, pedestrian, median, guardrail 1. 객체의 인스턴스 고유 번호 2. 객체 클래스 네임 3. 3D Point Cloud X,Y,Z좌표 2. 어노테이션 종류 및 내용
분류 클래스 내용 동적 객체 Sedan 11인승 이하 일반적인 승용차 SUV 11인승 이하 승합차 Truck 적재함이 존재하는 차량 Bus 11인승 이상 버스 Unknown 명확하게 구분이 안되는 물체 Bicycle 오토바이 자전거 Pedestrian 보행자 정적 객체 Median 중앙분리대 Sidewalk Guardrail 도로와 인도 사이의 펜스 
-
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드1. 3D AI 활용 모델 설명
개발 언어 Python 3.8.13 프레임워크 Numpy 1.23.4 Pandas 1.5.1 Sklearn 1.0.2 Torch-ccluster 1.6.0 Torch-geomertric 2.1.0.post1 Torch-scatter 2.0.9 Torch-sparse 0.6.15 Torch-spline-conv 1.2.1 Torchaudio 0.10.1 Torchvision 0.11.2 Tqdm 4.64.1 Open3d 0.16.0 Open3d-python 0.3.0.0 Imutils 0.5.4 Yaml 0.2.5 H5py 3.7.0 CUDA 11.3.58 학습 알고리즘 FKAConv 기존 컨볼루션 레이어의 범위를 통합하고 새로운 포인트 컨볼루션 접근법을 제안하는 포인트 클라우드의 컨볼루션 공식을 제시한다. 이 방법의 핵심은 입력 지점과 커널 사이의 정렬 행렬을 추정하는 것이다. 입력 공간의 점진적 복셀화를 사용하여 가장 먼 지점 샘플링에 대한 전략, 가장 먼지점 샘플링만큼 효율적이지만 랜덤 샘플링만큼 빠르다. 학습 조건 epoch : 100 batch : 16 optimizer : Adam lr : 0.0001 파일 형식 • 학습 데이터셋: JSON, PCD • 평가 데이터셋: JSON, PCD 모델 학습 과정별 데이터 분류 및 비율 정보 TRAINING VALIDATION TEST 80% 10% 10% pcd : 252,258장 pcd : 31,510장 pcd : 31,757장 json : 252,258장 json : 31,510장 json : 31,757장 1) 객체의 클래스 정확성 : 약 360만개의 가공 객체를 자동차(SEDAN/SUV/BUS/TRUCK), 이륜차, 보행자 등의 동적 객체 분류의 정확성
2) PCD 데이터를 학습데이터, JSON 데이터를 라벨링 데이터로 3D Semantic Sementation 오류, 분할 오류 등을 고려하여 Point cloud를 기준으로 mIoU(mean Intersection over Union) 값 계산
3) 각 도로주행 케이스 단위로 여러 장의 Snapshot으로부터 mIoU(mean Intersection over Union) 값 계산서비스 활용 시나리오
고도화된 AI 학습용 데이터의 활용 범위 확대
- 고도화된 가공데이터는 자율주행과 상관없이 모든 Point Cloud 데이터 활용을 위한 알고리즘인 Segmentation & Clustering 모델에 적용할 수 있으며, 기존 가공데이터보다 넓은 범위인 동적/정적 객체에 대한 인식 모델의 학습용으로도 사용 가능
- 동일 객체에 대해 하나의 ID를 부여하여 Sequence 데이터상에서 특정 객체에 대한 추적이 가능하며, ego 차량과의 최단 거리 산출을 통해 충돌방지 알고리즘에 효율적으로 사용 가능
- 고도화를 위해 사용되는 3D Segmentation 작업은 포인트 단위로 분리하므로 Noise가 최소화된 정밀한 객체 분리 가능
- 영상 기반의 객체 3차원 인식 기술 데이터와 라이다 기반 주변 차량인식기술(가칭)에 사용될 수 있으며, 시간/날씨 변화에 따른 영상 기반 3D 정보 추정 기술 평가 지표 데이터 및 구축 데이터를 활용한 시범 서비스 (프로토타입) 구축 서비스에도 사용서비스 활용 예시
- kakao mobility에서는 PCD 데이터를 사용하여 자율주행 차량을 개발하여 판교 자율주행 운행 지구 일대에서 시범 운영중에 있음 -> 복잡한 도심 환경에서 주변 차량 움직임까지 예측하는 정확한 인지 기술과 불법 주·정차, 꼬리물기, 무단횡단 등 다양한 상황에서도 안전하게 도착할 수 있는 판단 기술 -
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 객체탐지(라이다)성능 Object Detection FKAConv mIoU 60 % 99.88 %
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드1. 데이터 구성
Key Description Type Child Type annotations 어노테이션 정보 배열 Array array [ 어노테이션 정보 Object 3D_points 라벨링된 포인트들의 좌표 배열 array array [ 라벨링 포인트 좌표 array number ] box_center 라벨링된 포인트를 포함하는 최소 크기 Box의 중심점 좌표 array number box_size 라벨링된 포인트를 포함하는 최소 크기 Box의 크기 array number class 객체 종류 string distance 원점과의 최단 거리 number distance_point 에고 차량과 최단거리에 사용된 포인트 좌표 array nember id 객체의 고유 ID number labeling_type 라벨링 방식 string ] img_filename Image 파일명 string img_resolution Image 해상도 array number pcd_filename PCD 파일명 string 2. 어노테이션 포맷
구분 한글명 속성명 타입 필수여부 길이 비고 1 라벨링정보 annotations object 1-1 라벨링 포인트의 좌표 모음 3D_points array Y [[x, y, z], [x, y, z], ...] 1-1 라벨링 포인트 최소 크기 Box의 중심점 좌표 box_center array Y [x, y, z] 1-2 라벨링 포인트의 최소 크기 Box의 크기 box_size array Y [x size, y size, z size] 1-3 객체 종류 class string Y "sedan","suv", "truck", "bus", "unknown", "bicycle", "pedestrian", "median", "guardrail" 1-4 원점과의 최단 거리 distance number Y 1-5 최단거리에 사용된 포인트 좌표 distance_point array Y [x, y, z] 1-6 객체의 고유 ID id number Y 1-7 라벨링 방식 labeling_type string Y “3D_segmactic_segmentation” 고정값 2 Meta data 2-1 Image 파일명 img_filename string Y 2-2 Image 해상도 img_resolution array Y [width, height] 2-3 PCD 파일명 pcd_filename string Y 3. 데이터 포맷
- 데이터 Naming : 2D 이미지, 3D LiDAR 데이터, 3D 어노테이션 파일 이름 일치
파일 종류 파일 이름 2D 이미지 <지역명>_<도로유형,도로형태>_<시간대>_<날씨>_<씬번호>.jpg 3D 어노테이션 파일 <지역명>_<도로유형,도로형태>_<시간대>_<날씨>_<씬번호>.json 3D LiDAR 데이터 <지역명>_<도로유형,도로형태>_<시간대>_<날씨>_<씬번호>.pcd 도로유형구분 1 2 일반도로 고속도로 도로형테구분 1 2 3 4 5 6 7 교차로 터널 분기합류 지하차도 고가도로 중앙분리대 기타 예시 세부구성설명 seoul_0102_sunset_clear_0001 서울_(01)일반도로(02)터널_일출_날씨맑음_씬번호
라벨링데이터 실제 예시
-
데이터셋 구축 담당자
수행기관(주관) : ㈜컴버스테크
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 남용태 02-6299-5151 namyt@combus.co.kr 데이터 정제 / 데이터 가공 / 품질 관리 수행기관(참여)
수행기관(참여) 기관명 담당업무 ㈜브레인컨테이너 데이터 가공 ㈜엘티포 학습모델 / 유효성 검증 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 남용태 02-6299-5151 namyt@combus.co.kr
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.