BETA 가상 실내 공간 3D 합성 데이터
- 분야영상이미지
- 유형 3D , 이미지
-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.0 2024-06-28 데이터 개방 Beta Version 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2024-06-28 산출물 공개 Beta Version 소개
- 실제와 동일한 가상 실내 공간 3D 합성 데이터 제작을 위한 2Dㆍ3D 에셋 및 3D 공간 모델링 대규모(디지털 트윈) 데이터셋 구축
구축목적
- 가상 실내공간 3D 합성 데이터셋을 구축하여 2D 이미지 기반의 3D 실내환경 모델링, 실내공간 디지털 트윈 및 XR 구현 기술, 실내공간 3D 도면 정보 구축 서비스, 실내 지도 정보 생성 등 사용 확대로 국내 최초의 건축물 단위 학습 데이터셋까지 제공하며 국내 수요 충족
-
메타데이터 구조표 데이터 영역 영상이미지 데이터 유형 3D , 이미지 데이터 형식 *.fbx, *.jpg 데이터 출처 Unity 3D 등 사용하여 참여기관 직접 제작 라벨링 유형 큐보이드(3D)/세그멘테이션(이미지)/렌더링(이미지) 라벨링 형식 *.json, *.jpg 데이터 활용 서비스 3D 가상 실내 공간 모델링 자동화 시스템 등 데이터 구축년도/
데이터 구축량2023년/- 원천데이터 / 2Dㆍ3D에셋이 배치된 3D 공간 모델: 200건, 실사화 렌더링 후 3D 공간 내 추출한 2D 이미지: 4,000장 - 라벨링 데이터 / 3D 공간 모델 내 객체 Cuboid 라벨링: 200건, 2D 이미지에 대해 Panoptic Segmentation: 4,000건, 2D 이미지 7종 렌더링: 32,000장 -
- 데이터 구축 통계
1) 데이터 구축 규모데이터 구축 규모 데이터명 원시데이터 수량 원천데이터 수량 라벨링 데이터 수량 가상 실내환경 데이터 · 3D 공간
200개
· 3D 공간 모델 200건
> 2D·3D에셋 포함,
> 공간당 3D 에셋 30개 이상 포함
· json [3D 공간] 200건 · 3D 에셋
3,000개
· 2D 에셋
1,000개
· 2D 이미지 4,000건
> 3D 공간 모델 촬영
· json [2D 이미지]
4,000개
· 속성 추출 이미지
28,000개
2) 시험/확인/테스트 별 규모
시험/확인/테스트 별 규모 장소 계 Training Validation Testing 할당비율 100% 80% 10% 10% 3D 원천데이터(jpg) 200 169 - 31 가공데이터(set) 200 169 - 31 2D 원천데이터(jpg) 4,000 3,200 400 400 가공데이터(set) 32,000 25,600 3,200 3,200 - 데이터 분포
1) 2D 조명 온도 분포2D 조명 온도 분포 Temperature Count 비율 1,500 이상 8,000 미만 132,720 100.00% 8,000 이상 14,000 미만 0 0.00% 14,000 이상 20,000 미만 0 0.00% 합계 132,720 100.00% 2) 2D 조명 밝기 분포
2D 조명 밝기 분포 brightness Count 비율 0 이상 1,000 미만 49,140 37.03% 1,000 이상 2,000 미만 56,460 42.54% 2,000 이상 3,000 미만 7,880 5.94% 3,000 이상 4,000 미만 11,540 8.69% 4,000 이상 7,700 5.80% 합계 132,720 100.00%
3) 2D 조명 각도 분포2D 조명 각도 분포 angle Count 비율 0 이상 120 미만 17,900 13.49% 120 이상 240 미만 10,120 7.63% 240 이상 360 미만 104,700 78.89% 합계 132,720 100.00%
4) 3D 공간 내 에셋: 공간 당 최소 69개 이상의 3D 에셋 배치
5) 3D 에셋 소분류별 분포3D 에셋 소분류별 분포 클래스 구분 구축 비율 대분류 소분류 클래스 종류 수량 비중 일반가구 책장&거실장&수납장 thing 90 2.93% 옷장&서랍장 thing 90 2.93% 지열장&쇼케이스 thing 92 3.00% 카운터 thing 90 2.93% 소파 thing 91 2.96% 의자 thing 93 3.03% 책상 thing 89 2.90% 침대 thing 90 2.93% 협탁 thing 40 1.30% 화장대 thing 90 2.93% 거울 thing 90 2.93% 테이블 thing 91 2.96% 주방가구 주방세트 stuff 89 2.90% 후드 thing 40 1.30% 식탁 thing 90 2.93% 쿡탑&가스레인지 thing 39 1.27% 주방수전 stuff 41 1.34% 욕실가구 세면대 thing 89 2.90% 양변기 thing 72 2.35% 욕조 thing 60 1.95% 욕실장 thing 89 2.90% 욕실거울 thing 40 1.30% 샤워기 stuff 40 1.30% 욕실수전 stuff 40 1.30% 일반가전 냉난방기&공기청정기 thing 37 1.21% TV thing 31 1.01% 오디오&홈시어터 thing 22 0.72% 컴퓨터&사무용가전 thing 60 1.95% 세탁기&건조기&스타일러 thing 30 0.98% 냉장고 thing 31 1.01% 기타가전기기 stuff 40 1.30% 인테리어가구 옷걸이&행거 stuff 40 1.30% 술병&술잔 stuff 40 1.30% 시계 thing 41 1.34% 액자&장식패널 stuff 41 1.34% 실내조경 stuff 41 1.34% 쿠션 thing 40 1.30% 기타소품 stuff 125 4.07% 파티션 stuff 91 2.96% 조명 천정조명 stuff 108 3.52% 벽조명 stuff 90 2.93% 바닥조명 stuff 90 2.93% 커튼 커튼 stuff 71 2.31% 개구부 문 stuff 90 2.93% 창문 stuff 91 2.96% 건축용품 건축용품 stuff 55 1.79% 합계 3000 100%
6) 공간 분포공간 분포 클래스 구분 구축 비율 대분류 중분류 소분류 수량 비중 주거시설 원룸 소형(~60m²) 7 3.50% 투룸 이상 소형(~60m²) 20 10.00% 중형(60~85m²) 27 13.50% 대형(85m²~) 26 13.00% 상업시설 음식점 평균전용면적(64.5m²) 이하 10 5.00% 평균전용면적(64.5m²) 이상 10 5.00% 숙박 평균전용면적(64.5m²) 이하 5 2.50% 평균전용면적(64.5m²) 이상 5 2.50% 카페 평균전용면적(64.5m²) 이하 5 2.50% 평균전용면적(64.5m²) 이상 5 2.50% 미용 평균전용면적(64.5m²) 이하 5 2.50% 평균전용면적(64.5m²) 이상 5 2.50% 매장 평균전용면적(64.5m²) 이하 5 2.50% 평균전용면적(64.5m²) 이상 5 2.50% 기타시설 종교 평균전용면적(64.5m²) 이하 5 2.50% 평균전용면적(64.5m²) 이상 5 2.50% 교육 평균전용면적(64.5m²) 이하 5 2.50% 평균전용면적(64.5m²) 이상 5 2.50% 운동 평균전용면적(64.5m²) 이하 5 2.50% 평균전용면적(64.5m²) 이상 5 2.50% 의료 평균전용면적(64.5m²) 이하 5 2.50% 평균전용면적(64.5m²) 이상 5 2.50% 사무 평균전용면적(64.5m²) 이하 10 5.00% 평균전용면적(64.5m²) 이상 10 5.00% 합계 200 100.00% -
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드AI 모델 상세 데이터명 AI모델 task AI모델(후보) 성능 지표 및 목표값 Data I/O 3D 공간 모델 3D Object Detection TR3D 1) mAP@0.25(65%)
mAP@0.5(50%)· Input data : point cloud
· output data : 3D bounding box elements
(x,y,z,w,h,l,θ, class)※모델 아키텍쳐
※모델 선정 이유:
본 과제에서 구축하고자 하는 데이터 셋과 유사한 ScanNetV2, SUN RGB-D, S3DIS와 같은 대표적인 실내 환경 3D 객체 검출 데이터셋에서 좋은 결과를 얻음. (paperswithcode 기준)
→ ScanNetV2 : 72.9%(mAP@0.25), 59.3%(mAP@0.5)
→ SUN RGB-D : 67.1%(mAP@0.25), 50.4%(mAP@0.5)
→ S3DIS : 74.5%(mAP@0.25), 51.7%(mAP@0.5)2D 공간 이미지 AI모델 task AI모델(후보) 성능 지표 및 목표값 Data I/O Panoptic Segmantation Mask DINO 2) PQ(50%) · Input data : 이미지
· output data : 2D bounding box elements
(x,y,w,h,c)※모델 아키텍쳐
※모델 선정 이유:
COCO와 같은 대표적인 panotic Segmentation 데이터셋에서 좋은 결과를 얻음. (paperswithcode 기준)
→ 59.4%(PQ), 50.9%(mAP)관련 데이터셋과 구축할 데이터셋과의 유효성 비교 관련 데이터셋과 구축할 데이터셋과의 유효성 비교 데이터셋 주요내용 유효성 비교 ScanNetV2 ScanNet: Richly-annotated 3D Reconstructions of Indoor Scenes
- 실내공간의 주요한 객체를 3차원 재구성하기 위한 다양한 객체를 모아놓은 데이터셋
- http://www.scan-net.org/
RGB-D데이터 포맷은 제안하고자 하는 데이터 구축 포맷인 FBX(point cloud data)와 유사함
- 3D 객체검출
- 해당 모델을 이용하여 구축할 데이터셋에 사용가능함SUN RGB-D SUN RGB-D: A RGB-D Scene Understanding Benchmark Suite
- 실내공간의 장면이해를 위하여 구축된 데이터셋
- https://rgbd.cs.princeton.edu/
COCO COCO : Common Object in Context
- 실내외 공간의 다양한 Task를 위한 대규모 이미지 데이터 셋
- https://cocodataset.org/#panoptic-2020
2D 이미지 데이터포맷은 구축할 2D panoptic segmentation 유효성 검증에도 같이 적용가능
- 2D panoptic segmentationADE20k 실내와 공간의 객체 데이터 셋
- 시멘틱 인식을 위한 대규모 객체 분할용 데이터셋
- https://groups.csail.mit.edu/vision/datasets/ADE20K/
1) D. Rukhovich, A. Vorontsova, and A. Konushin, “TR3D: TOWARDS REAL-TIME INDOOR 3D OBJECT DETECTION”, arXiv:2302.02858
2) F. Li, H. Zhang, H. xu, S. Liu, L. Zhang, L. M. Ni, and H.-Y. Shum, “Mask DINO: Towards A Unified Transformer-based Framework for Object Detection and Segmantation”, arXiv:2206.02777.
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드- 데이터 설명
데이터 설명 구분 획득/처리 방법 유형/포맷 공개여부 원시데이터 ·3D 공간
3DS MAX, Auto CAD, KOVI ArchiS를 사용하여 인테리어 전 공간인 가상의 3D 공간(골조)를 제작
- 총수량: 200건·3D 객체: .fbx
·2D 이미지: .jpg보관 ·2D 에셋
공간 내 기본 요소인 바닥재, 벽지 또는 가구의 재질이 될 2D 에셋을 제작
- 총수량: 1,000건·3D 에셋
공간 내 인테리어 요소 및 필요한 가구인 3D 에셋을 제작
- 총수량: 3,000건산출식: 3D공간+2D에셋+3D에셋 = 4,200건 원천데이터 ·3D 공간 모델
원시데이터로 제작한 3D 공간 내 2Dㆍ3D 에셋을 배치하여 실제 공간 용도와 맞게 인테리어 한 가상의 3D 공간모델 제작
- 총수량: 200건·3D 객체: .fbx
·2D 이미지: .jpg제출 ·공간 내 2D 이미지
인테리어가 완료된 3D 공간모델 내부를 촬영한 이미지
3D 공간당 20장의 이미지 촬영
- 총수량: 4,000장산출식: 3D 공간모델+공간 내 2D 이미지 = 4,200건 라벨링데이터 ·3D Cuboid 라벨링
인테리어가 완료된 3D 공간 모델 내 객체 인식을 위한 3D 에셋에 대한 3D Cuboid 라벨링 진행
- 총수량: 200건·라벨링: .json
·이미지: .jpg제출 ·2D 공간 이미지 렌더링
3D 공간에서 촬영한 공간 이미지를 활용한 7종의 다양한 렌더링 작업 진행
- 총수량: 28,000장·2D 공간 이미지 Panoptic Segmentation
3D 공간에서 촬영한 공간 이미지 내 모든 픽셀에 대해 객체 인식을 위한 라벨링 작업 진행
- 총수량: 4,000건산출식: 3D Cuboid+2D 렌더링 이미지+2D 라벨링 = 32,200건 메타데이터 ·3D 공간 내 메타정보
이미지 정보(사이즈, 촬영 일자), 공간 정보(주거, 상업 기타), 공간 세부 정보(공간 유형 및 사이즈), 공간 내 포함된 객체 정보(객체 종류 및 위치), 공간 내 포함된3D 객체의 수, 공간 내 포함된 3D 객체에 대한 대분류 및 소분류 클래스 정보
- 총수량: 200건·텍스트: .json 제출 ·2D 이미지 내 메타정보
이미지 정보(사이즈, 촬영 일자), 조명정보(조명 정보 및 조명의 위치(position, rotation)포함), 공간 정보(주거, 상업 기타), 이미지 내 포함된 객체 정보(객체 종류 및 위치, 어노테이션 색상 정보)
- 총수량: 4,000건산출식: 하나의 json 내 메타정보 포함
- 데이터구성데이터구성 구분 No 속성명 속성 및 내용 3D 공간 모델
2D 공간 이미지1 metadata.space_class
metadata.category공간 대분류 3D 공간 모델 2 metadata.space_subclass 공간 중분류 3D 공간 모델 3 metadata.space_detail 공간 소분류 3D 공간 모델 4 metadata.num_of_assets 공간 내 에셋 수 3D 공간 모델 5 metadata.created 공간 제작 일 3D 공간 모델 6 assets.id 배치된 에셋 id 3D 공간 모델 7 assets.class 배치된 에셋의 대분류 3D 공간 모델 8 assets.subclass 배치된 에셋의 소분류 3D 공간 모델 9 assets.subclass_id 에셋의 고유 id 2D 공간 이미지 10 light_info.number 조명 번호 2D 공간 이미지 11 light_info.position_x 조명 위치(x좌표) 2D 공간 이미지 12 light_info.position_y 조명 위치(y좌표) 2D 공간 이미지 13 light_info.position_z 조명 위치(z좌표) 2D 공간 이미지 14 light_info.rotation_x 조명 회전 값(x좌표) 2D 공간 이미지 15 light_info.rotation_y 조명 회전 값(y좌표) 2D 공간 이미지 16 light_info.rotation_z 조명 회전 값(z좌표) 2D 공간 이미지 17 light_info.type 조명 타입 2D 공간 이미지 18 light_info.angle 조명 앵글 2D 공간 이미지 19 light_info.temperature 조명 온도 2D 공간 이미지 20 light_info.brightness 조명 밝기
- 어노테이션 포맷
1) 3D 공간 모델3D 공간 모델 No. 항목 타입 필수여부 null
허용
여부설명 1 info object 데이터셋 정보 1-1 description string Y 데이터셋 명칭 1-2 version string Y 데이터셋 버전 1-3 year number Y 데이터셋 생성년도 2 annotations array 어노테이션 정보 2-1 id string Y 어노테이션 아이디 2-2 asset_id number Y 에셋 소분류 아이디 (subclass_id) 2-3 rx number Y 회전 x좌표 2-4 ry number Y 회전 y좌표 2-5 rz number Y 회전 z좌표 2-6 cx number Y 박스 중심 x좌표 2-7 cy number Y 박스 중심 y좌표 2-8 cz number Y 박스 중심 z좌표 2-9 width number Y 박스 가로길이 2-10 depth number Y 박스 세로길이 2-11 height number Y 박스 높이 3 metadata object Y 3-1 file_name string Y fbx 파일이름 3-2 space_class string Y 공간대분류 3-3 space_subclass string Y 공간중분류 3-4 space_detail string Y 공간소분류 3-5 num_of_assets number Y 에셋 개수 3-6 width number N 3-7 depth number N 3-8 height number N 3-9 created string Y 제작일 4 assets Array 포함 에셋 정보 4-1 id string Y 에셋 고유 아이디 4-2 class string Y 에셋 대분류 4-3 subclass string Y 에셋 소분류 (에셋명) 4-4 subclass_id number Y 에셋 소분류 아이디 4-5 file_name string Y 에셋 원본 파일명 4-6 format string Y 에셋 파일구조 2) 2D 공간 이미지
2D 공간 이미지 No. 항목 타입 필수
여부null
허용
여부설명 1 info object 데이터셋 정보 1-1 description string Y 데이터셋 명칭 1-2 version string Y 데이터셋 버전 1-3 year number Y 데이터셋 생성년도 2 categories array 카테고리 정보 2-1 id string Y 카테고리 아이디 2-2 name string Y 카테고리 이름 2-3 type string N 에셋 데이터 타입 3 image object 이미지 정보 3-1 id number Y 이미지 아이디 3-2 width number Y 이미지 너비 3-3 height number Y 이미지 높이 3-4 file_name string Y 이미지 파일명 3-5 date_captured string Y 이미지 생성일 3-6 format string Y 이미지 확장자 3-7 caption string Y 이미지 설명문 4 annotations array 어노테이션 정보 4-1 id string Y 어노테이션 아이디 4-2 category_id number Y 카테고리 아이디 4-3 segmentation array
[number]Y 객체 경계 좌표 정보 4-3-1 x number Y 객체 x좌표 4-3-2 y number Y 객체 y좌표 4-4 color array
[object]N 객체 라벨링 색상 값(RGB) 5 metadata object 5-1 fbx_file_name string Y 3D 공간 모델 파일명 5-2 category string Y 공간 유형 6 light_info Array Y 6-1 number string Y 6-2 position_x string Y 위치 x좌표 6-3 position_y string Y 위치 y좌표 6-4 position_x string Y 위치 z좌표 6-5 rotation_x string Y 회전 x좌표 6-6 rotation_y string Y 회전 y좌표 6-7 rotation_z string Y 회전 z좌표 6-8 type string Y 조명 타입 - 데이터 포맷
데이터 포맷 
3D Cuboid 라벨링 예시 이미지 
Panoptic Segmentation 라벨링 예시 이미지 
렌더링 이미지 예시 이미지 
3D 공간 모델 json 2D 공간 이미지 json
- 실제 예시실제 예시 
3D 공간 모델 json 2D 공간 이미지 json -
데이터셋 구축 담당자
수행기관(주관) : ㈜데이터메이커
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 안희수 070-7139-9784 heesu.an@datamaker.io 실무책임 및 데이터 가공 수행기관(참여)
수행기관(참여) 기관명 담당업무 한국가상현실(주) 데이터 수집 및 정제 주식회사 티맥스 메타버스 데이터 정제 및 가공 울산과학기술원 모델학습 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 안희수 070-7139-9784 heesu.an@datamaker.io 이에녹 070-7139-9784 enoch.lee@datamaker.io AI모델 관련 문의처
AI모델 관련 문의처 담당자명 전화번호 이메일 강현덕 052-217-2520 khd0425@unist.ac.kr 저작도구 관련 문의처
저작도구 관련 문의처 담당자명 전화번호 이메일 안희수 070-7139-9784 heesu.an@datamaker.io 이에녹 070-7139-9784 enoch.lee@datamaker.io
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.