BETA 음식 3D 데이터
- 분야영상이미지
- 유형 3D , 이미지 , 텍스트
-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.0 2024-06-28 데이터 개방 Beta Version 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2024-08-29 산출물 수정 저작도구 2024-06-28 산출물 공개 Beta Version 소개
- 다양한 문화 및 나라의 음식을 443종으로 분류하여 음식종류를 추정하거나 생성을 위한 데이터
구축목적
- 식품과 IT기술의 접목을 위한 충분한 데이터 확보가 필요하며, 한국음식 고유의 문화와 특성을 보존 및 활용이 필요함.로봇을 활용한 자동화, 무인 주문기, 서빙,조리,배달로봇 등 IT.BT시장의 성장을 도모함에 있어 양질의 데이터 확보가 필요함
-
메타데이터 구조표 데이터 영역 영상이미지 데이터 유형 3D , 이미지 , 텍스트 데이터 형식 CSV,JSON,OBJ 데이터 출처 자체수집 라벨링 유형 3D Segmentation (3D라벨링), 이미지캡션 라벨링 형식 CSV, JSON 데이터 활용 서비스 인식, 모델링 생성 서비스, 다국적 문화 서비스 데이터 구축년도/
데이터 구축량2023년/촬영 이미지 데이터 2,616,111장, 음식 3D 모델링 데이터 24,001건, 모델링텍스처 24,001건, 텍스처 링크 데이터 24,001건, 3D Segmentation 24,001건, 이미지캡션 24,001건 -
- 데이터 구축 규모
● 학습용 데이터 구성(라벨링데이터 JSON 기준)데이터 구축 총량
(100%)학습 데이터
(80%)테스트 데이터
(10%)검증 데이터
(10%)24,001 19,201 2,400 2,400
● 원시데이터 획득파일포맷 데이터 규모 해상도 객체당 JPG 2,616,111장 6000*4000 100장 이상
● 원천데이터데이터종류 파일포맷 데이터 규모 비고 이미지 리사이징 JPG 2,616,111장 1500*1000
객체당 100장 이상모델링 데이터 OBJ 24,001개 텍스처 데이터 JPG 24.001장 4096*4096 (4K) 텍스처 링크 데이터 MTL 24,001개 OBJ당 1파일
● 라벨링데이터데이터 종류 파일포맷 데이터 규모 라벨링 유형 라벨링 대상 라벨링 데이터 CSV 24,001개 3D Segmentation 메인음식(그릇포함) 메타/속성정보 JSON 24,001개 이미지캡션 JSON 24,001개 서브라벨링 이미지 내 음식구성
- 데이터 분포
- 원천데이터 대비 가공(라벨링) 데이터 분포원천 데이터 분류 포맷 수량 단위 분포 비율 BK
(베이커리)OBJ (3D 객체 데이터) 4,067 건 16.95% MTL (텍스처 링크 데이터) 4,067 개 JPG (텍스처 데이터) 4,067 장 JPG (원시 촬영 이미지) 443,303 장 CF
(중식)OBJ (3D 객체 데이터) 3,219 건 13.41% MTL (텍스처 링크 데이터) 3,219 개 JPG (텍스처 데이터) 3,219 장 JPG (원시 촬영 이미지) 352,399 장 ETC
(기타)OBJ (3D 객체 데이터) 1,913 건 7.97% MTL (텍스처 링크 데이터) 1,913 개 JPG (텍스처 데이터) 1,913 장 JPG (원시 촬영 이미지) 208,844 장 JF
(일식)OBJ (3D 객체 데이터) 2,409 건 10.04% MTL (텍스처 링크 데이터) 2,409 개 JPG (텍스처 데이터) 2,409 장 JPG (원시 촬영 이미지) 261,055 장 KF
(한식)OBJ (3D 객체 데이터) 9,209 건 38.37% MTL (텍스처 링크 데이터) 9,209 개 JPG (텍스처 데이터) 9,209 장 JPG (원시 촬영 이미지) 1,003,454 장 WF
(양식)OBJ (3D 객체 데이터) 3,184 건 13.27% MTL (텍스처 링크 데이터) 3,184 개 JPG (텍스처 데이터) 3,184 장 JPG (원시 촬영 이미지) 347,056 장 합계 2,688,114 100% 가공(라벨링) 데이터 분류 형식 포맷 수량 단위 파일 비율 BK
(베이커리)3D 세그멘테이션 CSV 4,067 건 1:01 메타데이터 JSON 4,067 건 1:01 CF
(중식)3D 세그멘테이션 CSV 3,219 건 1:01 메타데이터 JSON 3,219 건 1:01 ETC
(기타)3D 세그멘테이션 CSV 1,913 건 1:01 메타데이터 JSON 1,913 건 1:01 JF
(일식)3D 세그멘테이션 CSV 2,409 건 1:01 메타데이터 JSON 2,409 건 1:01 KF
(한식)3D 세그멘테이션 CSV 9,209 건 1:01 메타데이터 JSON 9,209 건 1:01 WF
(양식)3D 세그멘테이션 CSV 3,184 건 1:01 메타데이터 JSON 3,184 건 1:01 합계 48,002 가공(서브라벨링) 데이터 분류 형식 포맷 수량 단위 파일 비율 BK
(베이커리)이미지캡션 JSON 4,067 건 1:01 CF
(중식)이미지캡션 JSON 3,219 건 1:01 ETC
(기타)이미지캡션 JSON 1,913 건 1:01 JF
(일식)이미지캡션 JSON 2,409 건 1:01 KF
(한식)이미지캡션 JSON 9,209 건 1:01 WF
(양식)이미지캡션 JSON 3,184 건 1:01 합계 24,001 음식 종류별 분포
-
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드- 3D 형태 추정
AI모델 task AI모델(후보) 성능 지표 및 목표값 3D 형태 추정 NeRF SSIM(0.65) - 3D 데이터와 3D 형태 추정 모델은 개발 및 학습 난이도가 높기 때문에, 이러한 기술을 민간에서 효율적으로 활용하기 위해서는 본 사업에서 구축한 3D 데이터로 학습한 3D 형태 추정 모델의 성능이 일정 수준 이상 보장되어야 민간에서의 활용 가능성 증가할 수 있음
- Multi-view 3D Shape Estimation 모델은 3D Photogrammetry보다 적은 이미지로 3D 형태를 복원하는 것이 주된 목적 임무로, 대표적인 모델로는 MVSFormer, GBi-Net, NeRF 등이 있으며 이 중 NeRF 모델은 한 3D 형태를 만들기 위해서 한 NeRF 모델을 학습시키는 3D Reconstruction 방법으로, 다른 방법들보다 더 많은 2D 이미지를 요구하지만 높은 정확도를 달성함.
- AI 활용 모델 : 본 과제에서 구축된 다양한 종류의 음식 3D 데이터를 활용하여 음식 관련 외식, 헬스케어, 식습관 개선을 위한 어플리케이션과 메타버스 구현에 활용되어 국내 헬스케어, 외식 산업의 발전에 기여할 수 있음.
- 3D 세그멘테이션AI모델 task AI모델(후보) 성능 지표 및 목표값 3D 세그멘테이션 ISBNet mAP (39.13%) - 3D segmentation 모델은 복잡한 데이터셋에서 더 정확한 객체 분리와 식별을 제공할 수 있으며, 객체의 공간적인 구조와 관계를 이해하는 데 도움이 되어 데이터를 보다 깊이 이해하고 해석할 수 있음
- 적합성 검토 끝에 빠른 학습 속도와 높은 정확도를 자랑하며, PointNet++의 local aggregation layer를 사용하고, dynamic convolution에서 3D axis-aligned bounding boxes를 예측하고 활용하여 예측성능을 향상시킨 3D Segmentation 모델인 ISBNet을 선정
- ISBNet모델은 2023년에 CVPR의 심사를 통과하여 투고된 3D Point Cloud Instance Segmentation 모델로, ScanNet 벤치마크에서 mAP 55%로 SOTA를 달성함
- AI 활용 모델 : 음식 사진을 분석 및 AI 모델을 통해 이미지를 분류한 후, 이를 기반에 stable diffusion 기술을 이용하여 2D 이미지를 그리고 3D 재구성 기술을 적용한 메타버스/VR에서 사용 가능한 객체를 생성 -
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드- 데이터 포맷
구분 획득(수집) 단계 정제 단계 가공(라벨링) 단계 데이터 구분 원시데이터 원천데이터 최종데이터 데이터 형태 음식3D 이미지 데이터
JPG음식3D 모델링 데이터
OBJ,JPG,MTL음식 3D 데이터
라벨링 CSV
이미지캡션 JSON데이터 포멧 *음식 촬영 데이터 : JPG 파일
1객체당 100장 이상*음식 3D 데이터 : OBJ파일
*텍스처 데이터 : JPG 파일 (4096*4096)
* 텍스처 링크 데이터 : MTL*세그멘테이션 CSV
*이미지 캡션 데이터 JSON
- 라벨링 데이터 정보구 분 항목명 타입 필수여부 설명 1열 X축 string O 점군데이터 X좌표값 2열 Y축 string O 점군데이터 Y좌표값 3열 Z축 string O 점군데이터 Z좌표값 4열 R string O 점군데이터 RGB값 5열 G string O 6열 B string O 7열 Index string O 3D Segmentation index값
(노이즈 0, 음식 1)
- 라벨링 파일 예시CSV format 예시 속성명 value 필수 예시 X -0.023695 Y Y 0.023334 Y Z -0.23948 Y R 173 Y G 142 Y B 98 Y Origin cloud
index0 Y
- 어노테이션 포맷 예시항목 항목 설명 예시 info gid 데이터세트 WF09-005-D001 creator 구축기관명 Redtable_consortium date 구축일자 2023-09-01 version 버전 v1.02 images images_info 이미지 정보 id 이미지 ID I001 … … I100 filename 이미지 파일명 WF09_005_D001_I001.jpg … … WF09_005_D001_I100.jpg image_camera model 카메라 모델 EOS200DII brightness 노출값 f4.5 focus 포커스 40 iso ISO값 20000 aperture 조리개 f4 exposure 셔터스피드 1/125 camera_calibration id 카메라 아이디 1 f f 4836.134565 cx cx -19.18018824 cy cy 55.28503237 k1 k1 -0.214211455 k2 k2 0.260768526 k3 k3 -0.212111023 p1 p1 -0.000867172 p2 p2 -0.001478883 annotatedPointCloud filename 라벨링 PCD파일
이름WF09_005_D001.csv 3dObject filename 모델링 파일
이름WF09_005_D001.obj model meshCount mesh polygon수 20448 mtlName 모델링
재질속성파일이름WF09_005_D001.mtl textureName 모델링 데이터
텍스처 파일이름WF09_005_D001.jpg annotation_3d Supercategories 대분류
코드(문화특성)WF categories 중분류
코드(조리분류)WF01 food 소분류
코드(음식명)5 annotation_imagecaption caption 이미지 캡션 접시에 담긴 빨간색 페퍼로니가 올라간
페퍼로니 피자와 병음료가 있다common_information dish_name 세부음식명 페퍼로니 피자 plate_type 식기종류 접시 setting_type 음식조합 속성 1인 cooked 조리상태 조리후 location 데이터 취득환경
정보실내 detailtype 디테일 정보 기본 Nutritional contatiner(g) 제공량 기준(단위 : g) 114.4 kcal 열량(단위 : kcal) 327.9 carbohydrate 탄수화물(단위 : g) 1.44 protein 단백질(단위 : g) 189.1 fat 지방(단위 : g) 6.8 category Supercategories_name 문화특성 분류명 양식 categories_name 조리분류명 피자 food_name 음식명 페퍼로니 피자
- 이미지캡션 정보수식어 기본색이름 식기 연한
(옅은)빨강(적) 접시 주황 노랑(황) 연두 그릇 초록(녹) 진한
(짙은)청록 보울 파랑(청) 남색(남) 보라 냄비 자주(자) 맑은 분홍 프라이팬 갈색(갈) 하양(백) 회색(회) 기타 검정(흑) -
데이터셋 구축 담당자
수행기관(주관) : ㈜레드테이블
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 도해용 02-6964-7955 dohaeyong@redtable.kr 데이터 수집, 사업관리 수행기관(참여)
수행기관(참여) 기관명 담당업무 위프코(주) 데이터 수집, 정제 ㈜디타스 데이터 정제, 가공 ㈜큐드 데이터 품질 검수 ㈜애니펜 ㈜애니펜 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 도해용 010-8789-3394 dohaeyong@redtable.kr 박재은 010-8296-7385 jaeunpark@redtable.kr AI모델 관련 문의처
AI모델 관련 문의처 담당자명 전화번호 이메일 심진욱 010-9725-5111 jwshim@anipen.com 이민영 010-6619-3207 mylee@anipen.com 저작도구 관련 문의처
저작도구 관련 문의처 담당자명 전화번호 이메일 김신백 010-5375-9168 sinbad_kim@dtaas.co.kr
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.