NEW 음식 3D 데이터
- 분야영상이미지
- 유형 3D , 이미지 , 텍스트
-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.2 2024-12-04 서브라벨링 추가 개방 1.1 2024-10-30 데이터 최종 개방 1.0 2024-06-28 데이터 개방 Beta Version 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2024-08-29 산출물 수정 저작도구 2024-06-28 산출물 공개 Beta Version 소개
- 다양한 문화 및 나라의 음식을 443종으로 분류하여 음식종류를 추정하거나 생성을 위한 데이터
구축목적
- 식품과 IT기술의 접목을 위한 충분한 데이터 확보가 필요하며, 한국음식 고유의 문화와 특성을 보존 및 활용이 필요함.로봇을 활용한 자동화, 무인 주문기, 서빙,조리,배달로봇 등 IT.BT시장의 성장을 도모함에 있어 양질의 데이터 확보가 필요함
-
메타데이터 구조표 데이터 영역 영상이미지 데이터 유형 3D , 이미지 , 텍스트 데이터 형식 CSV,JSON,OBJ 데이터 출처 자체수집 라벨링 유형 3D Segmentation (3D라벨링), 이미지캡션 라벨링 형식 CSV, JSON 데이터 활용 서비스 인식, 모델링 생성 서비스, 다국적 문화 서비스 데이터 구축년도/
데이터 구축량2023년/촬영 이미지 데이터 2,616,111장, 음식 3D 모델링 데이터 24,001건, 모델링텍스처 24,001건, 텍스처 링크 데이터 24,001건, 3D Segmentation 24,001건, 이미지캡션 24,001건 -
- 데이터 구축 규모
● 학습용 데이터 구성(라벨링데이터 JSON 기준)데이터 구축 규모 - 학습용 데이터 구성 데이터 구축 총량
(100%)학습 데이터
(80%)테스트 데이터
(10%)검증 데이터
(10%)24,001 19,201 2,400 2,400
● 원시데이터 획득데이터 구축 규모 - 원시데이터 획득 파일포맷 데이터 규모 해상도 객체당 JPG 2,616,111장 6000*4000 100장 이상
● 원천데이터데이터 구축 규모 - 원천데이터 데이터종류 파일포맷 데이터 규모 비고 이미지 리사이징 JPG 2,616,111장 1500*1000
객체당 100장 이상모델링 데이터 OBJ 24,001개 텍스처 데이터 JPG 24.001장 4096*4096 (4K) 텍스처 링크 데이터 MTL 24,001개 OBJ당 1파일
● 라벨링데이터데이터 구축 규모 - 라벨링데이터 데이터 종류 파일포맷 데이터 규모 라벨링 유형 라벨링 대상 라벨링 데이터 CSV 24,001개 3D Segmentation 메인음식(그릇포함) 메타/속성정보 JSON 24,001개 이미지캡션 JSON 24,001개 서브라벨링 이미지 내 음식구성
- 데이터 분포
- 원천데이터 대비 가공(라벨링) 데이터 분포데이터 분포 - 원천데이터 원천 데이터 분류 포맷 수량 단위 분포 비율 BK
(베이커리)OBJ (3D 객체 데이터) 4,067 건 16.95% MTL (텍스처 링크 데이터) 4,067 개 JPG (텍스처 데이터) 4,067 장 JPG (원시 촬영 이미지) 443,303 장 CF
(중식)OBJ (3D 객체 데이터) 3,219 건 13.41% MTL (텍스처 링크 데이터) 3,219 개 JPG (텍스처 데이터) 3,219 장 JPG (원시 촬영 이미지) 352,399 장 ETC
(기타)OBJ (3D 객체 데이터) 1,913 건 7.97% MTL (텍스처 링크 데이터) 1,913 개 JPG (텍스처 데이터) 1,913 장 JPG (원시 촬영 이미지) 208,844 장 JF
(일식)OBJ (3D 객체 데이터) 2,409 건 10.04% MTL (텍스처 링크 데이터) 2,409 개 JPG (텍스처 데이터) 2,409 장 JPG (원시 촬영 이미지) 261,055 장 KF
(한식)OBJ (3D 객체 데이터) 9,209 건 38.37% MTL (텍스처 링크 데이터) 9,209 개 JPG (텍스처 데이터) 9,209 장 JPG (원시 촬영 이미지) 1,003,454 장 WF
(양식)OBJ (3D 객체 데이터) 3,184 건 13.27% MTL (텍스처 링크 데이터) 3,184 개 JPG (텍스처 데이터) 3,184 장 JPG (원시 촬영 이미지) 347,056 장 합계 2,688,114 100% 데이터 분포 - 가공(라벨링) 데이터 가공(라벨링) 데이터 분류 형식 포맷 수량 단위 파일 비율 BK
(베이커리)3D 세그멘테이션 CSV 4,067 건 1:01 메타데이터 JSON 4,067 건 1:01 CF
(중식)3D 세그멘테이션 CSV 3,219 건 1:01 메타데이터 JSON 3,219 건 1:01 ETC
(기타)3D 세그멘테이션 CSV 1,913 건 1:01 메타데이터 JSON 1,913 건 1:01 JF
(일식)3D 세그멘테이션 CSV 2,409 건 1:01 메타데이터 JSON 2,409 건 1:01 KF
(한식)3D 세그멘테이션 CSV 9,209 건 1:01 메타데이터 JSON 9,209 건 1:01 WF
(양식)3D 세그멘테이션 CSV 3,184 건 1:01 메타데이터 JSON 3,184 건 1:01 합계 48,002 데이터 분포 - 가공(서브라벨링) 데이터 가공(서브라벨링) 데이터 분류 형식 포맷 수량 단위 파일 비율 BK
(베이커리)이미지캡션 JSON 4,067 건 1:01 CF
(중식)이미지캡션 JSON 3,219 건 1:01 ETC
(기타)이미지캡션 JSON 1,913 건 1:01 JF
(일식)이미지캡션 JSON 2,409 건 1:01 KF
(한식)이미지캡션 JSON 9,209 건 1:01 WF
(양식)이미지캡션 JSON 3,184 건 1:01 합계 24,001 음식 종류별 분포
-
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드- 3D 형태 추정
3D 형태 추정 AI모델 task AI모델(후보) 성능 지표 및 목표값 3D 형태 추정 NeRF SSIM(0.65) - 3D 데이터와 3D 형태 추정 모델은 개발 및 학습 난이도가 높기 때문에, 이러한 기술을 민간에서 효율적으로 활용하기 위해서는 본 사업에서 구축한 3D 데이터로 학습한 3D 형태 추정 모델의 성능이 일정 수준 이상 보장되어야 민간에서의 활용 가능성 증가할 수 있음
- Multi-view 3D Shape Estimation 모델은 3D Photogrammetry보다 적은 이미지로 3D 형태를 복원하는 것이 주된 목적 임무로, 대표적인 모델로는 MVSFormer, GBi-Net, NeRF 등이 있으며 이 중 NeRF 모델은 한 3D 형태를 만들기 위해서 한 NeRF 모델을 학습시키는 3D Reconstruction 방법으로, 다른 방법들보다 더 많은 2D 이미지를 요구하지만 높은 정확도를 달성함.
- AI 활용 모델 : 본 과제에서 구축된 다양한 종류의 음식 3D 데이터를 활용하여 음식 관련 외식, 헬스케어, 식습관 개선을 위한 어플리케이션과 메타버스 구현에 활용되어 국내 헬스케어, 외식 산업의 발전에 기여할 수 있음.
- 3D 세그멘테이션3D 세그멘테이션 AI모델 task AI모델(후보) 성능 지표 및 목표값 3D 세그멘테이션 ISBNet mAP (39.13%) - 3D segmentation 모델은 복잡한 데이터셋에서 더 정확한 객체 분리와 식별을 제공할 수 있으며, 객체의 공간적인 구조와 관계를 이해하는 데 도움이 되어 데이터를 보다 깊이 이해하고 해석할 수 있음
- 적합성 검토 끝에 빠른 학습 속도와 높은 정확도를 자랑하며, PointNet++의 local aggregation layer를 사용하고, dynamic convolution에서 3D axis-aligned bounding boxes를 예측하고 활용하여 예측성능을 향상시킨 3D Segmentation 모델인 ISBNet을 선정
- ISBNet모델은 2023년에 CVPR의 심사를 통과하여 투고된 3D Point Cloud Instance Segmentation 모델로, ScanNet 벤치마크에서 mAP 55%로 SOTA를 달성함
- AI 활용 모델 : 음식 사진을 분석 및 AI 모델을 통해 이미지를 분류한 후, 이를 기반에 stable diffusion 기술을 이용하여 2D 이미지를 그리고 3D 재구성 기술을 적용한 메타버스/VR에서 사용 가능한 객체를 생성 -
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드- 데이터 포맷
데이터 포맷 구분 획득(수집) 단계 정제 단계 가공(라벨링) 단계 데이터 구분 원시데이터 원천데이터 최종데이터 데이터 형태 음식3D 이미지 데이터
JPG음식3D 모델링 데이터
OBJ,JPG,MTL음식 3D 데이터
라벨링 CSV
이미지캡션 JSON데이터 포멧 *음식 촬영 데이터 : JPG 파일
1객체당 100장 이상*음식 3D 데이터 : OBJ파일
*텍스처 데이터 : JPG 파일 (4096*4096)
* 텍스처 링크 데이터 : MTL*세그멘테이션 CSV
*이미지 캡션 데이터 JSON
- 라벨링 데이터 정보라벨링 데이터 정보 구 분 항목명 타입 필수여부 설명 1열 X축 string O 점군데이터 X좌표값 2열 Y축 string O 점군데이터 Y좌표값 3열 Z축 string O 점군데이터 Z좌표값 4열 R string O 점군데이터 RGB값 5열 G string O 6열 B string O 7열 Index string O 3D Segmentation index값
(노이즈 0, 음식 1)
- 라벨링 파일 예시라벨링 파일 예시 CSV format 예시 속성명 value 필수 예시 X -0.023695 Y Y 0.023334 Y Z -0.23948 Y R 173 Y G 142 Y B 98 Y Origin cloud
index0 Y
- 어노테이션 포맷 예시어노테이션 포맷 예시 항목 항목 설명 예시 info gid 데이터세트 WF09-005-D001 creator 구축기관명 Redtable_consortium date 구축일자 2023-09-01 version 버전 v1.02 images images_info 이미지 정보 id 이미지 ID I001 … … I100 filename 이미지 파일명 WF09_005_D001_I001.jpg … … WF09_005_D001_I100.jpg image_camera model 카메라 모델 EOS200DII brightness 노출값 f4.5 focus 포커스 40 iso ISO값 20000 aperture 조리개 f4 exposure 셔터스피드 1/125 camera_calibration id 카메라 아이디 1 f f 4836.134565 cx cx -19.18018824 cy cy 55.28503237 k1 k1 -0.214211455 k2 k2 0.260768526 k3 k3 -0.212111023 p1 p1 -0.000867172 p2 p2 -0.001478883 annotatedPointCloud filename 라벨링 PCD파일
이름WF09_005_D001.csv 3dObject filename 모델링 파일
이름WF09_005_D001.obj model meshCount mesh polygon수 20448 mtlName 모델링
재질속성파일이름WF09_005_D001.mtl textureName 모델링 데이터
텍스처 파일이름WF09_005_D001.jpg annotation_3d Supercategories 대분류
코드(문화특성)WF categories 중분류
코드(조리분류)WF01 food 소분류
코드(음식명)5 annotation_imagecaption caption 이미지 캡션 접시에 담긴 빨간색 페퍼로니가 올라간
페퍼로니 피자와 병음료가 있다common_information dish_name 세부음식명 페퍼로니 피자 plate_type 식기종류 접시 setting_type 음식조합 속성 1인 cooked 조리상태 조리후 location 데이터 취득환경
정보실내 detailtype 디테일 정보 기본 Nutritional contatiner(g) 제공량 기준(단위 : g) 114.4 kcal 열량(단위 : kcal) 327.9 carbohydrate 탄수화물(단위 : g) 1.44 protein 단백질(단위 : g) 189.1 fat 지방(단위 : g) 6.8 category Supercategories_name 문화특성 분류명 양식 categories_name 조리분류명 피자 food_name 음식명 페퍼로니 피자
- 이미지캡션 정보이미지캡션 정보 수식어 기본색이름 식기 연한
(옅은)빨강(적) 접시 주황 노랑(황) 연두 그릇 초록(녹) 진한
(짙은)청록 보울 파랑(청) 남색(남) 보라 냄비 자주(자) 맑은 분홍 프라이팬 갈색(갈) 하양(백) 회색(회) 기타 검정(흑) -
데이터셋 구축 담당자
수행기관(주관) : ㈜레드테이블
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 도해용 02-6964-7955 dohaeyong@redtable.kr 데이터 수집, 사업관리 수행기관(참여)
수행기관(참여) 기관명 담당업무 위프코(주) 데이터 수집, 정제 ㈜디타스 데이터 정제, 가공 ㈜큐드 데이터 품질 검수 ㈜애니펜 ㈜애니펜 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 도해용 010-8789-3394 dohaeyong@redtable.kr 박재은 010-8296-7385 jaeunpark@redtable.kr AI모델 관련 문의처
AI모델 관련 문의처 담당자명 전화번호 이메일 심진욱 010-9725-5111 jwshim@anipen.com 이민영 010-6619-3207 mylee@anipen.com 저작도구 관련 문의처
저작도구 관련 문의처 담당자명 전화번호 이메일 김신백 010-5375-9168 sinbad_kim@dtaas.co.kr
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.
오프라인 데이터 이용 안내
본 데이터는 K-ICT 빅데이터센터에서도 이용하실 수 있습니다.
다양한 데이터(미개방 데이터 포함)를 분석할 수 있는 오프라인 분석공간을 제공하고 있습니다.
데이터 안심구역 이용절차 및 신청은 K-ICT빅데이터센터 홈페이지를 참고하시기 바랍니다.