AI-Hub

#컴퓨터 그래픽스

BETA 음식 3D 데이터

분야영상이미지
유형 3D , 이미지 , 텍스트

구축년도 : 2023 갱신년월 : 2024-06 조회수 : 1,300 다운로드 : 16 용량 :

샘플 데이터

※샘플데이터는 데이터의 이해를 돕기 위해 별도로 가공하여 제공하는 정보로써 원본 데이터와 차이가 있을 수 있으며,
데이터에 따라서 민감한 정보는 일부 마스킹(*) 처리가 되어 있을 수 있습니다.

소개 파일 목록 (API 다운로드)

※ 내국인만 데이터 신청이 가능합니다.

문의하기 목록

데이터 변경이력

데이터 변경이력
버전	일자	변경내용	비고
1.0	2024-06-28	데이터 개방	Beta Version

데이터 히스토리

데이터 히스토리
일자	변경내용	비고
2024-08-29	산출물 수정	저작도구
2024-06-28	산출물 공개	Beta Version

소개

- 다양한 문화 및 나라의 음식을 443종으로 분류하여 음식종류를 추정하거나 생성을 위한 데이터

구축목적

- 식품과 IT기술의 접목을 위한 충분한 데이터 확보가 필요하며, 한국음식 고유의 문화와 특성을 보존 및 활용이 필요함.로봇을 활용한 자동화, 무인 주문기, 서빙,조리,배달로봇 등 IT.BT시장의 성장을 도모함에 있어 양질의 데이터 확보가 필요함

메타데이터 구조표
데이터 영역	영상이미지	데이터 유형	3D , 이미지 , 텍스트
데이터 형식	CSV,JSON,OBJ	데이터 출처	자체수집
라벨링 유형	3D Segmentation (3D라벨링), 이미지캡션	라벨링 형식	CSV, JSON
데이터 활용 서비스	인식, 모델링 생성 서비스, 다국적 문화 서비스	데이터 구축년도/ 데이터 구축량	2023년/촬영 이미지 데이터 2,616,111장, 음식 3D 모델링 데이터 24,001건, 모델링텍스처 24,001건, 텍스처 링크 데이터 24,001건, 3D Segmentation 24,001건, 이미지캡션 24,001건

- 데이터 구축 규모
● 학습용 데이터 구성(라벨링데이터 JSON 기준)

데이터 구축 총량 (100%)	학습 데이터 (80%)	테스트 데이터 (10%)	검증 데이터 (10%)
24,001	19,201	2,400	2,400

● 원시데이터 획득

파일포맷	데이터 규모	해상도	객체당
JPG	2,616,111장	6000*4000	100장 이상

● 원천데이터

데이터종류	파일포맷	데이터 규모	비고
이미지 리사이징	JPG	2,616,111장	1500*1000 객체당 100장 이상
모델링 데이터	OBJ	24,001개
텍스처 데이터	JPG	24.001장	4096*4096 (4K)
텍스처 링크 데이터	MTL	24,001개	OBJ당 1파일

● 라벨링데이터

데이터 종류	파일포맷	데이터 규모	라벨링 유형	라벨링 대상
라벨링 데이터	CSV	24,001개	3D Segmentation	메인음식(그릇포함)
메타/속성정보	JSON	24,001개
이미지캡션	JSON	24,001개	서브라벨링	이미지 내 음식구성

- 데이터 분포
- 원천데이터 대비 가공(라벨링) 데이터 분포

원천 데이터
분류	포맷	수량	단위	분포 비율
BK (베이커리)	OBJ (3D 객체 데이터)	4,067	건	16.95%
	MTL (텍스처 링크 데이터)	4,067	개
	JPG (텍스처 데이터)	4,067	장
	JPG (원시 촬영 이미지)	443,303	장
CF (중식)	OBJ (3D 객체 데이터)	3,219	건	13.41%
	MTL (텍스처 링크 데이터)	3,219	개
	JPG (텍스처 데이터)	3,219	장
	JPG (원시 촬영 이미지)	352,399	장
ETC (기타)	OBJ (3D 객체 데이터)	1,913	건	7.97%
	MTL (텍스처 링크 데이터)	1,913	개
	JPG (텍스처 데이터)	1,913	장
	JPG (원시 촬영 이미지)	208,844	장
JF (일식)	OBJ (3D 객체 데이터)	2,409	건	10.04%
	MTL (텍스처 링크 데이터)	2,409	개
	JPG (텍스처 데이터)	2,409	장
	JPG (원시 촬영 이미지)	261,055	장
KF (한식)	OBJ (3D 객체 데이터)	9,209	건	38.37%
	MTL (텍스처 링크 데이터)	9,209	개
	JPG (텍스처 데이터)	9,209	장
	JPG (원시 촬영 이미지)	1,003,454	장
WF (양식)	OBJ (3D 객체 데이터)	3,184	건	13.27%
	MTL (텍스처 링크 데이터)	3,184	개
	JPG (텍스처 데이터)	3,184	장
	JPG (원시 촬영 이미지)	347,056	장
합계		2,688,114		100%

가공(라벨링) 데이터
분류	형식	포맷	수량	단위	파일 비율
BK (베이커리)	3D 세그멘테이션	CSV	4,067	건	1:01
BK (베이커리)	메타데이터	JSON	4,067	건	1:01
CF (중식)	3D 세그멘테이션	CSV	3,219	건	1:01
CF (중식)	메타데이터	JSON	3,219	건	1:01
ETC (기타)	3D 세그멘테이션	CSV	1,913	건	1:01
ETC (기타)	메타데이터	JSON	1,913	건	1:01
JF (일식)	3D 세그멘테이션	CSV	2,409	건	1:01
JF (일식)	메타데이터	JSON	2,409	건	1:01
KF (한식)	3D 세그멘테이션	CSV	9,209	건	1:01
KF (한식)	메타데이터	JSON	9,209	건	1:01
WF (양식)	3D 세그멘테이션	CSV	3,184	건	1:01
WF (양식)	메타데이터	JSON	3,184	건	1:01
합계			48,002

가공(서브라벨링) 데이터
분류	형식	포맷	수량	단위	파일 비율
BK (베이커리)	이미지캡션	JSON	4,067	건	1:01

CF (중식)	이미지캡션	JSON	3,219	건	1:01

ETC (기타)	이미지캡션	JSON	1,913	건	1:01

JF (일식)	이미지캡션	JSON	2,409	건	1:01

KF (한식)	이미지캡션	JSON	9,209	건	1:01

WF (양식)	이미지캡션	JSON	3,184	건	1:01

합계			24,001

음식 종류별 분포 그래프

음식 종류별 분포

저작도구 설명서 및 저작도구 다운로드
저작도구 설명서 다운로드 저작도구 다운로드
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드
- 3D 형태 추정

AI모델 task AI모델(후보) 성능 지표 및 목표값

3D 형태 추정 NeRF SSIM(0.65)

- 3D 데이터와 3D 형태 추정 모델은 개발 및 학습 난이도가 높기 때문에, 이러한 기술을 민간에서 효율적으로 활용하기 위해서는 본 사업에서 구축한 3D 데이터로 학습한 3D 형태 추정 모델의 성능이 일정 수준 이상 보장되어야 민간에서의 활용 가능성 증가할 수 있음
- Multi-view 3D Shape Estimation 모델은 3D Photogrammetry보다 적은 이미지로 3D 형태를 복원하는 것이 주된 목적 임무로, 대표적인 모델로는 MVSFormer, GBi-Net, NeRF 등이 있으며 이 중 NeRF 모델은 한 3D 형태를 만들기 위해서 한 NeRF 모델을 학습시키는 3D Reconstruction 방법으로, 다른 방법들보다 더 많은 2D 이미지를 요구하지만 높은 정확도를 달성함.

- AI 활용 모델 : 본 과제에서 구축된 다양한 종류의 음식 3D 데이터를 활용하여 음식 관련 외식, 헬스케어, 식습관 개선을 위한 어플리케이션과 메타버스 구현에 활용되어 국내 헬스케어, 외식 산업의 발전에 기여할 수 있음.

- 3D 세그멘테이션

AI모델 task AI모델(후보) 성능 지표 및 목표값

3D 세그멘테이션 ISBNet mAP (39.13%)

- 3D segmentation 모델은 복잡한 데이터셋에서 더 정확한 객체 분리와 식별을 제공할 수 있으며, 객체의 공간적인 구조와 관계를 이해하는 데 도움이 되어 데이터를 보다 깊이 이해하고 해석할 수 있음
- 적합성 검토 끝에 빠른 학습 속도와 높은 정확도를 자랑하며, PointNet++의 local aggregation layer를 사용하고, dynamic convolution에서 3D axis-aligned bounding boxes를 예측하고 활용하여 예측성능을 향상시킨 3D Segmentation 모델인 ISBNet을 선정
- ISBNet모델은 2023년에 CVPR의 심사를 통과하여 투고된 3D Point Cloud Instance Segmentation 모델로, ScanNet 벤치마크에서 mAP 55%로 SOTA를 달성함

- AI 활용 모델 : 음식 사진을 분석 및 AI 모델을 통해 이미지를 분류한 후, 이를 기반에 stable diffusion 기술을 이용하여 2D 이미지를 그리고 3D 재구성 기술을 적용한 메타버스/VR에서 사용 가능한 객체를 생성

설명서 및 활용가이드 다운로드

데이터 설명서 다운로드 구축활용가이드 다운로드

- 데이터 포맷

구분	획득(수집) 단계	정제 단계	가공(라벨링) 단계
데이터 구분	원시데이터	원천데이터	최종데이터
데이터 형태	음식3D 이미지 데이터 JPG	음식3D 모델링 데이터 OBJ,JPG,MTL	음식 3D 데이터 라벨링 CSV 이미지캡션 JSON
데이터 포멧	＊음식 촬영 데이터 : JPG 파일 1객체당 100장 이상	＊음식 3D 데이터 : OBJ파일 텍스처 데이터 : JPG 파일 (40964096) ＊ 텍스처 링크 데이터 : MTL	＊세그멘테이션 CSV *이미지 캡션 데이터 JSON

- 라벨링 데이터 정보

구 분	항목명	타입	필수여부	설명
1열	X축	string	O	점군데이터 X좌표값
2열	Y축	string	O	점군데이터 Y좌표값
3열	Z축	string	O	점군데이터 Z좌표값
4열	R	string	O	점군데이터 RGB값
5열	G	string	O
6열	B	string	O
7열	Index	string	O	3D Segmentation index값 (노이즈 0, 음식 1)

- 라벨링 파일 예시

CSV format 예시
속성명	value	필수	예시
X	-0.023695	Y
Y	0.023334	Y
Z	-0.23948	Y
R	173	Y
G	142	Y
B	98	Y
Origin cloud index	0	Y

- 어노테이션 포맷 예시

항목			항목 설명	예시
info
	gid		데이터세트	WF09-005-D001
	creator		구축기관명	Redtable_consortium
	date		구축일자	2023-09-01
	version		버전	v1.02
images
	images_info		이미지 정보
		id	이미지 ID	I001
			…	… I100
		filename	이미지 파일명	WF09_005_D001_I001.jpg
			…	… WF09_005_D001_I100.jpg
	image_camera
		model	카메라 모델	EOS200DII
		brightness	노출값	f4.5
		focus	포커스	40
		iso	ISO값	20000
		aperture	조리개	f4
		exposure	셔터스피드	1/125
	camera_calibration
		id	카메라 아이디	1
		f	f	4836.134565
		cx	cx	-19.18018824
		cy	cy	55.28503237
		k1	k1	-0.214211455
		k2	k2	0.260768526
		k3	k3	-0.212111023
		p1	p1	-0.000867172
		p2	p2	-0.001478883
annotatedPointCloud
	filename		라벨링 PCD파일 이름	WF09_005_D001.csv
3dObject
	filename		모델링 파일 이름	WF09_005_D001.obj
	model
		meshCount	mesh polygon수	20448
		mtlName	모델링 재질속성파일이름	WF09_005_D001.mtl
		textureName	모델링 데이터 텍스처 파일이름	WF09_005_D001.jpg
annotation_3d
	Supercategories		대분류 코드(문화특성)	WF
	categories		중분류 코드(조리분류)	WF01
	food		소분류 코드(음식명)	5
annotation_imagecaption
	caption		이미지 캡션	접시에 담긴 빨간색 페퍼로니가 올라간 페퍼로니 피자와 병음료가 있다
common_information
	dish_name		세부음식명	페퍼로니 피자
	plate_type		식기종류	접시
	setting_type		음식조합 속성	1인
	cooked		조리상태	조리후
	location		데이터 취득환경 정보	실내
	detailtype		디테일 정보	기본
	Nutritional
		contatiner(g)	제공량 기준(단위 : g)	114.4
		kcal	열량(단위 : kcal)	327.9
		carbohydrate	탄수화물(단위 : g)	1.44
		protein	단백질(단위 : g)	189.1
		fat	지방(단위 : g)	6.8
category
	Supercategories_name		문화특성 분류명	양식
	categories_name		조리분류명	피자
	food_name		음식명	페퍼로니 피자

- 이미지캡션 정보

수식어	기본색이름	식기
연한 (옅은)	빨강(적)	접시
	주황
	노랑(황)
	연두	그릇
	초록(녹)
진한 (짙은)	청록	보울
	파랑(청)
	남색(남)
	보라	냄비
	자주(자)
맑은	분홍	프라이팬
	갈색(갈)
	하양(백)
	회색(회)	기타
	검정(흑)

데이터셋 구축 담당자

수행기관(주관) : ㈜레드테이블

수행기관(주관)
책임자명	전화번호	대표이메일	담당업무
도해용	02-6964-7955	dohaeyong@redtable.kr	데이터 수집, 사업관리

수행기관(참여)

수행기관(참여)
기관명	담당업무
위프코(주)	데이터 수집, 정제
㈜디타스	데이터 정제, 가공
㈜큐드	데이터 품질 검수
㈜애니펜	㈜애니펜

데이터 관련 문의처

데이터 관련 문의처
담당자명	전화번호	이메일
도해용	010-8789-3394	dohaeyong@redtable.kr
박재은	010-8296-7385	jaeunpark@redtable.kr

AI모델 관련 문의처

AI모델 관련 문의처
담당자명	전화번호	이메일
심진욱	010-9725-5111	jwshim@anipen.com
이민영	010-6619-3207	mylee@anipen.com

저작도구 관련 문의처

저작도구 관련 문의처
담당자명	전화번호	이메일
김신백	010-5375-9168	sinbad_kim@dtaas.co.kr

보건의료 데이터 개방 안내

보건의료 데이터는 온라인 및 오프라인 안심존을 통해 개방됩니다.

안심존이란 안심존 이용메뉴얼 안심존 이용신청

인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석
1. AI 허브 접속
  신청자
2. 안심존
  사용신청신청자신청서류 제출*
3. 심사구축기관
4. 승인구축기관
5. 데이터 분석 활용신청자
6. 분석모델반출신청자
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다.
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의